Category Archives: Новости

Build 2019: Cosmos DB с поддержкой Spark API для AI и аналитики

Компания Майкрософт на только что прошедшей конференции Build 2019 анонсировала поддержку Apache Spark в Cosmos DB. Cosmos DB изначально проектировалась для точечных операций. Существовал также Spark Connector для доступа к этим данным из внешнего Spark кластера. Но теперь интеграция становится более тесной, и будет возможно запускать real-time аналитику и ML\AI над данными Cosmos DB.

Больше не придется управлять отдельными кластерами Apache Spark, но при этом получить SLA на уровне 99.999. Также, несмотря на то, что Cosmos DB это географически распределенная БД, обработка с помощью Spark будет запускаться на локальных данных в том регионе, где они находятся, что ускоряет получение результата и исключает ненужные перемещения данных.

Дополнительно в Data Explorer появится поддержка Jupiter Notebook – одного из самых распространенных средств для доступа и анализа данных.

A Jupyter notebook.

Несомненно – это огромный шаг в развитии Cosmos DB. Благодаря тому, что теперь можно в одной БД запускать и операционную и аналитическую нагрузку – повышает привлекательность и возможности для реализации различных сценариев. Сейчас доступ в этой опции открыт не всем, но как только я получу его – сделаю отдельный обзор этой возможности.

Выступление на IT Campus 26 июля 2014 г.

В последнюю пятницу июля традиционно отмечают День системного администратора. И именно в этот день у многих IT специалистов Москвы и всей России есть шанс посетить конференцию IT Campus. 3 дня участники будут проживать в палаточном городке, который они возведут собственными силами примерно в 30 километрах от г. Калуга. Организаторам удалось привлечь большое количество спонсоров и составить, на мой взгляд, очень интересную программу, а также большое количество дополнительных мероприятий, включая различные спортивные соревнования, турниры по Quake 3, настольные игры, выступления музыкальных коллективов. Цена за участие составляет всего 200 рублей, а все подробности вы можете узнать на сайте конференции. По-моему это шанс отлично провести выходные да еще и с пользой.

Одно из центральных мест на конференции будет занимать Дом Microsoft, где также пройдет большое количество активностей, например, виртуальные соревнования по скоростному спуску на коньках Red Bull Crashed Ice Kinect, где все желающие смогут попытаться пройти на Xbox одну из пяти сложнейших трасс, на которых в разное время бились за победу спортсмены Red Bull Crashed Ice. Также вы сможете пообщаться с представителями компании и узнать больше о продуктах и сервисах компании.

Я очень рад, что меня пригласили с докладом. Я буду рассказывать о практиках и методах построения отказоустойчивых решений для MS SQL Server 26 июля 2014 г. в субботу в 12:30. Буду делиться своим практических опытом, с чего начать, какие технологии доступны. Поэтому приглашаю всех желающих послушать. Также в этот день практически с самого утра и до позднего вечера вы сможете найти меня в Доме Microsoft, где я буду дежурить как эксперт и готов ответить на практически любые ваши вопросы об MS SQL Server.

Буду рад встречи со всеми и, надеюсь, погода не подведет и всех ждут отличные выходные!

Февральский семинар Russian SQL Server User Group в Москве

В свзяи с тем, что привычное всем место встречи Microsoft Technology Center на Белорусской находится в процессе переезда (в соседнее здание) и недоступен для встреч до середины марта, решено было провести встречу в необычном месте. Путем голосования в группе на Facebook большинство голосов было отдано в пользу офиса Лаборатории Касперского. Встреча состоится 11 февраля в 18:00 по адресу Москва, Ленинградское шоссе, д.39А, стр.2, БЦ «Олимпия Парк» (средний корпус из трех), м. Водный стадион (последний вагон из центра). Те, кто планирует добраться до места на машине, учитывайте, что парковку придется искать самостоятельно, на территорию бизнес центра машины пропускать не будут. Регистрация на мероприятие обязательна по указанной ссылке, т.к. списки будут подаваться на охрану. При входе необходимо будет предъявить паспорт и получить временный пропуск. Ознакомиться с программой мероприятия вы можете ниже.

Рассказ о группе Whitelisting в Лаборатории Касперского
Лаборатория Касперского предпринимает все возможные усилия для защиты пользователей своих продуктов от вредоносного кода. Один из процессов – поиск и анализ «хорошего» ПО – файлов, которые заведомо не несут угрозы пользователям. Расскажем о том, как и какие объемы данных обрабатываются в Лаборатории для предотвращения ложных срабатываний антивирусных продуктов.
Докладчик: Дмитрий Костылев. Начал работать с Microsoft SQL Server в 2000 году. Основная профессиональная деятельность – разработка и поддержка как самих баз данных, так и больших проектов, интенсивно использующих реляционные хранилища. В данный момент под его контролем работает и развивается одна из баз знаний о файлах в «Лаборатории Касперского».
Продолжительность доклада: 20 мин.

Новые возможности для объединения объектно-ориентированного подхода и реляционной модели данных.
Возможности для простого создания эффективных и гибких решений всегда была интересны для разработчиков информационных систем. Одной из причин, затрудняющей достижение этой цели, является традиционная архитектура, разделяющая хранение и обработку данных, что, в свою очередь, вызвано отсутствием в современных СУБД простых средств для создания выразительных бизнес моделей, допускающих сложную обработку данных. Считается, что это невозможно из-за комплекса проблем, который принято называть «Object-Relational ImpedanceMismatch». Но так ли это?
В докладе будет представлен новый, оригинальный подход к решению этого вопроса, соединяющий ОО подход к описанию данных с реляционной моделью данных. Действующий прототип продемонстрирует эволюционный способ развития реляционных СУБД по направлению к независимым системам управления гибкими выразительными моделями предметной области, позволяющим эффективно обрабатывать данные на стороне сервера.
Докладчик: Евгений Григорьев, тех. директор компании “PxO проект”.
Продолжительность доклада: 1 час 40 мин. (презентация RxO технологии – 1 час 20 мин., вопросы, обсуждение – 20 мин.).

Планирование архитектуры SQL Server для обработки больших данных. Анализ и управление статистикой.
Доклад предназначен для внедряющих СЭДД, архитекторов, специалистов тех. поддержки. Ключевые моменты, который будут обсуждаться:

  • типовая архитектура СЭД и основные ключевые требования к ним
  • личный опыт использования/внедрения SQL Server в системах СЭДД до 4000 пользователей
  • успешные реализованные проекты на базе SQL Server
  • планирование и проектирование систем поддержки и управления SQL Server
  • планирование и проектирование систем повышения доступности и обеспечения отказоустойчивости для СУБД SQL Server
  • рекомендации из личного опыта – обмен опытом/вопросы
  • анализ данных и управление статистикой

Докладчик: Максим Лемешко, более 3 лет работает с SQL Server в качестве архитектора высоконагруженных систем. Использует собственные наработки в области проектирования хранилищ данных, методов оптимизации и управления статистикой. На данный момент занимается развитием бизнеса в области облачных сервисов.
Продолжительность доклада: 1 час.

SQLSaturday #261 в Москве

Сообщество PASS и компания Microsoft рады пригласить вас на конференцию SQLSaturday #261, которая пройдет в Москве в субботу 30 ноября 2013 г. с 10.00 до 19.00 в главном офисе Microsoft по адресу Крылатская ул., 17, к. 1. Участие в мероприятии абсолютно бесплатно, но вы должны зарегистрироваться по указанной ссылке. Конференция рассчитана для администраторов, разработчиков и BI-специалистов, которые работают с платформой для хранения и обработки данных компании Microsoft. Посетив ее, вы узнаете о новом прогрессивном функционале, который появляется в версии SQL Server 2014, эффективных способах хранения и обработки данных, типичных проблемах, с которыми приходится сталкиваться и различных способах их решения. И самое главное у вас будет уникальная возможность обменяться мнениями с коллегами и пообщаться с лучшими экспертами в отрасли, которые будут готовы ответить на ваши вопросы.

Выступать будут ведущие докладчики России, Украины, а также других стран мира. Несколько докладов пройдут на английском языке.

В программе:

  • Анонс выхода новой версии SQL Server 2014
  • Обзор нового механизма Buffer Pool Extension в SQL2014
  • Подробный рассказ о технологии In-Memory OLTP (Hekaton) в SQL Server 2014
  • Колоночные индексы в SQL Server 2014
  • Расширение возможностей отчётов в SQL Server Reporting Services
  • Конкуренция за ресурсы в многоядерных системах
  • Архитектура и функциональность аналитических хранилищ SQL Server Parallel Data Warehouse 2012
  • Внутри оптимизатора: кардинальность и планы выполнения
  • Очень частые ошибки, которые допускаются при написании запросов на T-SQL
  • Советы для администраторов БД, как повысить производительность сервера
  • Master Data Services и Data Quality Services
  • Все, что необходимо знать о взаимоблокировках
  • Повышение отказоустойчивости с помощью технологии AlwaysOn

Окончательная программа будет опубликована 20 ноября на официальном сайте конференции. Мы пока держим в секрете некоторые доклады, но надеемся в скором времени их анонсировать.

Чтобы оставаться на связи, вы можете вступить в группы Russian SQL Server User Group и Russian BI PASS Chapter на Facebook. Официальный хэш-тэг в Twitter #sqlsatMoscow. Со схемой проезда к месту проведения мероприятия вы сможете ознакомиться по следующей ссылке. Ждем вас!

Начала работу российская виртуальная группа по SQL Server

С радостью готов сообщить, что все формальности решены и при поддержке PASS в России начала работу виртуальная группа по SQL Server. Теперь все даже в отдаленных уголках нашей большой страны смогут в режиме онлайн послушать интересные презентации, посвященные SQL Server и задать свои вопросы докладчикам. Время все встреч запомнить очень просто: каждую третью неделю месяца по средам в 15:00 по Московскому времени. 3-3-3 (третья неделя, третий день, 3 часа для).

Начинаем 21 августа. Вы услышите первую часть доклада “Индексы и все, все, все”. Докладчиком будет Дмитрий Короткевич (Microsoft SQL Server MVP, Microsoft Certified Master). Он работает с SQL Server более 11 лет, специализируясь в архитектуре, разработке и оптимизации OLTP систем. Дмитрий ответственен за внедрение нескольких решений обрабатывающих тысячи транзакций в секунду в режиме 24×7.

Ссылка на официальный сайт группы, где вы можете посмотреть список докладов и зарегистрироваться: http://russianvc.sqlpass.org/

24 Hours of PASS Russian Edition 2013

Рад сообщить, что стартовала регистрация на вторую онлайн конференцию 24 Hours of PASS Russian Edition. 21 марта 2013 года вас ожидает 24 часа непрерывных докладов по SQL Server от ведущих экспертов со всего мира по различным темам. Выбирайте то, что вам нравится и подключайтесь.

Ссылка для регистрации: http://www.sqlpass.org/24hours/russia2013/Главная.aspx

В этом году я буду рассказывать про мониторинг и диагностику проблем в SQL Server с помощью Extended Events и буду рад видеть всех на моем докладе. А совсем скоро я начну публиковать заметки об Extended Events. До встречи!

24HOPRU2013speaker

Что нового в SQL Server 2012 SP1

Сегодня компания Microsoft на основном докладе конференции PASS анонсировала первый пакет обновления для SQL Server 2012 (Service Pack 1). Он уже доступен для скачивания по указанной ссылке. Я постараюсь кратко описать, что же нового в нем появилось и показать пару примеров.

Межкластерная миграция для AlwaysOn Availability Groups

В SQL Server 2012 SP1 появляется возможность миграции одной или нескольких AlwaysOn Availability Groups на новый экземпляр кластера Windows Server Failover Clustering (WSFC). Это значительно облегчит обновление существующего кластера на Windows Server 2012 благодаря уменьшению времени простоя.

Selective XML Index

Появляется новый тип индексов, так называемый Selective XML Index. Он позволяет индексировать не все содержимое столбца типа XML, а только необходимые его части, что уменьшает размер XML индексов и положительно сказывается на скорости запросов. Я думаю, что до конца этой недели опубликую отдельную статью, посвященную этой функции.

DBCC SHOW_STATISTICS работает с правами SELECT

В предыдущих версиях SQL Server необходимо было обладать правами администратора или владельца объекта, чтобы просматривать результаты с помощью DBCC SHOW_STATISTICS. Данное ограничение очень сильно влияло, если мы использовали распределенные запросы, т.к. пользователи не имеют административных прав на удаленные объекты. Соответственно отсутствие информации о статистиках на удаленных объектах приводит к построению оптимизатором менее оптимальных планов запросов. В SQL Server 2012 SP1 теперь достаточно прав SELECT на таблицу целиком или на отдельные столбцы, чтобы посмотреть статистики для них. Для тех, кто использует распределенные запросы и может столкнуться с какими-либо проблемами введен флаг трассировки (trace flag) 9485, чтобы вернуть поведение новой функциональности до увроня SQL Server 2012 RTM. Хочу привести сразу пример результатов. Слева план запроса, который использует в качестве удаленного источника SQL Server 2012 RTM, а справа SQL Server 2012 SP1. Как мы видим – статистка начала использоваться.

Новая функция для просмотра статистики

Новая динамическая функция sys.dm_db_stats_properties возвращает информацию о статистиках для указанной таблицы или индексированного представления. Вы можете использовать эту функцию для просмотра тако информации как время последнего обновления статистики, количество строк, которое было использовано для построения статистики, а также количество изменений произошедших в столбце, что раньше было доступно только через недокументированные системные таблицы. Кстати, функция стала также доступна и в SQL Server 2008 R2 SP2. Привожу пример результатов работы данной функции:

Полная версия SQL Server Management Studio в редакциях Express

Теперь с редакциями Express поставляется полнофункциональная версия SQL Server Management Studio.

Поддержка SQL Server Management Objects для управления Resource Governor

В SQL Server 2012 SP1, SQL Server Management Objects обновлены и поддерживают синтаксис команды CREATE RESOURCE POOL (Transact-SQL):

  • CAP_CPU_PERCENT
  • AFFINITY SCHEDULER
  • AFFINITY NUMANODE

Следующие объекты SMO можно использовать для ограничения использования CPUи привязки ресурсных пулов к scheduler’ам и NUMA нодам:

Также появилось несколько улучшений в инструментах бизнес анализа, но так как я к бизнес анализу имею достаточно поверхностное отношение, то не буду о них рассказывать. Я думаю, вы при желании без труда найдете о них информацию. Как мы видим SQL Server 2012 SP1 это не просто пакет обновлений и исправлений, он вносит новый достаточно интересный функционал в существующую платформу.

24 Hours Of PASS. Russian Edition. Впечатления.

24 Hours Of Pass

24 Hours Of Pass

Что такое 24 Hours Of Pass? Это событие, которое проходит 2 раза в год под эгидой ассоциации PASS (Professional Association for SQL Server) и представляет собой 24 часа технических онлайн докладов о SQL Server. 12 апреля впервые русскоязычная аудитория смогла прослушать семинары на своем родном языке.  Все это произошло благодаря Андрею Коршикову, который в одиночку организовал и провел для нас с вами эту конференцию. Андрей, если ты читаешь эту статью, хочу еще раз сказать тебе огромное спасибо от лица всех за твой энтузиазм!

И о впечатлениях. Я очень рад, что мне удалось побывать по обе стороны баррикад: я был как и докладчиком, так и слушателем. И впечатления у меня только положительные. Со стороны докладчика – это был интересный опыт вести презентацию, сидя одному в комнате и фактически говорить в пустоту. Иногда становилось немного не по себе, возникали ощущения, а друг что-то не так. Это действительно сложно, когда ты не видишь аудиторию. А в качестве слушателя я узнал много нового от других докладчиков.

Увы, моя презентация прошла не совсем гладко. Из-за технической заминки демонстрация новой технологии Always On можно сказать провалилась. Жесткие ограничения по времени не оставили шансов на повторную попытку. Но я обещаю, что в ближайшие дни я запишу на видео демонстрацию Always On в работе и выложу в сеть, чтобы все могли посмотреть и попробовать ее сами.

Очень надеюсь, что это было не последнее событие такого масштаба в русскозычном сообществе SQL Server.