В дополнение к своим волнам, Forrester добавил интресные данные об использовании BI платформ и запросах от клиентов по BI платформам:

Так же понравились три ключевых моменты от Forrester:

• Уже нет противоборства / противоречий между “лучшими в своем классе” и “комплексными” решениями. Комплексное решение, вполне может быть лучшим в своем классе.
• Функциональность самой BI платформы уже не является определяющей при выборе. У большинства поставщиков она “сравнима”. И все большую актуальность приобретают другие факторы – партнеры, интеграция с другими системами и все остальное.
• В реальности не бывает одной BI платформы в более менее крупной организации. Forrester выделил 3 – Основная BI платформа, предназначенная для развертывания в рамках всей компании; Встроенный BI в ERP / CRM; Самостоятельная аналитика.

Использовалась следующая структура данных:

В нее были загружены тестовые данные (не дубли, но автоматическая генерация) следующего объема:

• Факт (табличка F_Cost) – 43 миллиона записей
• Остальные таблички по мелочи – тысячи записей

Все это было повторено в MS SQL 2012 и в Sybase IQ 15.4 на следующем железе (в виртуалках конечно же):

• Оперативная память – 20Gb
• СУБД ограничены 6Gb
• 4 процессора – 3,47 ГГц

Вот какие результаты были получены:

При этом ни в MS SQL, ни в Sybase IQ не проводилось никакой оптимизации. Никакие индексы не создавались и т.д. Т.е. полностью дефолтная конфигурация. Связано это было в первую очередь с тем, что человек, проводивший тестирование (о да, это был не я) не имел достаточного опыта ни в MS SQL, ни в IQ.

Потом ради интереса попросил создать колоночный индекс в MS SQL по таблице фактов. Результат получился не совсем тот, что я ожидал:

• Если запрос похож на полное сканирование, то индекс ничего не дает.
• Если запрос затрагивает меньше 20% записей таблицы фактов, то ускорение принципиальное – в разы.
• Если запрос затрагивает больше 20% записей, то выполнения даже увеличивается.

Вот как то так. Будут вопросы – готов рассказать подробнее.

PS: Апдейт – ошибся в количестве записей Их было 42 миллиона, а не миллиарда.

Несколько удивило, что IBM впереди Oracle. И к своему стыду про всех “новых” игроков я практически ничего не слышал… Надо будет посмотреть на досуге.

Так что рекомендую к изучению.

Все по прежнему работает достаточно быстро и красиво. Обратите внимание, что появились отчеты на Power View. Вот пара примеров:

Magic Quadrant for Business Intelligence and Analytics Platforms

Magic Quadrant for Data Warehouse Database Management Systems

В этом году я отвечал за содержание трека по бизнес-аналитике. И вот что получилось

Мы выделили 4-е основных блока, которые покрывают весь функционал решений по бизнес-аналитике:

1. Все что касается непосредственно Хранилищ и работы с ними.
2. Инструменты для аналитиков – от Excel и Visio, до Power View и PowerPivot.
3. Инструменты Совместной работы – все что дает нам SharePoint.
4. И перспективное направление в BI – Big Data. Все что связано с анализом сверх больших объёмов слабоструктурированной информации.

К сожалению, слотов для докладов всегда меньше чем интересных тем и докладчиков. Поэтому не удалось вставить все что хотелось

В разделе Хранилище присутствуют 2 доклада:

• Как упростить разработку аналитических приложений и повысить их доступность. Обзор SQL Server BI Semantic Model. – Рассказ от Марко Руссо о табличной моделе в SSAS 2012 и тех возможностях, что она предоставляет для разработчиков.
• Как навести порядок в ваших данных с помощью SQL Server Data Quality Services – обзорный доклад по Data Quality Services от Максима Бурмистрова. В ходе доклада в том числе будут продемонстрированы демо-примеры от реальных пилотов.

В Инстументах Аналитиков удалось вставить только один доклад — Инструменты самостоятельного анализа данных в Excel 2013: Power Pivot и PowerView. В нем Марко Руссо расскажет о последней версии Excel и тех нововведениях что в нем появились.

В Совместной работе Иван Косяков в докладе SharePoint 2013 – платформа интеграции ваших BI решений расскажет о рили SharePoint в BI решенийх.

И на последок в разделе Big Data Алексей Халяко и Александр Гвоздев расскажут о Big Data и подходе MS к данному направлению в докладе Хранилища данных против BigData.

Кроме самих докладов мы подготовили для вас ещё несколько инетерсных вещей:

1. Круглый стол Внедрение систем бизнес-аналитики на современных предприятиях: проблемы и перспективы
2. Две лабораторные работы:
   1. Создание PowerPivot в Microsoft Excel 2013
   2. Бизнес-аналитика своими руками с использованием Visio 2013 и SharePoint 2013

Надеюсь, что трек получится интересный и полезный для всех кто интересуется тематикой бизнес-анализа на платформе Microsoft BI. Ждем вас на Tech Ed Russia 2012!

В лидерах IBM, Microsoft, SAP, SAS, Tibco Software, и MicroStrategy. По большому счету ничего удивительного. Посмотрим как аналитики оценят следующую версию Excel…

Контакт – maximvo @ microsoft.com

Мысль одна – Oracle молодцы!

Microsoft Project Server 2010 is a landmark release for Microsoft, and for PPM prospective users and existing Project Server customers, because it is in this release in which Microsoft includes SharePoint 2010 as a the foundation for workflow, document management and collaboration. Adding SharePoint 2010 is a game-changing move for Microsoft. It underscores the software vendor’s focus of SharePoint as the cornerstone of its Enterprise Project Management (EPM) solution, which includes, among other things, the use of Office applications, including Project Professional, as well as other Microsoft components, productivity applications and software. Project Server 2010 also includes enhanced project creation features that do not require the use of Project Professional. Service Pack 1 (SP1) for the 2010 release of Project Server is due for public availability and consumption at the end of June 2011. From a license fee perspective, Microsoft Project Server 2010 can be one of the more cost-effective on-premises and/or hosted PPM systems. Microsoft relies heavily on its partner network to manage implementations and consulting services for Project Server 2010. The inclusion of SharePoint 2010 as part of Project Server 2010, more seamless integration with the portfolio management capabilities of the product, the cost-competitive pricing, and advancements in native project creation capabilities independent from Project Professional earn Microsoft a Strong Positive rating.

Работает отлично, результат забавный При этом есть исходный код, что позволяет его легко кастомизировать.

Вот возможные результаты работы:

Выступать я планировал с докладом “Анализ и визуализация данных на базе технологий Microsoft Business Intelligence”, но в реальности больше получилось что-то в духе “Куда идет BI и что Microsoft думает и делает по этому поводу”. В частности поговорил на тему новинок в Denali  с точки зрения BI функционала.

Презентацию можно посмотреть вот тут:

Плюс настоятельно рекомендую просмотреть доклады по BI / Denali с Tech Ed 2011 NA. Вот что я собираюсь посмотреть (много вот только вышло…):

• Using Knowledge to Cleanse Data with Data Quality Services
• Getting Started with Cloud Business Intelligence
• Creating Self-Service Analytic BI Applications with Microsoft SharePoint 2010
• Can Your BI Solution Scale-
• A Lap around Microsoft Business Intelligence
• Managing Master Data with MDS and Microsoft Excel
• What’s New in Microsoft SQL Server Code-Named Denali for SQL Server Analysis Services and PowerP
• Abundantly Crescent — Demos Galore
• Columnstore Indexes Unveiled
• Using Cloud (Microsoft SQL Azure) and PowerPivot to Deliver Data and Self-Service BI at Microsof
• Killer Real-World PowerPivot Examples
• Advanced Business Intelligence Solutions Using Microsoft Excel + Excel Services
• Best Practices for Building Tier 1 Enterprise Business Intelligence Solutions with Microsoft SQL
• BI Power Hour
• Introducing the Next Generation Design Tools for Microsoft SQL Server Analysis Services
• What’s New in Microsoft SQL Server Code-Named “Denali” for SQL Server Integration Services
• End-to-End PerformancePoint Services
• Integrating Microsoft SQL Server Reporting Services with Microsoft SharePoint Technologies
• Microsoft SQL Server Analysis Services Design Challenges
• Advanced Dashboard Creation Using PerformancePoint Services
• Enterprise Data Mining with Microsoft SQL Server
• Deploying and Managing Microsoft SQL Server PowerPivot for SharePoint
• Enriching Your BI Semantic Models Using Data Analysis Expressions (DAX)

Для начала результат:

Что потребовалось для получения подобной аналитики:

• Формирование списка используемых категорий и привязка каждой встречи к той или иной категории. Я думаю, что вы и так это делаете.
• Формирование списка глобальных “инициатив”, которыми вы занимаетесь и привязка к каждой инициативе необходимых категорий.
• Небольшое приложение для Excel 2010, которое на VBA выгружает исходные данные из календаря за заданный промежуток времени.
• PowerPivot, который позволяет объединить все эти данные в единую модель.
• Excel 2010, который позволяет эту модель красиво визуализировать.

Что я получил на выходе:

• Статистику по встречам по дням, месяцам, времени дня, категориям, инициативам и т.д.
• Понимание на что я реально трачу свое время
• Возможность изменить свои приоритеты и инструмент, позволяющий отслеживать эти изменения.

Как вам такое приложение? Будет ли оно вам интересно?

На прошедшей неделе ситуация была исправлена и стала доступна для загрузки All-Up BI Demo Image X. Загрузить можно с сайта http://mssalesdemos.com/ Для этого регистрируемся на сайте, логинимся и переходим на закладку Downloads. Должна быть примерно вот такая картинка:

Всего 44 файла по 700 Мб.

Кстати, на этом же сайте можно устраивать демонстрации BI VPC 9.5 (нельзя скачать) и BI VPC X/ Вот что в них входит:

All-up- BI Demo: Release 9.5:

SharePoint conference BI demo that highlights Excel 2010, PowerPivot, SharePoint, Collaboration, PerformancePoint Services, Excel Services, Bing Maps, Silverlight.

All-Up BI Demo Image X:

Abstract – This all new BI demo image contains 3 core demos across the Microsoft Business Intelligence platform – SQL Server 2008R2, SharePoint 2010, and Office 2010. A brand new Telco demo with 3 new scenarios – Churn management, Revenue management, and Customer profitability. A new Self-Service BI demo, showcasing the capabilities of PowerPivot for Excel and Sharepoint, and a new SQL Server Analysis Servics demo showcasing how quickly and easily it is to create and publish data cubes for analysis and data mining

Надеюсь будет для всех полезно.

Предыдущую версию смотрим вот тут — Отчет Forrester о платформах для корпоративных хранилищ данных за Q1 2009.

Основные моменты:

• Все кроме Vertica попали в Лидеры. Как так может быть и в чем смысл таких “лидеров” не понимаю. Единственное – желание никого не обидеть.
• Sybase, SAP и Netezza – существенный прогресс.
• MS — без изменений.
• Terradata и Oracle практически сравнялись между собой.
• IBM подсдал позиции.

Кому интересно почитайте оригинал если не читали до этого аналитических обзоров Forrester…

• IDC Marketscape Excerpt IT Project and Portfolio Management 2010 (CA)
• IDC MarketScape Excerpt — EXCERPT IDC MarketScape Excerpt- IT (MS)

Основные графики и что на них:

• По горизонтали – Strategies – Стратегическое видение вендора (3-5 лет)
• По вертикале – Capabilities – Текущие возможности решения
• Размер круга (вендора) – рыночная доля
• +, – и = – изменение позиции вендора. 

Корпоративное управление проектами и портфелями ИТ проектов (IT Project Portfolio Management)

Управление ИТ проектами и портфелями как услуга — SaaS / On-Demand IT Project Portfolio Management

Управление финансами, услугами и активами в ИТ — Financial management and/or IT Service and IT Asset Management

Управление жизненным циклом приложений — Application life-cycle management tools

Я думаю по картинкам и так все понятно, но все-таки:

• Во всех срезах MS существенно улучшил свои позиции за последнее время.
• В PPM И ALM у MS очень сильные позиции
• В ITFM / ITSM срезе MS есть над чем поработать, хотя доля рынка достаточно большая.
• Ну и с SaaS у MS полный провал на текущий момент. В ближайшее время на этом поле должны произойти достаточно большие изменения, так что будем ждать.

Ну и явный лидер – CA. Одна проблема – компания теряет свои позиции.

Хвалят MS за сбалансированное соотношение цена / возможности. Ругают за привязку к Винде, отсутствие метоуровня (gaps in its unified, common metadata model) и проблемы с федеративным доступом к гетерогенным источникам данных (federated data access to heterogeneous sources). В общем все как всегда.

Предыдущая волна есть вот тут — Обзоры аналитиков – а есть ли толк?

Что это такое? Это попытка повторить Russian Microsoft BI Technical Conference, прошедшую 14-го октября в Москве. По формату все тоже просто – техническая конференция на 1 день по тематике Microsoft BI. Расписание опубликовано пока предварительное, так что если вы готовы с чем то выступить – пишите.

И самое главное – регистрируйтесь! Сейчас очень важно понять количество участников, чтобы подобрать правильное помещение.

PS: Я буду с первым докладом по платформу Microsoft BI. Если кто-то желает пообщаться – кидайте встречи

Зачем эта тема вендорам и ISV-партнерам? На вскидку:

• Возможность показать себя как настоящего инноватора
• Очень модный тренд, нельзя отставать
• У многих BDM уже есть планшет, так что имея решение для него гораздо проще продать всю платформу (и уже не важно, будет ли реально использоваться BI на мобильном устройстве)

Зачем это бизнес-пользователям?

• Повышение скорости доставки критически важной информации
• Существенное упрощение при работе с BI-данными
• Более широкое проникновение BI по всей организации

Нужно ли это на самом деле бизнесу и в особенности бизнесу в России? Пока не знаю… Но однозначно, с BDM гораздо проще общаться показывая "Вау” демки на экране планшета.

В продолжение темы “надо или нет” рекомендую почитать вот это исследование — Aberdeen Analyst Insight. Есть интересные данные.

Что на текущий момент есть у MS для мобильных пользователей? Ответ простой – от самого MS практически ничего. Только возможность разработки специальных мобильных версий отчетов в SSRS. Выглядит достаточно примитивно.

Выбор же партнерских решений гораздо больше. Перечислю только те, что мне известны:

PushBI

Один из самых старых партнеров в “мобильном BI”. На текущий момент поддерживается куча платформ:

• iPhone, iPad, Android, Windows Phone 7, Microsoft Slate
• Windows desktop
• Internet Explorer, Chrome, Firefox browsers

В России есть локальные партнеры, готовые делать проекты. В качестве демонстрации смотрим работу на IPad

Roambi

Узнал о них буквально пару дней назад. Поддерживаемых платформ на мой взгляд мало – только Apple и браузер. Но выглядит вполне красиво:

DSPanel

Первое решение, где в демонстрации увидел реальный интерактив при построении отчета.

BlueGranite

Ребята сделали приложение по Windows Phone 7. Видео не нашел отдельно, так что смотрим вот тут — BlueGranite Nitro for Windows Phone 7 

Почему пока такая ситуация – наличие партнерских решений, но отсутствие решений от MS? Попробую предположить:

• MS как правило делает платформу, на базе которой партнеры разрабатывают свои решения. В качестве платформы все ок – есть WM 7 и MS BI. Так что “пусть работают партнеры”.
• Совсем недавно вышла WM7 и теперь все силы направлены на ее доводку.
• Сиквельные ребята активно работают над SQL “11” и им не до того.
• До выхода Windows 8 не имеет смысла.

Но так ли важно наличие решения именно от вендора, когда есть такие отличные партнерские варианты?

И на последок, список решений под IPad от конкурентов:

• Cognos: http://www.flickr.com/photos/softwareinsider/5115307317/
• SAP/BOBJ: http://timoelliott.com/blog/2010/05/sap-businessobjects-explorer-for-ipad-demo.html
• MicroStrategy: http://www.microstrategy.com/mobile/ipad/
• SAS: http://www.bangkokpost.com/tech/computer/191597/sas-to-launch-ipad-software
• OBIEE: http://www.youtube.com/watch?v=5_nzeu3K-Xo
• QlikView: http://www.qlikview.com/us/explore/products/qv-for-mobile/ipad
• Spotfire: http://spotfire.tibco.com/ipad.aspx

• Magic Quadrant for Business Intelligence Platforms, 2011
• Magic Quadrant for Data Warehouse Database Management Systems, 2011

Предыдущие версии квадратов можно посмотреть вот тут — Очередные квадраты Gartner по BI и Хранилищам за 2010 год.

Начну с BI:

Что самое интересное на мой взгляд:

1. В отчет попало гораздо больше игроков, чем год назад (20 вместо 15 год назад). Так что несмотря на всю “консолидацию” рынка конкуренция не ослабевает и постоянно появляются новые игроки, которые занимают заметную долю рынка.
2. Ощутимый прогресс MS. Теперь MS лидер по оси “способности к реализации” и занимает 3/4 место по “полноте видения”.
3. QlikTech со своим QlikView попал в квадрант Лидеров! На мой взгляд большой успех для компании и вполне заслуженная оценка. Конкурировать с ними станет только сложнее, но оно и интереснее.

За что в этот раз ругают MS:

• Отсутствие единого продукта / решения. BI от MS это связка 3 продуктов – Office + SharePoint + SQL Server
• Большая ориентация на разработчиков, чем на конечных бизнес-пользователей.
• Отсутствие готовых решений
• Больший цикл развития решений из-за взаимосвязанности продуктов
• Большая зависимость / ориентация на “все от MS”.
• Отсутствие единой семантической модели.

Рекомендую в этот раз почитать весь доклад. В отличии от предыдущих нашел для себя много интересного (Может в прошлом году плохо читал?)

Продолжим DW:

Самое интересное:

1. MS выпал из квадранта лидеров. Причина простая – аналитики Gartner не включили в свое исследование SQL Server 2008 R2 PDW. А это существенно ограничивает возможности MS на больших ( > 20 Тб) хранилищах.
2. Greenplum, после покупки его ECM, попал в Лидеры.
3. Все остальное более менее без изменений / предсказуемо. Хотя такой прогресс SyBase выглядит очень странно.

Для MS этот отчет опять оказался смазанным как и предыдущий. Так что опять ждем следующего года. Уже будет реальный опыт внедрения PDW плюс SQL Server “11” должен привнести достаточно много улучшений.

Презентацию пока не обновил, но в этом году приоритеты выглядят так:

Основные изменения:

• Облака на первом месте

Лежит полностью в глобальном тренде. С одной стороны все вендоры стали очень активно раскручивать эту тему, с другой стороны – реально позволяет упростить жизнь ИТ директора и в некоторых случаях даже существенно сократить затраты.

• Полный провал Web 2.0

Так и не понял что Gartner под этим понимает. Скорей всего не это -  Веб 2.0

• Взлет на 4 место “Управления ИТ”

Для меня довольно странно. Хотя может и понятно, с учетом того что 66% бюджетов уходит на поддержание текущей операционной деятельности.

• BI все еще на 5 месте

Без комментариев

Общее замечание – не совсем понимаю выбор Gartner’ом списка технологий. По хорошему в Облака можно включить и BI и Collaboration и т.д.

А как вам такие приоритеты? Релевантно для России?

Вот что предсказывает Gartner:

• К 2013 году 33% BI функционала будет использоваться с мобильных устройств (handheld devices)

Полностью согласен. Основной упор конечно же будет делаться на планшетные ПК. Скорость их распространения и поддержка основных BI игроков на мой взгляд не оставляют сомнений в этом прогнозе.

• К 2014 году 30% аналитических приложений будут использовать In-Memory подходы для повышения масштабирования и скорости. 30% BI приложений будут использовать возможности прогнозирования и предсказаний.

In-Memory последние 2 года является одной из самых модных и востребованных тем в BI. С выходом SQL Server “11” MS начинает внедрять In-Memory не только в клиентских инструментах (PowerPivot), но и в серверных сценариях. Так что в 30% верб легко. В 30% “предсказаний и прогнозирования” верю немного меньше, ибо не совсем понятно что Gartner под этим понимает плюс эта тема все-таки не технологическая и достаточно сложна для внедрения…

• К 2014 году 40% затрат на BI будут доставаться интеграторам, а не поставщикам ПО.

И верю и не верю… По опыту на софт и железо все еще уходит очень большая часть типового BI-проекта. С другой стороны, очевидна тенденция к снижению стоимости ПО в BI-проектах. Буду ждать.

• К 2013 году 15% BI проектов будут совмещать функционал аналитики (BI), совместной работы (collaboration ) и социальных сетей (social software).

Это уже по сути так (правда не в размере 15% пока). Так что тут тоже нет сомнений.

Осталось подождать 3-4 года и проверить что из этого сбудется…