Для тех, кто не знает – это мероприятие, задуманное как немаркетинговое, основная цель которого дать возможность людям, которые как-то связаны по своей работе с продуктами Oracle пообщаться между собой и обменяться опытом.
Тема как и в прошлые годы не обязательно именно Oracle Business Intelligence. Интересно все, что связано с аналитикой, хранилищами данных, Большими данными и т.д.

За прошедший год появилось много интересных новинок и апдейтов, так что мы собираемся о некоторых из них рассказать.
Но, конечно, самое интересное – это “вести с полей”, реальный опыт наших заказчиков и партнеров.
Поэтому, если кто хочет выступить с каким-нибудь докладом, рассказать что-то интересное – пожалуйста свяжитесь со мной.

Зарегистрироваться можно тут

Не удивляйтесь, если подтвержение регистрации придет не сразу. Финальное подтверждение мы обычно присылаем ближе к дате проведения. Но если вам нужно подтвержение раньше, например, если вы живете не в Москве и вам нужно оформлять командировку – тоже сообщите мне.

В этом году впервые количество желающих попасть на мероприятие было так велико, что нам пришлось закрыть регистрацию за полторы недели до мероприятия. В прошлые годы мы закрывали регистрацию за день-два максимум.

А на самом мероприятии присутствовало около 100 человек. Это, насколько я помню, рекорд.

Не знаю, хорошо это или плохо. Изначально, в 2006 году, BI Пиво (которое тогда еще так не называлось) задумывалось как площадка для обмена опытом и общения в неформальной обстановке специалистов по Oracle BI и хранилищам данных. И вот тут я не знаю, удается ли сохранить клубную атмосферу на мероприятии, на котором присутствует 100 человек? Лично я совершенно точно не успел пообщаться со всеми, с кем хотел.

Мне интересно ваше мнение.

Вторая особенность, которая на этот раз точно меня порадовала – в этот раз у нас было гораздо больше презентаций не от Oracle, чем обычно. Но и вообще презентаций было 11. Спасибо нашим докладчикам и особенно заказчикам!

Но вернемся к презентациям.

• Oracle Big Data SQL Алексей Филановский, Oracle. Алексей рассказал о совершенно новом продукте из линейки Big Data, который был объявлен буквально за два дня до нашего мероприятия. Этот продукт позволяет работать одновременно с данными, лежащими в базе данных Oracle и в Hadoop. Но не только
• Oracle Pattern Matching в Oracle Database 12c, Ольга Горчинская, ФОРС. В этой презентации Ольга рассказала об одной из новых возможностей базы данных 12c – идентификации шаблонов в данных. Раньше эта возможность существовала только в продукте Oracle Event Processing.
• Exadata глазами заказчика. Опыт использования Oracle BI Publisher, Александр Березаев, Денис Демин, Русский Свет. Как видно из названия, ребята рассказали о том, как они используют продукты Oracle. Всегда интересно послушать о реальном опыте работы.
• Интеграция Oracle Essbase и Oracle BI EE Наталья Горбунова, Oracle. В этой презентации Наталья подробно рассказала и показала как начать работать с данными в Essbase при помощи Oracle BI. К сожалению, демонстрацию выложить не получится. Так что остаются только слайды
• Резервирование и восстановление работы Oracle BI Олег Тараканов. Еще одна презентация от наших заказчиков. Название говорит само за себя.
• Новые возможности Oracle Data Integrator и Oracle GoldenGate Александр Рындин, Oracle
• Oracle R Enterprise и интеграция с Oracle BI Павел Дубинин, Oracle. Павел рассказал про тему, о которой многие слышали, но мало кто имеет практический опыт работы – собственно, о том, что такое язык R, о его основных возможностях, о том, что такое Oracle R Enterprise, как он связан с языком R и как его можно использовать. В заключение было рассказано и показано, как проинтегрировать аналитику, производимую в R Enterprise с Oracle BI. Эта презентация тоже состояла по большей части из живой демонстрации, так что в слайдах есть далеко не все. Обращаю внимание, что презентация не в виде PDF, а в виде анимированного приложения. Нужно скачать (30МБ), распаковать и запустить исполняемый файл.
• Дальше была презентация об одном реальном проекте. Ее рассказыал Алексей Курбатов. Я пока не получил от него разрешение, что ее можно выложить на сайт. Как только получу – выложу.
• Oracle BI Mobile AppDesigner V2 Дмитрий Куликов, Oracle. Год назад Дмитрий уже рассказывал о появлении на тот момент нового продукта для создания мобильных BI приложений. В этот раз он рассказал и продемонстрировал, что изменилось за год и как создавать эти приложения.
• Oracle NoSQL Database. Key-Value БД c RDF графами Антон Пилипенко, Форс. По сути, эта презентация была об еще одной не очень широко известной, но интересной теме – Resource Description Framework (RDF). Сам RDF – это не технология Oracle, но Oracle во многих продуктах позволяет ее использовать. В частности в Oracle NoSQL Database и Oracle Spatial and Graph. Интересно, что когда я только начинал вести этот блог в далеком 2007 году, я тоже написал пару постов на эту тему. (Раз, Два). Не уверен, правда, что ссылки в них еще рабочие. Но вдруг кому пригодится.
• Spark. Эволюция слонов Алексей Филановский, Oracle. Еще одна презентация Алексея, завершившая вечер. Тема больших данных сейчас стала довольно популярной, но по прежнему, гораздо больше людей про нее знают теоретически, чем практически. Можно сказать, что сейчас уже многие слышали о существовании Hadoop, NoSQL базах данных или может быть Hive. Но мир Big Data очень разнообразен и очень быстро развивается. Поэтому мы решили более широко рассказать о том, что сейчас в нем происходит и как эволюционируют технологии. Эта презентация не относится напрямую к Oracle, но думаю, была интересна и полезна для общего развития.

Все презентации одним архивом можно скачать здесь.

Презентации с прошлогоднего BI Пива 2013 можно скачать тут.сондажи

Темы этого мероприятия – Business Intelligence, аналитика, хранилища данных, интеграция. В последние годы появилась новая и интересная тема, т.н. Big Data, то есть такие продукты как Hadoop, Oracle NoSQL DB и смежные с ними.

Не менее интересная и важная часть – выступление людей \”из полей\”, то есть заказчиков и партнеров Oracle, использующих наши продукты в своей работе. В связи с чем, опять же традиционно приглашаю тех, кто может и хочет рассказать о чем-то интересном отозваться.

Опыт показывает, что внешние докладчики думают, сомневаются и решают выступать или не выступать до последнего момента, поэтому финальная программа появляется чуть ли не в день мероприятия. Но пока никто на это не жаловался, так как обычно выступления не очень длинные и каждый находит что-то интересное для себя.

Ну и конечно, опять же традиционно в конце будет пиво и свободное общение.

Регистрация на мероприятие здесь.

Регистрация обязательна, так как число мест в ресторане ограничено.

Если есть вопросы – готов ответить.

Update 07.07.14: Регистрация закрыта.

Мы решили сделать еще одно подобное мероприятие, но посвященное теме Oracle Engineered Systems.

К Oracle Engineered Systems относятся Exadata, Exalogic, Big Data Appliance, Exalytics и другие программно-аппаратные комплексы.

Основная идея таких мероприятий – поделиться именно практическим опытом работы с продуктами Oracle. Поэтому здесь довольно важно и интересно, когда выступают партнеры или заказчики, работающие с нашими системами. По традиции, предлагаю откликнуться тех, кому есть о чем рассказать.

Обращаю внимание, что в этот раз темы могут быть шире аналитики и хранилищ данных. Зависит от наших докладчиков, но я уверен, что они будут рассказывать и про опыт работы, например, с OLTP системами.

Программа еще формируется, но я постараюсь выкладывать промежуточные версии.

Зарегистрироваться можно по этой ссылке. Как обычно, нужно дождаться подтверждения регистрации. Так как количество мест ограниченно, рассылать подтверждения мы будем ближе к мероприятию, за несколько дней. Поэтому, если вам критично получить подтверждение раньше (например, если вы не из Москвы и вам нужно бронировать билеты на поезд или самолет), пожалуйста, сообщите мне об этом.Сео услугиСео

Не так давно украинское издание Компьютерное Обозрение опубликовало интервью, которое я им давал во время Oracle Day в Киеве осенью прошлого года. На мой взгляд, оно получилось довольно удачным, т.к. если бы я писал на эту тему статью в блог, то многие бы вещи, упомянутые в интервью я бы там тоже описал.

Там и вообще о том, что такое Большие Данные и о Hadoop и о Oracle NoSQL Database и многое из того с чем мы сталкиваемся при работе с нашими заказчиками.

Так что даю ссылку на интервью, а если у вас есть какие-то вопросы – можете задавать мне их здесь.

В мире СУБД (особенно в области хранилищ данных и аналитики) уже не один десяток лет существуют споры между сторонниками хранения данных в таблицах по строкам и по колонкам.

Традиционное хранение по строкам универсально и используется в большинстве СУБД. Альтернативный, колоночный подход – разрезать все таблицы по колонкам и хранить колонки в виде отдельных объектов. Преимущества этого подхода в том, что:

1. При выполненнии запроса читаются только те колонки, которые требуются в SQL запросе, так как остальные лежат физически в других объектах. В случае хранения по строкам нужно читать все данные, даже если они не нужны. Очевидно, что когда читаются только нужные колонки – скорость чтения будет гораздо выше.
2. Данные, содержащиеся в одной колонке чаще всего однотипны и из-за этого очень хорошо сжимаются. Если сжимать обычную таблицу, коэфициент сжатия будет гораздо скромнее. СУБД с колоночным хранением обычно сжимают данные.

Но как это часто бывает, у такого подхода есть и свои недостатки:

1. Базы данных с колоночным хранением обычно используются только для хранилищ данных, то есть для задач, где данные будут в основном читаться. Для транзакционных систем их использовать затруднительно.
2. Так как объекты содержащие колонки обычно еще и сжимаются, то добавление новых значений в таблицу или обновление требуют зачастую по сути пересжатия данных во всей таблице во многих объектах, что очень плохо сказывается на проиводительности. (Кстати стоит заметить, что технология Hybrid Columnar Compression в Exadata частично смягчает эту проблему)
3. В случае, если запрос использует большое число таблиц, связей, колонок, становится необходимым распаковывать и связывать большое количество объектов, что тоже влияет на производительность

Поэтому возникает проблема – с одной стороны колоночное хранение и обработка в некоторых случаях дает серьезное ускорение выполнение запросов, но с другой стороны на других запросах это наоборот может работать в минус.

Анонсированная Ларри Эллисоном опция по сути позволяет совместить оба подхода. Администратор системы может объявить таблицу или отдельную партицию как хранимую в памяти через \”ALTER TABLE … INMEMORY\” и для этой таблицы будет создаваться в памяти ее колоночная копия. То есть таблица будет находиться в памяти как в традиционном строчном виде, так и в колоночном. (Я не совсем понял, правда, сжимается ли при этом этом колоночная версия. Видимо нет.) Какие при этом появляются преимущества?

1. Аналитические SQL запросы смогут серьезно ускорятся в тех случаях, когда оптимизатор запросов поймет, что лучше использовать колоночную копию данных.
2. При этом переписывать приложение по сути не нужно, так как это не какая-то новая база данных, а все тот же Oracle. Возможно какой-то тюнинг и придется делать, но это как и всегда.
3. Одна из потенциальных возможностей – это удалить часть индексов, используемых только для аналитических запросов. Это дает во-первых экономию дискового пространства, так как индексы зачастую занимают больше места, чем сами данные, а во-вторых, меньше индексов – быстрее работают и операции, такие как вставка, обновление, удаление, так как они вызывают изменение в индексах. Таким образом, использование этой опции может дать ускорение и обычной транзакционной системы. При этом, в случае изменений в строчной версии данных, колоночная копия тоже будет меняться.

Интересная возможность, про которую говорили – использование т.н. SIMD (single instruction, multiple data), то есть возможность современных процессоров за одну команду обрабатывать целый массив данных. Отдельная колонка, по сути является таким массивом. И для тех запросов, которые могут использовать эту возможность, это позволит достичь ускорения в тысячи раз. Утверждалось даже, что это даст возможности обрабатывать миллиарды записей в секунду на одном процессорном ядре.

В целом, это опция использования оперативной памяти продолжает то, что было объявлено в прошлом году и о чем я тогда писал, что стратегия Oracle все больше использовать дешевеющую полупроводниковую память и меньше полагаться на медленные диски. Многоуровневое кеширование с использованием флеш-карт и оперативной памяти позволяет ускорять множество операций. При этом диски все больше становятся только средством долговременного хранения данных.

Пока остаются вопросы как эта технология реализована в деталях и какие у нее ограничения, а также когда она будет доступна. Ясно только, что доступна она будет в Oracle Database 12c. (не в 11g)

Продолжение следует.

Каждый год мы что-то меняем в форме и/или содержании. В этот раз особенностью было множество очень коротких презентаций. По-моему, по количеству докладов это было самое насыщенное Пиво за все годы. Так как многие из них читались специалистами Oracle, то удалось удержать регламент и не выбиваться за отведенные 15 минут на доклад. В итоге, как мне кажется, удалось осветить множество тем и, надеюсь, каждый присутствовавший хоть что-то новое узнал.
Спасибо всем докладчикам!

• Основной новостью последнего года является, безусловно, выход нового релиза СУБД Oracle 12c. Александр Рындин выступил с докладом Oracle 12c. Новые возможности для хранилищ данных и аналитики.
• Применение продуктов Oracle для решения задач миграции на примере проекта компании TOPS. Сергей Прохоров, Oracle. Сергей рассказывал о реальном проекте, в котором использовались Oracle Data Integrator и Oracle GoldenGate.
• Enterprise Data Quality – очистка данных при построении DWH. Иван Веткасов, Oracle. Иван рассказал о продукте, про который пока еще мало кто знает – Oracle Enterprise Data Quality. Тем не менее продукт очень интересный. Рекомендую обратить на него внимание.
• Возврат долгов «по-хорошему» или нестандартное использование Oracle BI Segmentation. Павел Дубинин, Oracle. Эта презентация продолжает серию презентации на стыке BI и CRM, начатую несколько лет назад. Павел Дубинин рассказал о примере использования BI Segmentation для коллекторских агентств, но в принципе, этот подход можно использовать и для других задач. Презентация выполнена в виде анимированного ролика, поэтому находится в архиве.

Далее у нас был целый блок презентаций и демонстраций, связанных с Большими Данными.

• Интеграция Oracle BI с Hadoop. Дмитрий Куликов, Oracle. В этой презентации с демонстрацией Дмитрий показывал, как можно подключить источник данных в Hadoop к Oracle BI и даже как можно организовать, чтобы, в одном отчете за старыми данными BI обращался в Hadoop, а за свежими в Oracle DB.
• История тестирования Big Data Appliance для одного банка. Алексей Филановский, Oracle
• Технологии Big Data для практических задач. Ольга Горчинская. Форс. В этом докладе Ольга рассказала об опыте Форс в области Big Data и о том, что меняется с появлением новых технологий.
• Решение задачи Производственного планирования в Hyperion Planning. Евгений Расюк. Essbase.ru
• Решение задачи о количестве всех замкнутых маршрутов коня на Oracle Exadata X2. Алексей Курбатов, IBS. Презентация, которую вряд ли можно услышать на официальных мероприятиях, так как она о том, как можно использовать Exadata не для бизнес-приложений, а для решения вычислительных задач. Это, наверное, была самая обсуждаемая презентация во время неофициальной части.
• Аналитика в реальном времени. Real-Time Decisions. Александр Рындин, Oracle. В этом докладе, Александр рассказал о применении еще одного продукта, про который мы не часто рассказываем – Oracle Real-Time Decisions. К презентации прилагается демо-ролик.

Было еще несколько живых демонстраций, которые по понятным причинам, выложить не получится.

Все презентации одним архивом можно скачать отсюда.

Так уж получается, что у меня не получается часто писать в этот блог в последнее время. Многие на него подписаны по RSS, но недавно Google Reader, которым пользовалось большинство читателей закрылся. Для тех их из вас, кому все-таки интересно отслеживать обновления могу порекомендовать две возможности:

1. Справа помещена форма для подписки по email. Как только появится новое сообщение – вы получите уведомление по почте.
2. Существует несколько альтернативных RSS-читалок, которые можно использовать вместо Google Reader. Мне больше всего понравился Feedly.

Презентации с прошлогоднего BI Пива 2012 – здесь.

UPD 2.08.13: Добавил презентацию Дмитрия Куликова про интеграцию BI c Hadoop.

Чтобы зарегистрироваться, нужно пойти по этой ссылке.

Если у кого-то возникнут сложности с регистрацией – дайте мне знать.

На текущий момент у нас уже получается довольно богатая и интересная программа, так что ждем вас 4 июля.

В этом году мероприятие с народным названием \”Oracle BI Пиво\” состоится.
Где и когда – пока не совсем ясно. Но, понятно, в Москве и, скорее всего, либо в конце июня, либо в начале июля. Программа будет опубликована позднее, ближе к мероприятию.

Пока, как обычно, ищем тех, кто готов и хочет выступить.
BI Пиво – полуформальное мероприятие по темам Business Intelligence, хранилищам данных и другим смежным темам. Состоит из короткой (по возможности) презентационной части и дальнейшим общением за пивом. (Проходит все в ресторане)

Это одно из немногих мероприятий, где действительно можно рассказать о реальном опыте, реальных проблемах и способах их решения.

Одновные идеи две:

1. Выступают не только (и не столько) работники Oracle, но и представители заказчиков и партнеров, у кого есть реальный интересный опыт.
2. Презентации очень короткие и по существу. В этом году лимит времени – 15 минут на доклад.

В связи с чем традиционный вопрос – есть ли желающие выступить? Тема может быть любая, главное связанная с аналитикой, хранилищами, Большими данными (модная тема), ну или чем-то вроде этого.
Конечно, у нас (Oracle) есть много, о чем рассказать, но интересны, конечно, \”вести с полей\”.

Сообщите мне любым способом – почта (andrey.pivovarov [собака] oracle.com), телеграф, телефон, комменты к этому посту соц. сети и т.д.

UPD 250613: Открыта регистрация.

1. Пресейл-консультант по Oracle Business Intelligence и хранилищам данных.

Как вы, возможно, знаете, Ольга Горчинская не так давно перешла работать в компанию ФОРС. В связи с этим у нас появилась вакансия. Хотя, очевидно, заменить Ольгу будет невозможно, но тем не менее мы ищем сильного специалиста по BI и хранилищам.
Очень важны и технические знания и презентационные способности.

Формальное описание вакансии тут.

2. Пресейл-консультант по Oracle Exadata.

Вторая вакансия связана с Oracle Exadata. Мы расширяем нашу группу.

Почти два года назад я уже писал тут, чем занимается пресейл консультант, так что просто перепечатываю это описание:

\”Нужно, чтобы человек имел хороший опыт работы с СУБД Oracle, желательно с большими нагрузками и большими объемами данных.

Что еще нужно? Английский язык на приличном уровне. Придется много общаться с западными коллегами и читать документацию на английском. Нужна готовность к командировкам (обычно коротким) по России и за границу.\”

Важный момент: очень большое плюс – наличие опыта администрирования БД Oracle под SAP.

Формальное описание вакансии тут

Задавайте вопросы – готов ответить.

Update: Всем спасибо, вакансии временно закрыты.