Plenty of Fish представляет собой очень популярный сервис онлайн знакомств, насчитывающий более 45 миллионов посетителей в месяц и 30+ миллионов просмотров страниц в сутки (что составляет около 500-600 страниц в секунду). Но это не самая интересная часть истории... Все это управляется единственным человеком при использовании нескольких серверов, при этом он тратит на работу всего пару часов в день и зарабатывает 6 миллионов долларов на рекламе от Google. Завидуете? Я тоже Как же ему удалось соединить столько влюбленных пар, используя так мало ресурсов?

Источники информации

Данный пост является переводом англоязычной статьи, автор оригинала: Todd Hoff.

Статистика

Вам не нужны миллионы в финансировании, размашистая инфраструктура и целое здание сотрудников для того, чтобы создать вебсайт мирового уровня, который обслуживает кучу пользователей и приносит неплохие деньги. Все что нужно — всего лишь привлекательная идея, которая понравится большому количеству идей, сайт, который становится популярным благодаря слухам, а также опыт и видение для построения сайта, не наступая на типичные «грабли». Вот и все, что Вам нужно

Наверняка все прекрасно знают о лидерах интернет-поиска в российской части интернета: про Google, Яндекс или Рамблер сказано уже не мало слов, все много раз о них читали, пользовались, обсуждали — ведь уже прошло больше 10 лет с момента создания каждой из этих поисковых систем и, как следствие, их конкуренции на просторах рунета. Намного меньше же внимания на российских информационных сайтах уделяется национальным проектам других стран, а ведь среди них тоже есть заслуживающие внимания экземпляры, об одном из них я бы и хотел сегодня поведать.

Источники данных

• Baidu Aladdin Technology Guashudila
• Rachel Liao, лекция директора по архитектуре Baidu
• Baidu Chief Architect: алгоритмы на службе разработчиков Baidu
• Aladdin Plans

Если кто-то достаточно любопытен, чтобы нажать на приведенные ссылки — они все на китайском, так что статья написана на основе перевода Google Translate со всеми вытекающими последствиями. Даже за название «Aladdin» не ручаюсь, его тоже он придумал

О компании Baidu

Baidu.com является лидером китайского рынка интернет-поиска, объем которого достаточно значителен. На данный момент Китай насчитывает около 340-360 миллионов интернет-пользователей, что превышает общую численность населения США. Не трудно представить с каким трафиком приходится сталкиваться крупнейшей китайской поисковой системе.

Чтобы не быть голословным, еще немного цифр о Baidu:

• 100 миллионов поисковых запросов в день
• Более миллиарда проиндексированных страниц
• 300-400 миллионов проиндексированных сайтов

Уже на сегодняшний день размеры китайской части интернета производят впечатление и с каждым днем она расширяется все больше. Как следствие, на рынке образуются все новые и новые возможности для создания сервисов, удовлетворяющих потребности китайских пользователей Интернет. Компания Baidu Inc. пристально наблюдает за развитием ситуации и обнаружила огромную потребность среди сервис-провайдеров в удобной платформе для создания и предоставления пользователям новых сервисов. Baidu считает создание платформы для использования их технологии сторонними разработчиками и сервис-провайдерами очень важным направлением развития на пути к повышению качества пользовательского опыта в целом. Эти наблюдения стали толчком к рождению в рамках Baidu новой технологии под названием Aladdin.

Как крупнейшей китайской поисковой системе, Baidu приходится быть чем-то большим, чем просто инструментом для поиска, это позволяет удовлетворять потребности потенциальных клиентов наиболее гармоничным и целесообразным образом. Помимо неустанной погони за технологическими инновациями, Baidu предпочитает придерживаться политики «потребности клиентов важнее всего».

Aladdin

Согласно официальному сайту Baidu, эта технология представляет собой открытую поисковую платформу, позволяющую сторонним разработчикам использовать технологию Baidu в своих приложениях и сервисах. Владельцы интернет-проектов и разработчики могут предоставить Baidu данные в уже структурированном виде для того, чтобы создать еще более мощные и функционально-насыщенные приложения, позволяя интернет-сайтам получать еще более значимый трафик, а пользователям — еще больше облегчить использование сайтов и поиск в сети Интернет.

В декабре 2008 года Baidu объявили о высокоприоритетной программе под кодовым названием «Aladdin», основной идеей была попытка расширить текущие рамки веб-поиска, по большей части за счет включения так называемого «глубинного интернета» в поисковую базу, проведения более глубокого анализа контента. Помимо этого упоминались возможность интеграции и управляемой обработки информации, направленных на минимизацию издержек поиска и времени обработки запроса при повышение общего качества поисковых результатов. В том же заявлении Baidu также описали их общую позицию по данному направлению: платформа Aladdin является надстройкой над текущей поисковой системой Baidu, позволяющей дополнение и расширение функциональных возможностей.

Согласно исследованиям Baidu, только 75% пользователей поисковых систем в конечном итоге удовлетворяют свои информационные потребности. В процессе анализа причин данного факта было выявлено, что в большом количестве случаев искомая информация находится на ресурсах по каким-то причинам находящимся вне доступа поисковых систем (начиная от технических ограничений, отсутствия внешних ссылок на ресурс и заканчивая искусственными барьерами вроде REP или принудительной авторизации).

Перед разработчиками Aladdin встают две основные проблемы с точки зрения технической реализации: «как определить пользовательские потребности» и «как сортировать». Конечно же они очень тесно связаны между собой, это хорошо демонстрирует пример с поисковым запросом «полное солнечное затмение»: до затмения пользователи хотят когда оно будет и откуда лучше смотреть, а во время и после него намного актуальнее будет увидеть видео-запись или прямую трансляцию, а также прочитать и поделиться комментариями. Самым простым методом решения данного класса задач является статистический анализ — Aladdin выделяет два основных фактора, используемых для сортировки результатом в соответствии с потребностями пользователей: «удовлетворенность потребностей» и «уровень отклика на спрос». Конечно же оценочные характеристики спроса и потребностей не означают сам спрос, то есть возможны и более сложные ситуации, когда за пользовательским запросом стоит целый комплекс более простых потребностей.

Алгоритмы, используемые в Aladdin для решения упомянутых проблем, основаны на машинном обучении, анализе поведения пользователей, а также обратной связи от использования технологии на практике. Конечная цель данной платформы заключается в построении целой интеллектуальной экосистемы,  которая станет новым шагом в развитии компании Baidu и китайской части интернета в целом.

Возможности платформы

С технической точки зрения Aladdin от Baidu представляет собой открытый API к поисковой технологии Baidu, позволяющий добавлять свои данные в структурированном виде в поисковый индекс, отмечать релевантные ключевые слова, методы отображения информации и пометки данных гео-метками.

Одним из важнейших направлений развития поисковых систем является повышение «интеллектуальности» поиска, Baidu уделяет внимание не только обнаружению более ценной информации в глубинах Интернета, но и предоставлению более удобных, точных и сообразительных поисковых сервисов.

На сегодняшний день, технология Aladdin была интегрирована в ряд приложений, позволив тем самым реализовать на страницах с результатами поиска множество интересных возможностей: прямой звонок клиенту для обсуждения каких-то товаров или услуг, интеграция с почтовым сервисом, прослушивание музыки с использованием встроенного flash-плеера и многие другие.

После обязательной процедуры подачи и рассмотрения заявки пользователям платформы Aladdin предоставляются следующие возможности:

• Добавление данных в индекс в структурированном виде
• Указание ключевых слов для более точного прямого воздействия на целевую аудиторию
• Управление сортировкой и отображением информационного контента
• Управление стилем и внешним видом имеющихся ресурсов, причем не только текстовых
• Выбор частоты обновления информации для синхронизации данных

На первый взгляд все эти рассуждения и заявления о функциональных возможностях кажутся абсурдными, даже отчасти ироничными. Ну кому может понадобиться вручную управлять результатами поиска, добавлять и структурировать данные, возиться с сортировкой и внешним видом?

Взгляд с другой стороны

Да, вся платформа Aladdin по своей задумке очень искуственна: практически все делается вручную, но по сути это лишь процесс интеграции, а не работа с самим контентом. Для большинства других поисковых систем такой подход неприемлем: где найти столько людей, чтобы управлять огромными массивами данных вручную? Наоборот все поисковые системы стремятся по максимуму все автоматизировать и борятся с искуственным вмешательством в поисковый индекс (т.н. SEO), но... если вспомнить, что Baidu работает в Китае — вся затея начинает обретать здравый смысл. Как сама компания Baidu, так и большинство их потенциальных партнеров, клиентов и пользователей находится в примерно одинаковой ситуации: большое количество дешевой рабочей силы, относительно низкий уровень образования и профессиональной подготовки, а также прочие национальные особенности. В их ситуации не выгодно идти по пути Google и делать основной акцент на построении полностью автоматизированных систем анализа контента, добавления дополнительного материала к поисковым результатам и самим делать различные дополнительные приложения и сервисы. Намного выгоднее пойти по собственному пути, более адаптированному к ситуации в Китае, большое количество трудолюбивых людей позволяет строить сервисы коллективно, с привлечением партнеров, клиентов и заинтересованных лиц. Да, во многом вручную, за счет интеграции совершенно различных систем и сервисов, но зато более качественно и продуманно. В этом-то и заключается вся магия Китая.

По работе мне доводилось активно «иметь дело» с железкой от Sun под названием Sun Unified Storage 7410. Представляет собой достаточно мощную систему хранения данных с установленным Solaris, но доступом и управлением исключительно через веб-интерфейс. Основной «фишкой» системы является модульность: дисковый массив наращивается подключаемыми внешне дисковыми модулями по примерно 20-50ТБ, сетевой интерфейс также модульный — на выбор начиная от нескольких обычных Ethernet по 1GBps и заканчивая оптоволокном, CX4 или InfiniBand. Две таких машины можно легко объединить в одну виртуальную для повышения надежности доступа к данным, подключив к ним общий дисковый массив. RAID используется софтверный средствами ZFS, вполне стандартный набор опций из зеркалирования, stripe, RAID5/6 и их комбинаций.

С точки зрения производительности тоже достаточно интересная штука: при подключении через 4x 1GBps Ethernet (с использованием LACP, но это тема для отдельного поста) определенно упирается в сеть, но все равно отлично подходит для использования в решении многих прикладных задач. Из интересных опций можно отметить прозрачное использование нескольких SSD-дисков в каждом дисковом массиве в роли кэша.

Все функции системы абсолютно прозрачны и настраиваются в несколько кликов через веб-интерфейс, командная строка хоть при желании и доступна, но практически не нужна. Там же можно увидеть статистику использования подсистем и прочую полезную информацию. В целом отличная система хранения данных: простая, надежная, быстрая, удобная, вместительная и масштабируемая, правда с одним большим НО — цена просто зашкаливает, прицениться можно, сходив по ссылке в начале записи, но вообще есть и более дешевые модели в этой серии.

К чему я это все вспомнил? На почту пришел очередной рекламный буклет от Sun с предложением попробовать Sun Unified Storage в виртуальной машине VirtualBox или VMWare, сам еще не установил — времени не нашлось, но возможно Вам покажется интересным. Конечно это не совсем то же самое, что и физическая железка — производительность дисковых и сетевых подсиситем не померять, но веб-интерфейс заценить можно.

Stack Overflow является любимым многими программистами сайтом, где можно задать профессиональный вопрос и получить ответы от коллег. Этот проект был написан двумя никому не известными парнями, о которых никто никогда раньше не слышал. Хорошо, не совсем так. Stack Overflow был создан топовыми программистами и звездами блогосферы: Jeff Atwood и Joel Spolsky. В этом отношении Stack Overflow похож на ресторан, владельцами которого являются знаменитости. По оценкам Joel'а около 1/3 программистов всего мира использовали этот интернет-ресурс, так что должно быть он представляет собой что-то достаточно полезное и интересное.

Одним из ключевых моментов в истории Stack Overflow является использование вертикального масштабирования, как достаточно работоспособного решения достаточного большого класса проблем. Не смотря на то, что публика на сегодняшний день больше склоняется к подходу с использованием горизонтальным масштабирования и не-SQL баз данных.

Если Вы стремитесь к масштабу Google, у Вас нет другого выхода, как двигаться в направлении не-SQL. Но Stack Overflow — это не Google, ровно как и подавляющее большинство других сайтов. Когда Вы задумываетесь о возможных вариантов дизайна Вашего проекта, попробуйте учесть и историю Stack Overflow, она тоже имеет право на жизнь. В этот век многоядерных машин с большим объемом оперативной памяти и невероятными темпами развития методов параллельного программирования, вертикальное масштабирование все еще является жизнеспособной стратегией и не должна сразу же отбрасываться в сторону просто так как это теперь больше не модно. Возможно в один прекрасный день мы получим лучшее из обоих миров, но на сегодняшний момент перед нами лежит большой болезненный выбор стратегии масштабирования, от которого определенно зависит судьба Вашего проекта.

Joel любит похвастаться тем, что они достигли производительности, сравнимой с другими сайтами аналогичных размеров, используя в 10 раз меньше оборудования. Он удивляется, работали над этими сайтами по-настоящему хорошие программисты. Давайте взглянем на то, как им это удалось, и дадим Вам возможность побыть судьей.

Перевод статьи, автор оригинала — Todd Hoff. Возможно будет еще один пост с менее формальной информацией на ту же тему.

Статистика

Terrastore является свежеиспеченной системой хранения документов, с отличными возможностями по масштабируемости и эластичной настройке, при этом без жертв со стороны консистентности данных.

Вместо подробного описания несколько ключевых характеристик продукта:

• Легкодоступность: данные доступны посредством повсеместно используемого протокола HTTP.
• Распреденность: узлы могут работать и существовать на любых доступных серверах.
• Эластичность: имеется возможность динамического добавления и удаления узлов кластера на лету, без малейшего простоя системы и каких-либо изменений в конфигурации.
• Масштабируемость на уровне данных: документы разбиваются на группы и распределяются между доступными узлами с автоматической прозрачной балансировкой, в том числе и при добавлении и исключении узлов в кластере.
• Масштабируемость на вычислительном уровне: запросы и обновление данных распределяются по узлам, которые физически хранят используемые данные, тем самым минимизируется трафик и распределяется вычислительная нагрузка.
• Консистентность: система обеспечивает по-документную консистентность данных, таким образом гарантируя тот факт, что пользователь всегда получает самую свежую версию документа, обеспечивая изоляцию для параллельных модификаций документов.
• Отсутствие схемы: предоставляет JSON интерфейс, основанный на коллекциях; пользователям предоставляется возможность просто создать свою коллекцию и положить туда что угодно.
• Простота в работе: установка полностью работоспособного кластера заключается в вводе всего нескольких команд и не требует какого-либо редактирование XML-конфигов.
• Богатый функционал: поддерживаются push-down предикаты, запросы по диапазонам и серверные функции обновления.

Если Вам показалось интересным, у Вас есть возможность получить более подробную информацию, принять участие в проекте, скачать дистрибутив или получить копию исходного кода!

В очередной раз спасибо highscalability.com за источник информации, за одно хотелось бы услышать мнения о таком формате постов. Я тут уже почти неделю копаюсь над постом-долгостроем про Baidu, а такой можно сочинить за полчаса.

Кстати про Terracotta, на основе которой работает данный продукт, тоже давно пора было уже написать, в ближайшее время займусь

В общем судя по всему я решил считать 3 января 2008 года Днем Рождения Insight IT, так что как раз самое время написать очередной бестолковый «праздничный» пост, по совместительству выполняющий роль «новогоднего» (надо же поздравить всех читателей с Наступившим, хоть и несколько поздновато; отметил я просто замечательно и три дня провел без интернета). В повестке дня у нас сегодня обзор основных событий прошедшего года и планы на наступивший, кому интересно — читаем дальше

Как не сложно увидеть по датам постов — первые 10 месяцев года прошли очень пассивно для данного блога. Я был весь в работе и учебе, постов писал мало, на комментарии отвечал редко — в общем халтурил по полной программе. Впрочем время для меня зря не прошло — успел получить степень бакалавра Бизнес-Информатики и поступить в магистратуру на программу «Электронный бизнес». В дополнение к общему затишью ложку дегтя добавлял теперь уже бывший хостинг провайдер (по прежнему не хочу устраивать анти-рекламу, российская компания с доменом из двух букв, кому было интересно уже наверное давно успели посмотреть) — возможно кто-то из читателей помнит эти регулярные проблемы с доступностью сайта, некоторые из которых даже доходили до простоев более двух недель подряд.

На этом в общем-то негативные стороны заканчиваются, так что перейдем к положительным моментам. Во-первых, блог переехал-таки на новый хостинг в США: там существенно более ответственно относятся к клиентам, отличная техподдержка, пока никаких сбоев, современное оборудование, никаких фиксированных ограничений по трафику/дисковому пространству/процессорному времени/чему-то еще в этом духе — в целом пока вижу в данном решении почти только плюсы, из минусов разве что чуть больший пинг и цена на 500р./год выше. Во-вторых, в октябре я остался без работы — про это я уже рассказывал достаточно подробно, повторяться не буду. В общем у меня стало появляться существенно больше свободного времени, которое я мог позволить себе тратить на блог. Не трудно заметить возросшую активность как в постах, так и в комментариях, циферки в статистике Google Analytics, Feedburner и Wordpress.com Stats достаточно резво растут вверх и я надеюсь, что эта тенденция продолжится и на протяжении всего наступившего года. Уже накопилась масса идей для новых постов — осталось только найти в себе силы материализовать их.

Вообще я уже почти три месяца сижу без работы и почему-то чем дальше — тем менее активно ищу новую. Некоторое время назад, примерно одновременно с принятием решения о смене хостинга, мне пришла в голову идея попробовать зарабатывать на Insight IT, чтобы позволить себе оттягивать процесс поиска работы как можно дальше. Сначала попробовал наиболее «гуманный» по отношению к читателям метод, который более-менее сносно работал в 2008 году — поставил побольше блоков Google AdSense. Оказалось больше не работает, цены за клик упали в 3-5 раз, да и CTR ниже плинтуса. Этот факт подтолкнул меня создать появившуюся в меню навигации несколько дней назад страничку «Реклама» (возможно кто-то уже успел ознакомиться), основная идея — я готов размещать ту или иную форму рекламы напрямую, без посредников в виде бирж или каких-то других автоматизированных систем. Очень надеюсь, что кто-то заинтересуется и откликнется, иначе у меня останется только очень не нравящийся мне самому вариант со всяким бредом из области SEO: вроде продажи ссылок на биржах, размещении чужих статей и тому подобного... Либо вообще отказываться от затеи с монетизацией блога и возвращаться к поиском «офисной» работы, но вообще мне очень не хотелось бы снова забрасывать Insight IT, одно из самых любимых хобби как-никак.

Основные темы блога мне по-прежнему очень интересны: как информационные технологии в целом, так и архитектуры высоконагруженных систем в частности. Мне наверное еще предстоит поэкспериментировать с различными форматами изложения информации, более узкими темами и вопросами, чтобы подстроиться под наверняка изменившиеся за прошедший год интересы аудитории блога, я по прежнему рад комментариям, письмам на wordpress@insight-it.ru и другим видам обратной связи. По старинке хочется порекомендовать всем, кто этого еще не сделал, подписаться на RSS.

До новых встреч!

Когда речь заходит о продуктовых и бизнес стратегиях, Google обычно становится одной из самых скрытных и секретных компаний. Но не смотря на это, интернет-гигант некоторое время назад согласился дать серию интервью, в основном с участием высшего продуктового менеджмета, работающего в штабквартире в Mountain View, CA.

В четырех отдельных интервью, сотрудники Google окунулись в самые насущные темы, наиболее актуальные для компании в целом. Среди них оказались различные вопросы, начиная с поиска в реальном времени, локального поиска, и заканчивая облачными вычислениями, а также так называемой возможностью освобождения данных. Под освобождением данных имеется ввиду комплекс мер, направленных на предоставлении пользователям возможности экспортировать их файлы и другую цифровую информацию из продуктов Google (если они сами этого захотят, конечно же).

Достаточно любопытный факт: менеджеры Google реально очень скучные. И им правда нравится выглядеть именно так (по крайней мере пока их PR-коллеги находятся рядом). Они не разговаривают о конкурентах. Они не делают прогнозов о развитии индустрии. И они не говорят конкретно кто над чем работает внутри Google. Просто-напросто они фокусируются на совершенствовании своих продуктов, особенно в направлении удобства использования пользователями, разве этого не достаточно?

Возможно Jack Menzel, старший продукт-менеджер, лучше всего это выразил, когда пошутил о «неблагодарности» работы над веб-поиском в Google: «Вы демонстрируете [новую функцию поиска] людям, а они говорят: 'Да, вроде она работает, ну и что?'» (Как быстро все мы забываем, каково это было искать информацию в Интернете всего несколько лет назад.) Что ж, без дальнейших предисловий, перейдем к основным моментам, связанным с различными аспектами работы Google.

По мотивам статьи на xconomy.com, автор Gregory T. Huang.

Поиск в реальном времени

Google активно работает над максимально оперативным обновлением результатов поиска по сети Интернет, в том числе и по социальным медиа вроде Twitter или Facebook, практически так же быстро, как такая информация и публикуется.

Menzel, бывший сотрудник Microsoft, который изучал компьютерное ремесло в University of Washington, возглавляет продуктовую группу на данном фронте. Он говорит, что компания Google работала над ускорением процесса индексации и ранжирования на протяжении уже многих лет: когда-то данные обновлялись раз в месяц, потом обновление стало ежедневным, чтобы поспевать за блогами и новостными сайтами. В течении прошлого года Twitter стал популярен и, как следствие, появилась достаточно критичная потребность в обновлении информации за считанные секунды или в крайнем случае минуты. «Мы двигались по направлению к тому, чтобы становиться все быстрее и быстрее, на протяжении уже достаточно длительного периода времени», говорит Menzel. «Данная траектория развития была выбрана уже давно. Каждый шаг в данном направлении приводит к все новым и новым проблемам и трудностям. Мы верим, что именно получение доступа к свежей информации является одним из ключевых факторов, являющихся залогом успеха Google.» (В число остальных факторов, относящихся к самому поиску, входят такие показатели как релевантность, быстрота получения результата и полнота контента.)

Menzel считает, что самой сложной задачей является не просто быстродействие, а релевантность результатов потребностям пользователей (возможно, кто-то привык называть этот показатель словом «пертинентность»). «Это очень, очень непросто собирать свежий короткоживущий контент и ранжировать его рядом с, скажем, статьями из New York Times или просто постами из блогов.» Стоит заметить, что когда контент появился буквально только что, обычно на него еще практически никто не успел сослаться, а значит Google не может полноценно использовать PageRank, их классическую технологию.

Вместо этого, они «тяжело опираются на все то, что они выявили в течении последних 10 лет», говорит Menzel. Это включает в себя, например, способы отбрасывания контента, который скорее всего является иррелевантным или спамом, в более общем случае.  Помимо этого он упоминал «совершенно новые сигналы», скажем «новые языковые модели», которые позволяют понять какие обновления являются релевантыми, а какие — просто горстка никому не нужных данных от какого-нибудь ученого-океанографа, или методы определения насколько тот или иной создатель контента авторитетен в своей области.

Говоря о будущем, Menzel повторил то, что казалось бы на сегодняшний день говорят все о поиске: еще рано. «На самом деле мы лишь начали работать над данной задачей и у нас все еще очень долгий путь впереди». Он надеется, что в течении 5 лет Google сделает поиск намного более персонализированным, чем он есть сегодня. Например, Google будет знать что ты увлекаешься футболом, но привык называть его не «soccer», а «football», то есть помимо прочего поисковая система должна понимать кем является каждый ее конкретный пользователь, как и с кем он связан, кем он является в реальной жизни, где находится, и, тем самым, помогать ему организовывать всю информацию вокруг него.

«Поиск — все еще очень далекая от решения проблема,» — говорит Menzel.  "Существует еще масса вещей, которые очень не просто найти в Интернете."

Локальный поиск

В эту категорию попадают все виды поисковых запросов, так или иначе связынных с географической информацией, скажем «отели в Гонг-Конге» или «рестораны в Сиэттле», а также запросы с мобильных устройств на поиск близлежайших мест, заведений, достопримечательностей и прочих объектов.

Carter Maslan, директор продуктового менеджмента в области локального поиска в Google, называет эту область «организацией мировой информации географически» , или созданием быстрого и простого гида по «гео-Интернету». Самым сложным моментом в данном вопросе по его мнению является отображение всех этих различных способов выражения пользовательского запроса на очень большой массив локализированных данных, а также возвращение правильного ответа на полученный запрос в минимальные сроки.

Maslan, еще один экс-сотрудник Microsoft, говорит, что Google обрабатывает большое количество поисковых запросов для анализа того, как люди предпочитают искать локальную информацию, и как с географической точки зрения создаются ссылки на различные вещи. По его мнению конечная цель заключается в том, чтобы сделать поиск и обнаружение мест рядом с собой практически не требующим от пользователя каких-либо усилий. Наиболее знакомые сценарии, это помощь в ориентировании в новом окружении, скажем после приземления в аэропорту, или поиск баров во время ночной прогулки по пригородам Нью-Йорка.

Складывается впечатление, что все это должно плотно вписываться в более широкую стратегию Google, связанную с мобильными технологиями. «Ваш телефон знает многое»  - говорит Maslan. «Он знает где Вы сейчас находитесь, он может определить в каком направлении Вы направляетесь. Все не ограничивается только текстом в окошке для поискового запроса. Мы хотим вывести мобильную информацию на передний план.» Существующим на данный момент примером является Google Goggles, приложение, которое позволяет сфотографировать логотип, достопримечательность или какое-то место и мгновенно получить информацию о нем.

Maslan считает, что основной отличительной чертой Google в области локального поиска является «открытость для всех источников», что достаточно сложно с технической точки зрения. Это включает в себя пребывание в состоянии «активной глобальности», а не просто в индексировании информации о ключевых станциях метро. «Масштаб, с которым Google работает с картографическими и гео-кодированными данными, в совокупности с пониманием принципов работы Интернета является ключем для успешной работы в данной области».

Возможно в скором будущем мы увидим вещи вроде карт и списков компаний или мест от Google в еще большем количестве мест и языков по всему миру, с еще более точной информацией, чутко реагирующей на локальные события вроде открытия, закрытия или перемещения предприятий и организаций. «Мы четко понимаем, какие именно вещи у нас получаются лучше всего» — говорит Maslan. «У нас есть небольшие команды из людей, фанатично настроенных на реализацию их наиболее правильным образом».

Облачные вычисления

Наверняка все наслышаны о знаменитых вычислениях «в облаках», то есть с использованием программного обеспечения, работающем на удаленных серверах, часто нескольких одновременно и в виртуализированном окружении, а не прямо на персональном компьютере. В этом ключе Google наиболее интересует выполнение повседневных задач, таких как работа с электронной почтой, составление расписаний и управление документами. На самом деле это всего лишь часть более широкой стратегии Google по облачным вычисления — именно она создает видимость того, что потребитили, предприятия и организации арендуют вычислительный мощности и хранилища данных через Интернет, так как это дешевле и более эффективно для многих приложений.

Ken Norton, старший продукт-менеджер Google (а также выпускник Boston University и бывший предприниматель), поведал о Google Apps и стратегии компании в области облачных вычислений. Команда Norton'а работает конкретно над Google Calendar, но Google Apps также включают в себя и другие продукты, такие как Gmail, Google Talk, Google Docs и Google Sites. “Сеть выигрывает на том, как приложения будут потребляться” — он сказал.

Ключевым преимуществом Google на данном фронте является масштаб и инфраструктура. «У нас есть настолько много серверов и датацентров по всему миру, что мы можем содержать их достаточно дешево и эффективно» — говорит Norton. Это преимущество оказывает влияние и на индивидуальные устройства, так как оно «открывает новые возможности» для потребителей, возможность использовать веб-приложения с любого типа устройств, будь то смартфон, нетбук или обычный полноразмерный ноутбук.

Работа Google в области облачных вычислений сфокусирована на двух уровнях: на первом располагаются готовые программные продукты вроде Google Apps, направленные на прямое потребление конечными пользователями (как индивидуальными, так и корпоративными); второй же уровень занимает App Engine, «облачная» платформа, предназначенная для использования разработчиками программного обеспечения для эффективного построения их собственных веб-продуктов.

Относительно прогнозов на следующий год на фронте облачных вычислений, Norton сказал, что «мы постоянно совершенствуемся». В 2009 году было запущенно более 100 основных новых функциональных возможностей в Google Apps — таких вещей, как видео чат в GTalk или Gmail offline. Он считает, что Google «продолжит делать акцент на коммуникационных предложениях». Помимо развития Gmail и Calendar, это включает в себя доведение до ума Google Docs и придание более завершенного вида набору их возможностей. Norton говорит, что Google также ищет возможности по расширению своих предложений в области коллаборации, в том числе в виде продуктов для крупного бизнеса, совместимыми с различными системами обеспечения безопасности для аутентификации.

Подведем черту: все выглядит как-будто Google совершает переход от фокусирования на бесплатных потребительских продуктах, работающих в «облаках», к более активной работе над платными облачными сервисами для бизнес-пользователей.

Освобождение данных

Последнее время в компании все больше внимания уделяется предоставлению пользователям легко экспортировать их данные из продуктов Google, таких как Blogger, Google Maps, Google Docs, Chrome и App Engine (пользовательские данные разработчиков). На первый взгляд это может показаться очередным капризом PR-менеджеров, но на самом деле за этим фактом стоит более глубокая и интересная инновационная стратегия.

Brian Fitzpatrick, ветеран opensource разработок, возглавляет двухлетний проект от офисов Google в Чикаго. Основная идея заключается в оказании помощи пользователям, если они хотят получить свои файлы и другие данные из облака Google, чтобы у них была возможность перейти на какую-то другую систему, если они захотят. «Большинство людей не думает о возможности экспорта данных до тех пор пока не станет слишком поздно» — говорит Fitzpatrick. «Мы надеемся, что если вы прекратите использование одного нашего продукта сегодня, то у вас будет возможность попробовать другой продукт завтра.»

Помимо «создания правильных возможностей для пользователей» существует и другая мотивация. «Мы, как компания, старательно работаем над такими вещами, как поиск. Если пользователи становятся привязанным к вашим продуктам, то вы становитесь более самодовольными, расслабленными. Если же уйти достаточно просто, то вы будете серьезно мотивированны делать свои продукты как можно лучше, чтобы избежать ухода пользователей любой ценой.»

Что ж, теперь у нас есть эта возможность. Google считает, что эта открытость с точки зрения пользовательских данных, заставит компанию работать более старательно для удержания пользовательской базы. Fitzpatrick не знает других компаний, которые бы открыто заявляли об инициативе создания подобных возможностей для своих пользователей.

По его мнению наибольшая трудность лежит не собственно в разработке такого функционала, а в повышение осведомленности пользователей о наличии возможности экспортировать свои данные из облака. «Достаточно сложно заставить пользователей думать, что это на самом деле важно». Но в целом этот подход достаточно достаточно хорошо вписывается в понятие о том, как потребители и корпоративные пользователи заботятся о всех своих данных, когда все большая и большая их част мигрирует «в облака» и как Google хочет быть ответственным за организацию мировых данным, шаг за шагом, на протяжении всего пути.

Я лично считаю, что очень важно после каких-либо кардинальных изменений сайта получить feedback от пользователей. Данный пост служит именно для этих целей.

Для затравки пара опросов:

В добавок хочется услышать отзывы об этих и других нововведениях (вроде нового хостинга) в комментариях.

Еще буду рад, если кто-то предложит какие-нибудь интересные и востребованные темы для новых постов и обсуждений, у меня есть и свои соображения, но мнение читателей для меня тоже очень важно.

Всем, проявившим инициативу, заранее спасибо за помощь в улучшении блога Insight IT.

MySpace.com является одним из наиболее быстро набирающих популярность сайтов в Интернете с 65 миллионами пользователей и 260000 регистрациями в день. Этот сайт часто подвергается критике из-за не достаточной производительности, хотя на самом деле MySpace удалось избежать ряда проблем с масштабируемостью, с которыми большинство других сайтов неизбежно сталкивались. Как же им это удалось?

Источники информации

Данная статья является переводом статьи MySpace Architecture, автором которой является Todd Hoff. Когда-то давно один из читателей этого блога просил меня осветить и эту тему, тогда я так и не решился из-за отсутствия моего личного интереса, но сейчас снова случайно наткнулся на эту статью и подумал: а почему бы и нет?

• Презентация: за сценой MySpace.com
• Внутри MySpace.com

Платформа

• ASP .NET 2.0
• Windows
• IIS
• MSSQL Server

Что внутри?

• 300 миллионов пользователей.
• Отдает 100Gbps в Интернет. 10Gbps из них является HTML контентом.
• 4,500+ веб серверов со связкой: Windows 2003 / IIS 6.0 / ASP .NET.
• 1,200+ кэширующих серверов, работающих на 64-bit Windows 2003. На каждом 16GB объектов находятся в кэше в оперативной памяти.
• 500+ серверов баз данных, работающих на 64-bit Windows и SQL Server 2005.
• MySpace обрабатывает 1.5 миллиарда просмотров страниц в день, а также 2.3 миллионов одновременно работающих пользователей в течении дня.
• Вехи по количеству пользователей:
  — 500 тысяч пользователей: простая архитектура перестает справляться
  — 1 миллион пользователей: вертикальное партиционирование временно спасает от основных болезненных вопросов с масштабированием
  — 3 миллиона пользователей: горизонтальное масштабирование побеждает над вертикальным
  — 9 миллионов пользователей: сайт мигрирует на ASP.NET, создается виртуализированная система хранения данных (SAN)
  — 26 миллионов пользователей: MySpace переходит на 64-битную технологию.
• 500 тысяч учетных записей было многовато для двух веб-серверов и одного сервера баз данных.
• На 1-2 миллионах учетных записей:
  — Они использовали архитектуру базы данных, построенную на концепции вертикального партиционирования, с отдельными базами данных для разных частей сайта, которые использовались для выполнения различных функций, таких как экран авторизации, профили пользователей и блоги.
  — Схема с вертикальным партиционированием помогала разделить нагрузку как для операций чтения, так и для операций записи, а если пользователям в друг оказывалась нужна новая функциональная возможность — достаточно было просто добавить еще один сервер баз данных для её обслуживания.
  — MySpace переходит от использования систем хранения, подключенных к серверам баз данных напрямую, к сетям хранения данных (SAN), при таком подходе целый массив систем хранения объединяется вместе специализированной сетью с высокой пропускной способностью, и сервера баз данных также получают доступ к хранилищам через эту сеть. Переход к SAN оказал положительное влияние как на производительность, так и на доступность и надежность системы.
• На 3 миллионах учетных записей:
  — Решение с вертикальным партиционированием не протянуло долго, так как им приходилось реплицировать какую-то часть информации (например информацию об учетных записях) по всем вертикальным частям базы данных. С таким большим количеством операций репликации данных один узел даже при незначительном сбое мог существенно замедлить обновление информации во всей системе.
  — Индивидуальные приложения вроде блогов на под-секциях сайта достаточно быстро стали слишком большими для нормальной работы с единственным сервером базы данных
  — Произведена реорганизация всех ключевых данных для более логичной организации в единственную базу данных
  — Пользователи были разбиты на группы по миллиону в каждой и каждая такая группа была перемещена на отдельный SQL Server
• 9–17 миллионов учетных записей:
  — Переход на ASP .NET, который требовал меньше ресурсов по сравнению с их предыдущим вариантом архитектуры. 150 серверов, использовавших новый код могли обработать нагрузку, для которой раньше требовалось 246 серверов.
  — Снова пришлось столкнуться с узким местом в системе хранения данных. Реализация SAN решило какую-то часть старых проблем с производительностью, но на тот момент потребности сайта начали переодически превосходить возможности SAN по пропускной способности операций ввода-вывода — той скорости, с которой она может читать и писать данные на дисковые массивы.
  — Столкнулись с лимитом производительности при размещении миллиона учетных записей на одном сервере, ресурсы некоторых серверов начали исчерпываться.
  — Переход к виртуальному хранилищу, где весь SAN рассматривается как одно большое общее место для хранения данных, без необходимости назначать конкретные диски для хранения данных определенной части приложения. MySpace на данный момент работает со стандартизированным обородуванием от достаточно нового вендора SAN — 3PARdata
• Был добавлен кэширующий уровень — прослойка из специализированных серверов, расположенных между веб-серверами и серверами данных, чья единственная задача была захватывать копии часто запрашиваемых объектов с данными в памяти и отдавать их веб-серверам для минимизации количества поиска данных в СУБД.
• 26 миллионов учетных записей:
  — Переход на 64-битные сервера с SQL Server на правах решения проблемы с недостатком оперативной памяти. С тех пор их стандартеый сервер баз данных оснащен 64 GB RAM.
• Горизонтальная федерация баз данных. Базы данных партиционируются в зависимости от своего назначения. У них есть базы данных с профилями, электронными сообщениями и так далее. Каждая партиция основана на диапазоне пользоваталей. По миллиону в каждой базе данных. Таким образом, у них есть Profile1, Profile2 и все остальные базы данных вплоть до Profile300, если считать, что у них на данный момент зарегистрировано 300 миллионов учетных записей.
• Кэш ASP не используется, так как он не обеспечивает достаточного процента попаданий на веб серверах. Кэш, организованный как промежуточный слой, имеет существенно более высокое значение данного показателя.
• Изоляция сбоев. Внутри веб-сервера запросы сегментируются по базам данным. Разрешено использование только 7 потоков для работы с каждуой базой данных. Таким образом, если база данных по каким-то причинам начинает работать медленно, только эти потоки замедлятся, в то время как остальные потоки будут успешно продолжать обрабатывать поток трафика.

Работа сайта

• Коллектор данных о производительности. Централизованная система сбора информации о производительности через UDP. Такой подход более надежен, чем стандартный механизм Windows, а также позволяет любому клиенту подключиться и увидеть статистику.
• Веб-система по просмотру дампов стеков процессов. Можно просто сделать клик правой кнопкой мыши на проблемном сервере и увидеть дамп стека процесов, управляемых .NET. И это после привычки каждой раз удаленно подключаться к серверу, влючать дебаггер и через полчаса получать свой ответ о том что же все таки происходит. Медленно, немасштабируемо и утомительно. Эта же система позволяет увидеть не просто стек процесса, но и предоставляет большое количество информации о контектсе, в котором он работает. Обнаружение проблем намного проще при таком подходе, например можно легко увидеть, что база не отвечает, так как 90 ее потоков заблокировано.
• Веб-система создания дампа heap-памяти. Создает дамп всей выделенной памяти. Очень удобно и полезно для разработчиков. Сэкономьте часы на выполнение этой работы вручную.
• Профайлер. Прослеживает запрос от начала до конца и выводит подробный отчет. В нем можно увидеть URL, методы, статус, а также все, что поможет идентифицировать медленный запрос и его причины. Обнаруживает проблемы с блокировкой потоков, непредвиденными исключениями, другими словами все, что может оказаться интересным. В то же время остается очень легковесным решением. Работает на одной машине из каждой VIP (группа из 100 серверов) в production-среде. Опрашивает 1 поток каждые 10 секунд. Постоянно следит за системой в фоновом режиме.
• Powershell. Новая программная оболочка от Microsoft, которая работает в процессе и передаем объекты между командами вместо работы с текстовыми данными. MySpace разрабатывает множество так называемых commandlets'ов для поддержки различных операций.
• Разработана собственная технология асинхронной коммуникации для того, чтобы обойти проблемы с сетевыми проблемами Windows и работать с серверами как с группой. Например, она позволяет доставить файл .cs, скомпилировать его, запустить, и доставить результат обратно.
• Развертывание. Обновление кодовой базы происходит с помощью упомянутой выше собственной технологии. Ранее происходило до 5 таких обновлений в день, сейчас же они происходят лишь раз в неделю.

Подводим итоги

• С помощью стека Microsoft тоже можно делать большие веб-сайты.
• Стоит использовать кэширование с самого начала.
• Кэш является более подходящим местом для хранения временных данных, не требующих персистентности, например информации о пользовательских сессиях.
• Встроенные в операционные систему возможности, например по обнаружению DDoS-атака, могут приводить к необъяснимым сбоям.
• Храните свои данные в географически удаленных датацентрах для минимизации проблем, связанных со сбоями в электросети.
• Рассматривайте возможности использования виртуализированных систем хранения данных или кластерных файловых систем с самого начала. Это позволит существенно параллелизировать операции ввода-вывода, а также увеличивать дисковое пространство без необходимости какой-либо реорганизации.
• Разрабатывайте утилиты для работы с production окружением. Невозможно смоделировать все ситуации в тестовой среде. Масштабируемость и все различные варианты использования API не могут быть симулированы в процессе тестирования качества программного обеспечения. Обычные пользователи и хакеры обязательно найдут такие способы использования вашего продукта, о которых вы даже никогда и не подумаете в процессе тестирования, хотя конечно большая часть все же обнаружима в процессе QA тестирования.
• Когда это возможно — лучше просто использовать дополнительное оборудование для решения проблем. Это намного проще, чем изменять поведение программного обеспечения для того чтобы решать задачи как-то по-другому. Примером может служить добавление нового сервера на каждый миллион пользователей. Возможно было бы более эффективным изменить подход к самой работе с СУБД, но на практике все же проще и дешевле добавлять все новые и новые сервера. По крайней мере на данный момент.

Уважаемые читатели, у меня для вас есть ряд замечательных новостей:

• Блог переехал на новый хостинг, теперь живем в США
• Блог по прежнему работает на WordPress, от идеи трансфера на GAE я отказался из-за нехватки сил и времени
• Оформление было переверстано на HTML5, пока все еще далеко от идеала, возможно буду переделывать (пользователей IE и прочего антиквариата просьба не кидаться камнями — сами виноваты)
• Ради эксперимента добавлена поддержка Google Chrome Frame
• Все плагины и сам движок были обновлены и доведены до ума — раньше все работало на устаревших версиях
• Я вспомнил, что у меня был аккаунт на твиттере:  follow me!
• Решил попробовать вернуть AdSense в том виде, в котором он был когда-то давно, может быть на хлеб с маслом хватит, пока работу не найду