Renaissance IT

Немного о процессе разработки решений для SharePoint платформы

2011-09-02T21:14:55+00:00

Давно собирался написать о том, как мы разрабатываем решения для SharePoint-a. Мы, как обычно, пошли не тем путем, который рекомендует Microsoft, а выработали свой подход. Почему, я считаю, что наш подход лучше, сейчас расскажу.

Напомню, что для разработки SharePoint решений Microsoft рекомендует каждому разработчику обзавестись своей собственной локальной виртуальной машиной для разработки и делать всю работу непосредственно внутри неё. Это «локальная» разработка, потому что студия у вас запущена на самом сервере непосредственно.

Однако, при желании, можно разрабатываться и в «удаленном» режиме, когда студия запущена непосредственно на машине разработчика, а сама виртуальная машина хостится где-то на централизованном сервере. Здесь, правда, смешано два вопроса. Во-первых, где запускать студию для работы: на сервере или на своей рабочей машине. А во-вторых, где держать саму виртуальную машину: у разработчика на машине или централизованно.

Почему работать со студией, запущенной на своей машине удобнее? Ну, или точнее, при наличии инструментальной поддержки удобнее? А вот почему:

Более отзывчивая студия.
Всё-таки через терминал со студией работать далеко не так комфортно, в сравнении с вариантом, когда студия запущена сразу на своей машине. Тут думаю и так понятно. К тому же, иногда, сервер может находиться достаточно далеко, где-то за океаном. При этом любая разработка по терминалу превращается в испытание воли и тренировку самообладания. Удаленная разработка же позволяет от этого избавиться.
Отделение исполняемой среды проекта от окружения, в котором этот проект разрабатывается.
В большей степени это возможность держать все проекты вместе у себя на диске, где-то скажем в папке Projects, открывать их по мере необходимости, собирать проект, не заходя на терминал вообще, искать по исходным текстам какой-нибудь класс и многое другое. А во-вторых, это возможность спокойно убивать, заменять и откатывать виртуальные машины в процессе работы. Раз на них исходных файлов проекта нет, шанс, что что-то потеряется, значительно уменьшается. Контент базу беречь, конечно же, при этом все равно надо. Но это уже совсем другая история.
Уменьшение требований к ресурсам виртуальной машины.
Нам практически не нужен терминальный сеанс на самом сервере и нам очень редко нужно на нем запускать студию. Это снижает требования по оперативной памяти для комфортной работы такой виртуальной машины. На одной это не сильно заметно, а вот если у вас их много, уже достаточно чувствительно.

Без дополнений к студии здесь, конечно, не обойтись. Мы, в свое время, прошли долгий путь от скриптов в post-build event’ах, специальных батников, использующих psexec, до написания собственного дополнения к студии. Получилось вот такое решение http://wssdeploy.codeplex.com/ . Плюс, для создания SharePoint проектов на машине без SharePoint-а, нужно добавить себе в реестр копию ветки HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Shared Tools\Web Server Extensions\14.0 с любого сервера (полностью описано, например, тут http://techblog.hk.agenda-asia.com/2010/10/29/create-sharepoint-project-without-install-sharepoint-server/). После этого, необходимость заходить на терминал, чтобы что-то сделать с проектом, практически исчезает. Более подробно о типовых сценариях удаленной разработки расскажу в следующий раз.

А пока, справедливости ради, стоит отметить недостатки удаленной разработки:

К сожалению, Workflow нельзя отлаживать удаленно. Для отладки придется все-таки логиниться на сервер.
Немного более замороченный процесс отладки. Нужно запускать remote debugger на удаленной машине, следить чтобы сервер не был наглухо закрыт firewall-ом и тп. Есть нюансы при кросс-доменной отладке. Хотя, если все правильно настроено, процесс будет не сильно отличаться от отладки на локальной машине.

Вот, в принципе, и все минусы. На мой взгляд, плюсы существенно перевешивают минусы.

Теперь немного о втором вопросе. Где держать сами виртуальные машины? У разработчиков на рабочих станциях или централизованно на сервере (ферме)?

Однозначно централизованно на сервере:

В централизованном варианте можно добиться гораздо большей производительности каждой виртуальной машины за счет лучшего железа, большей памяти, аккуратно настроенного кеширования операций с жестким диском и т.п. На хорошем серверном железке с запасом памяти виртуальные машины будут работать значительно лучше, чем на ПК даже последней сборки.
Так ими гораздо проще управлять. Мы делаем виртуальные машины под проекты. При этом если нашелся какой-то баг, а проект уже сдан, всегда можно включить машину и протестировать фикс, прежде чем его отсылать заказчику. А не искать её судорожно где-то на давно отформатированном диске у разработчика.
Меньше ограничений по ресурсам. Можно спокойно выделить 10Gb оперативной памяти для виртуальной машины с FAST-ом или 128Gb на диск для демо машины от Microsoft.

Вот, не все моменты получилось осветить подробно. Но думаю, будет полезно тем, кто задумывается о том, как облегчить процесс разработки SharePoint решений.

Будет очень интересно услышать, если кто-то не согласен с доводами, приведенными в данной статье, и узнать, почему не согласен.

Анализ бесплатных SharePoint тем

2010-12-05T06:47:53+00:00

Не так давно нам стало интересно, а какие бесплатные темы для SharePoint-а есть в интернете. Много ли, мало ли их, легко ли их поставить, насколько они красивые. В общем, мы сделали небольшое исследование. До него нам казалось, что бесплатных тем и шкур для шарепоинта должно быть очень и очень много, приблизительно так же, как, например, для WordPress-a. Однако, результат нас несколько удивил. Их оказалось не так чтобы супер много. А искали мы по разным ключевым словам: SharePoint theme, SharePoint skins, SharePoint templates и тому подобное.

Итого мы нашли:

Три темы для 2007-го Шарепоинта от Miles Consulting Group
http://www.expertsharepointconsulting.com/Free-Standard-SharePoint-Master-Pages.aspx
Еще две темы для 2007-го Шарепоинта от IoTap
http://www.iotap.com/Downloads/SharepointSkins.aspx
Тема для 2010-го Шарепоинта от nxg-dzigns
http://www.nxg-dzigns.com/2010/10/free-sharepoint-2010-theme-nxg-blue/
четыре примера мастер страниц от Microsoft. Качать:
http://www.microsoft.com/downloads/en/details.aspx?familyid=7c05ca44-869a-463b-84d7-57b053711a96&displaylang=en&tm
Десять тем для SharePoint-а 2007-го от компании Microsoft. Обзор:
http://www.zimmergren.net/archive/2009/03/23/ten-10-free-sharepoint-themes-visual-overview.aspx
Качать:
http://www.microsoft.com/downloads/en/confirmation.aspx?displaylang=en&FamilyID=0a87658f-20b8-4dcc-ad7a-09ad22641f3a

Итак, поехали.

1. Мы поставили 1.5 темы из трех от Miles Consulting Group. Для начала, вот что получилось в результате:

А полторы темы получилось потому, что каждая тема требует приличной работы для ее установки. Мы ограничились полной установкой одной шкурки и частичной установкой второй. Итого, уже на этом пакете тем выяснилась интересная особенность – большая часть всех бесплатных тем требует хорошего знания SharePoint-а и массы ручных действий. Например, эти две темы потребовали:

копирование папки вручную в 12\Templates\Features
инсталляцию фичи с помощью stsadm
исправление скопированных файлов !! в них были ошибки
заливку файлов через SharePoint Designer

Ну вы поняли, да. Такой толстый намек, что нужно связаться с теми, кто эти темы делал. К тому же конечный результат весьма скромный: у логотипа зубчатые края, форма поиска не прижимается к правому краю, зашкурена только часть элементов. Итого, работа с трудом на троечку.

2. Две темы от IOTAP. Результат ниже:

Процесс развертывания приблизительно такой же как и у первой группы тем:

закидываем файлы через SharePoint Designer
правим ссылки на картинки в стилях и мастере. Там вероятно просто не задумывались, что тему могут развернуть не на корневой коллекции сайтов.

Заметим, что в первой теме меню Site Actions уж как-то сильно поплохело. Наша оценка – честные 3 балла из 5.

3. Давайте теперь посмотрим, что у нас есть для SharePoint 2010. Тем для него далеко не так много. Бесплатных мы нашли вообще всего две. Одна из них ниже, а вторая прилагалась как пример к статье о том, как делать темы самим.

Тема от nxg-dzigns выглядит вот так:

В целом вполне неплохо. Устанавливается достаточно легко. Но! Из мастера забыли вычистить служебные атрибуты __designer:Preview и __designer:Values. Очень интересно, как они такой мастер получили. У нас-то давно есть свой подготовленный regex для удаления этой радости, чтобы делать это не вручную, а хотя бы Find & Replace диалогом в Visual Studio. Вот, кстати, сам regex : ((__designer\:(Values|Preview|Templates))|__Preview)="([^\"]|[\n])*"

Но мы его используем для тех файлов, что вытянули напрямую через FPRPC с портала с помощью нашей же тулзы WssSync (руки просто никак не дойдут очистку в саму тулзу встроить). В общем, очень занимательный факт. Итого наша оценка 4 из 5.

4. Итак. Теперь темы от MS. Начнем с пакета из 4-х тем. Когда-то они все были доступны для просмотра в живую на сайте wssdemo.com . Но после апгрейда сайта на SharePoint 2010 они потеряли всякий блеск и выглядят там мягко говоря странно. Итак ниже, что у нас получилось:

Темы также загружаются через SharePoint Designer. К сожалению, имеют одну характерную для MS особенность – корректно смотрятся только в IE. В остальных браузерах на них бес слез смотреть нельзя. Итого, вполне подойдет для разнообразия и как основа для более глубокой кастомизации. Тетверка с плюсом.

5. И на последок 3 темы из 10 из второго набора Microsoft.

Темы выполнены качественно. Устанавливаются либо вручную, либо с помощью Visual Studio 2008 extensions for SharePoint. Не так чтобы совсем тривиально, но без проблем. После установки тему можно выбрать, внимание!!!, в меню Site Settings > Site Theme . Т.е. это именно классические файлы тем - css файлы + картинки, а не дополнительные мастер страницы. Эти темы, кстати, также скиннят и системные страницы (те что в /_layouts), что тоже огромный плюс. Дизайн может местами спорный, но одну две выбрать наверняка сможет каждый. Итого оценка – отлично.

Выводы.

Кроме MS видимо очень мало кто стал заморачиваться с созданием хорошего бесплатного пакета тем. Видимо, сказывается относительная сложность работы. Большая часть тем при установке требует подготовки, либо наличия специалиста, готового с ними хорошо повозиться. В основном темы пока есть для 2007-го SharePoint-а, а для 2010-го же пока только начинают появляться. Но бесплатные темы есть, это радует.

Лицензирование SharePoint Foundation 2010

2010-05-25T02:30:21+00:00

Как-то все привыкли считать SharePoint Foundation 2010 (как и WSSv3) бесплатным продуктом. В принципе, оно так и есть. Однако, когда дело доходит до вопроса о полной стоимости решения на базе SharePoint-a всё оказывается не так просто.

Рассмотрим для примера ситуацию, когда нам нужно запустить SharePoint портал которым будут пользоваться 500 человек, 150 пользователей внутри компании, а остальные будут внешние (партнеры, поставщики, клиенты и т.п.). Мы проанализировали требуемый функционал, подумали и решили, что базовой версии SharePoint Foundation нам вполне будет достаточно. Вопрос, сколько нам это будет стоить?

Ответ «нисколько», понятное дело, неправильный. Потому что для каждого пользователя нам нужна валидная лицензия на Windows Server и на SQL Server который мы используем (если это не Express или Embedded).

Начнемс с Windows Server'a. Цены для расчета берем вот отсюда http://www.microsoft.com/windowsserver2008/en/us/pricing.aspx. Принципиально у нас три варианта:

Windows Server 2008 R2 Standard/Enterprise/DataCenter. Выбираем подходящую нам редакцию и докупаем недостающее число CAL-ов для всех внутренних и внешних пользователей.
Например, если берем Windows Server 2008 R2 Enterprise (25 CALs), то нам еще нужно 475 CAL-ов. Считаем грубо стоимость: $4000 за сам сервер + $200 * (475/5) за пакеты по 5 CAL-ов. Итого получается: $4000 + $19000 = $23000.
Windows Web Server 2008 R2. Нам этот вариант не подходит, поскольку предполагает использование портала только внешними пользователями. На число внешних пользователей ограничений нет, однако внутри компании сервер могут только максимум 15 человек (информация получена из телефонного общения с MS). Также, для управления учетками внешних пользователей нельзя будет использовать AD.
Соответственно, если бы нам нужно было только 15 внутренних пользователей и нас все остальные условия устраивают, то стоимость решения составила бы: $469.
Windows Server 2008 R2 Standard/Enterprise/DataCenter + External Connector License (ECL) для подключения всех внешних пользователей + CAL-ы для внутренних. Возьмем тот же Enterprise Edition, получим $4000 за сервер + $200 * (150/5) за пакеты по 5 CAL-ов для внутренних пользователей + $2000 за ECL. Итого: $12000.

Отмечу, что для анонимных пользователей никакие дополнительные лицензии вообще не нужны.

Еще один совсем особый случай, это когда вы хотите предоставлять доступ к SharePoint порталу в качестве платной услуги для клиентов (т.е. по сути, предлагаете хостинг). В этом случае нужно заключать Service Provider License Agreement (SPLA) с реселлером MS. Для чего нужно будет также зарегистрировать свои отношения с MS. В общем, это отдельная история.

Теперь насчет SQL Server'a. С SharePoint Foundation идет специальная редакция SQL Server Embedded Edition, которая не имеет ограничения на размер базы, однако она ограничена по возможностям. Физически SQL Management Studio с нею, конечно же, использовать можно, только вот не знаю насколько это «поддерживаемое» решение. Можно также поставить SharePoint на SQL Server 2008 R2 Express Edition – данный вариант имеет ограничение на размер базы в 10Gb, 1CPU, 1Gb RAM, что скажем так, маловато, особенно с аппетитами 2010-го SharePoint-а. Ну и можно купить взрослую редакцию. Для SQL Server-a у нас два варианта лицензирования: по числу пользователей либо попроцессорно. Соответственно в последнем случае стоимость внедрения еще возрастет. Например, для SQL Server 2008 R2 Standard (1 proc) потребуется увеличить бюджет еще на $7171 (цены взяты вот отсюда http://www.microsoft.com/sqlserver/2008/en/us/pricing.aspx).

Вообще, при покупке большого количества лицензий стоимость будет несколько ниже, однако порядок цен именно такой.

Еще о лицензировании SharePoint-а хорошо написано на русском здесь: http://blogs.technet.com/b/vladkol/archive/2009/01/11/office-sharepoint-server-2007.aspx

И здесь на англ, хотя в примерах расчета есть неточности: http://www.jones.bz/index.php/2009/05/20/wss-sharepoint-and-a-good-ol-game-of-licensing/

В общем, надеюсь, данная статья поможет разобраться в темном деле лицензирования «бесплатного» SharePoint-а :)

Также рекомендую в любых не тривиальных случаях звонить и уточнять непосредственно у Microsoft.

Две новости

2010-05-10T17:42:15+00:00

Как-то всё времени не было написать о том, что:

Мы выложили вебчасть 3D TagCloud for SharePoint 2010 на CodePlex. Вебчасть рисует симпатичное интерактивное 3д облако тэгов по social tag'ам SharePoint'а. Реализована на основе стандартной вебчасти TagCloud и Cumulus плагина для WordPress. Исходные тексты прилагаются.
Watson Search переехал на новый адрес. Теперь у проекта есть собственный сайт: http://watson-search.com/ . По большей части нам отдельный сайт потребовался, чтобы ставить на нем разные эксперименты по продвижению проекта.

Кстати, если кто-нибудь будет использовать 3D TagCloud вебпарту на общедоступном проекте, напишите, пожалуйста, нам. Мы добавим на ваш проект ссылку на CodePlex страничку.

Особенности разработки для SharePoint 2010

2010-04-21T21:06:02+00:00

До выхода RTM версии 2010-го SharePoint-а остались считанные дни, и у нас уже очень активно идет разработка нескольких проектов под новую платформу.

Как оказалось, разработка для 2010-ой версии имеет, в сравнении с 2007-ой, массу интересных особенностей.

Командная разработка под SharePoint это вообще интересный разговор. Мы, например, никогда не использовали рекомендуемый MS (http://msdn.microsoft.com/en-us/library/bb428899.aspx) подход. Основное отличие у нас касается рабочего окружения для разработчика: разрабатываться полностью внутри ВМ, к тому же локальной, на наш взгляд не очень удобно. В студии все-таки намного приятнее (в плане скорости и отзывчивости) работать непосредственно на своем десктопе, а не через терминал или внутри ВМ. К тому же, рекомендуемый подход тяжел в плане лицензирования. Даже по партнерской программе, у нас не будет по паре лицензий Windows Server + MOSS на каждого разработчика.

Поэтому для 2007-го мы использовали «удаленную разработку», когда студия, SharePoint Designer и сами проекты установлены и физически находятся на машине разработчика, а ВМ-ки для очередного проекта с MOSS и Remote Debugger'ом крутиться в пуле на «центральном» сервере.

Вот. А с 2010-ым SharePoint-ом и новыми расширениями 2010-ой студии, которые умеют работать только локально, похоже, придется переходить «рекомендуемый» процесс. Что, сейчас, за неимением альтернатив и происходит, но уж очень болезненно. Все-таки, хотя новый студийный плагин и имеет кучу приятных плюшек в плане создания проекта, в области деплоймента изменений в процессе разработки для нас это шаг назад. Поэтому мы уже думаем, как это можно будет исправить.

Еще очень интересные моменты с новым SharePoint-ом:

Встроенные студийные тесты нельзя использовать для тестирования SharePoint-a. Тестовый проект можно создать только на базе .Net 4.0, из которого невозможно использовать объектную модель SharePoint-a. Поэтому здесь нас опять выручает nUnit + Resharper. А вот связка nUnit + TestDriven.Net не захотела работать по той же причине, что и родные тесты – хостовый процесс, похоже, пускается под .Net 4.0 (хотя может быть это можно как-то полечить).
В сравнении с 2007-ым, новая ВМ требует значительно больше оперативной памяти. Для 2007-го SharePoint-а нам в большинстве случаем хватало ВМ с 768Mb памяти (Win2003 32bit + MOSS), в редких случаях на тяжелых проектах машинкам выделялось по 1024Mb, и этого было вполне достаточно для комфортной работы. А вот для 2010-го (Win2008x64 + MSS + VS + SPD) требуется уже минимум 3Gb. И при этом, работу все равно нельзя назвать комфортной – тормозит.
В плане средств виртуализации получается очень интересная картина. У MS сейчас нет десктопного решения для виртуализации с поддержкой 64 битных гостевых ОС. Есть Hyper-V, но это не десктоп. Посмотрел в интернете (http://twtpoll.com/0wwdj1), кто как решает эту проблему, так и есть. VmWare, VirtualBox (наш вариант), VmWare ESX, ну и Hyper-V, куда уж без него.

В общем, пока нам для 2010-го разрабатываться сложнее, чем для 2007-го. Интересно, как скоро MS исправит ситуацию с использованием объектной модели SharePoint-a из .Net 4.0?

Первый релиз Watson-а

2009-12-16T01:14:03+00:00

Проект, над которым мы работаем начиная с июня месяца, наконец, дорос до версии, когда его можно показывать широкой публике. Опубликован по адресу http://watson.codeplex.com/. Сейчас это готовый WSP пакет, который можно поставить на сервер с Windows SharePoint Services v3 (даже без MOSS), и который с лихвой заменит встроенный поиск и, как минимум, поддерживает гораздо более богатый синтаксис поисковых запросов. Дальше будет больше.

По результатам получилось, что релиз готовился почти в два раза дольше, чем планировалось. В основном сказалась крайне высокая загруженность на клиентских проектах в последнее время. Хотя, без технических ляпов, конечно, тоже не обошлось:) Эхх, и некоторые части еще предстоит очень серьезно переписать. Пристальное знакомство с Apache Solr, Oracle SES, IDS от 30 Digits и др. проектами не прошло даром.

Также, в какой-то момент, проект плавно потерял статус Open Source-а. Вот, как-то совсем не понятно, кому исходники нужны будут и зачем. Сценарий, когда сразу после публикации тут же набежит толпа энтузиастов и начнет проект развивать в разных направлениях, как-то не выглядит реалистичным. В прочем, если вы относитесь к тем самым энтузиастам, или у вас есть другие идеи касательного нашего проекта - пожалуйста, напишите мне на адрес alexey[на][наш домен].

В будущем, скорее всего, будет две версии, одна Community Edition, а другая Enterprise. [UPDATE 21.12.2009]Вторая не будет иметь жесткого ограничения на максимальное число (не более чем 100К) документов в индексе. В остальном они отличаться не будут. Вторая будет отличаться наличием технической поддержки решения. [/UPDATE] А там, конечно, посмотрим, что из этого получится. Пока это больше экспериментальный проект.

SharePoint 2010 beta

2009-11-20T04:36:01+00:00

Сегодня попробовали наконец SharePoint 2010 beta в работе. Поставили на чистую виртуалку с Windows 2008 R2 EN. Встал, практически без проблем. Инсталлер приятно порадовал автоматической установкой всех необходимых зависимостей. Единственное, упал с ошибкой на последнем шаге развертывания демонстрационного приложения. Что оказалось совсем не критично – при первом обращении система спросила шаблон сайта и нормально доделала корневой сайт.

Обидно, что на Win2003 R2 x64 поставить уже нельзя, просит обязательно Server 2008 x64. Вот интересно, какой теперь будет migration path на новую систему для тех, у кого MOSS 2007 x86 да еще и на Win2003? Ухх... Ладно, будем обязательно пробовать этот и другие варианты миграции на практике чуть позже.

Сам SharePoint работает ощутимо медленнее связки Win2003 + MOSS на том же железе. И кушает значительно больше памяти.

Но зато как красиво! И практически полностью кросс браузерно. Все, теперь будем со всем этим разбираться:)

О SharePoint хостинге

2009-11-10T22:48:38+00:00

Давно собирался написать почему, на мой взгляд, SharePoint хостинг не самая удачная площадка для публичных сайтов. Сразу отмечу, что рассматривается самый «доступный» вариант, когда вы арендуете только SharePoint сайт, а не сервер целиком.

Казалось бы, все должно быть хорошо. Стоимость такого SharePoint хостинга чуть выше стоимости аренды обычного ASP.net хостинга, только за эти деньги вы получаете полноценное приложение, с которым можно делать очень много чего. Что называется SaaS in Action.. только это до тех пор, пока вам хватает встроенного в WSSv3 функционала. А там хотя и богатый набор возможностей, но достаточно быстро начинает хотеться большего: красивую библиотеку фотографий, кроссбраузерный редактор текста, вики страницы с обсуждениями, зависимые lookup поля и всё в таком роде. А вот тут приходит разочарование:

Возможности по изменению дизайна ограничены тем, что вам предоставляет SharePoint Designer. А это значит, что поменять внешний вид страницы полностью вряд ли удастся потому, что это обычно требует парочку не больших, но самописных контролов, а это ни ни…
Вы не сможете воспользоваться всем этим богатым набором расширений и дополнений разработанных SharePoint Community. Почему? Потому, что это затронет остальных пользователей на хостинге, может сказаться негативно на стабильности и безопасности сервера и т.п. Итого, забываем про любые дополнения, которые содержат фичи, сборки в GAC, страницы, кастомные контролы и т.п. Рабочие процессы (кроме тех, что можно сделать в дизайнере), тоже отпадают. Немного остается возможностей для кастомизации, да?
Хотя, хостеры допускают установку wsp пакетов с веб-частями без установки сборок в ГАК. Уже что-то! Однако, поскольку это процесс выполняется специалистами хостера – это процесс не быстрый и часто это проделывать не получится.

Вот. По большей части это результат того, что SharePoint хотя и имеет отличную модель расширения, но не изолирует эти расширения на уровне, например, отдельного веб-приложения.

А что осталось-то? Всё, что можно загрузить на уровне сайт коллекции: шаблоны сайтов, списков, мастер страницы, стили, графику, JavaScript скрипты (хотя это и не очень хорошо). Не много, но сделать красоту навести всё еще можно. Главное помнить об этом заранее.

Еще, с чем обычно у хостеров проблемы:

Не работает поиск на сайте. Очень распространенная беда. Вопрос, а нужен вам потом портал для работы с документами без поиска-то?
Не работает отправка/прием писем. В лучшем случае работает только отправка :) Также, некоторые не могут настроить, чтобы урлы в отправляемых письмах были правильные, использующие ваш домен, а не внутренне имя сервера у провайдера.

Заметим, что даже на своём сервере, иногда чтобы настроить эти два пункта приходится плясать с бубном. Мы разок просили хостера дать нам доступ самим все починить – не в первой же, однако, как и ожидаемо, доступ в Central Administration нам даже под присмотром не дали.

Но все же – спросите заранее у своего потенциального хостера – решил ли он эти проблемы?

После всего этого как-то не очень много остается областей, где чистый SharePoint на хостинге будет применим и нет специализированных и более удачных решений. SharePoint это всё-таки больше платформа, чем готовое к немедленному употреблению решение.

Ладно, ждем SharePoint 2010, посмотрим что изменится.

Виртуализация в маленьком офисе

2009-08-31T22:51:03+00:00

Так получилось, что в начале августа мне представилась возможность поэкспериментировать спокойно с нашей инфраструктурой. И я добрался, наконец, до нашего сервера с виртуалками. В результате была проведена очередная миграция на новую платформу.

Начнем с того, что технологии виртуализации мы применяем очень давно и успели попробовать следующие решения Microsoft Virtual PC, VMWare GSX Server, VMWare ESXi, Virtual Box, и вот теперь KVM. Попробую описать здесь опыт использования всего этого богатства, достоинства решений и их недостатки.

Сразу отмечу, что задачи стоят уже практически промышленные – запуск порядка 8 машин одновременно, но на обычном железе. Итак, по порядку.

1. MS Virtual PC 2004

Первым, что было опробовано когда-то давно, был MS Virtual PC 2004. Именно он требовался для запуска виртуальных машин от MS с разным интересным софтом. Однако очень быстро оказалось, что если сделать такую же виртуальную машину самому но на VMWare, работать оно будет заметно быстрее. Заметим также, что железа с поддержкой виртуализации тогда в широком доступе ещё не было. В общем, Virtual PC был отложен в сторонку.

2. VMWare GSX Server

Плюсов от перехода на GSX было множество. Во-первых, он понимал формат диска от Virtual PC, что упрощало миграцию. Во-вторых, он также как и VPC был бесплатным (не уверен, правда, кто из них раньше стал бесплатным). И, в-третьих, он позволял пускать виртуалки в фоновом режиме, в отличие от VPC который их при закрытии окна почему-то останавливал. Также можно было настроить некоторые машинки на автозапуск вместе с хост ОС. Из недостатков: система поддерживала всего один снапшот – жутко неудобно; время запуска ОС после установки GSX за счет запуска его сервисов сильно увеличивается, даже если при этом никакие ВМ не стартуют.

3. VMWare ESXi Server

Когда наши потребности выросли, и нам потребовалось пускать больше виртуальных машин мы стали искать Bare Metal решение. Для этих целей была выделена отдельная железка с AMD-V. На нее без проблем установился ESXi 3.5. Конечно, ESXi это система классом выше. По скорости работы изменений на глаз заметно не было, однако число одновременно работающих ВМ увеличилось. В плане миграции все было просто, виртуалки, скопированные с GSX сервера прекрасно работали и на ESXi. Правда, для них не поддерживались множественные снапшоты (формат диска все-таки разный).

Из вкусностей необходимых в быту:

быстрое время запуска – система грузилась очень быстро, на порядок быстрее, чем Win2003 с GSX на борту
множественные снапшоты
возможность увеличивать раздел дисков динамически
возможность конфигурировать задержки на запуск ВМ после старта, удобно когда часть виртуалок должна загрузиться после контроллера домена

Из минусов:

Своя файловая система, добраться к которой можно только через административный GUI интерфейс. Заливать и сливать файлы крайне неудобно.
В какой-то момент поставили на систему 6GB, однако ESXi увидела всего 4.5GB. Так и не разобрались почему, то ли ограничение системы, то ли какая другая проблема.
Все-таки она временами подвисала намертво, приходилось делать жесткий reset всего сервака. Было не так часто, может 1 раз в пару месяцев, но всё равно очень неприятно.

Еще, 12 Августа 2008-го с нашим ESXi севером произошло очень неприятное событие. Перестали запускаться все виртуалки! Система писала, что у нас не валидная лицензия. И это на бесплатном продукте. Вотс... А у нас там крутились: контроллер домена, SVN, интранет и 3 тестовые виртуалки с развернутыми текущими проектами. Конечно, все не так печально: когда разобрались в чем дело, оказалось что это «глобальное» событие, народ в форуме уже активно его обсуждал, и что можно, в качестве workaround-а, перевести время на пару дней назад. А потом, по-моему, на следующий день уже и патч подоспел. Но осадок остался.

И так бы мы этот отличный продукт и использовали, если бы при незапланированном переносе на новое железо, ESXi не отказался видеть диски, совсем. Ставить же на более старое железо очень не хотелось. Поэтому начали смотреть в сторону других решений.

4. Virtual Box 2.2 на Ubuntu Server 8.04

Сам VirtualBox к этому моменты уже был опробован на десктопе, где себя и зарекомендовал. Субъективно, кстати, он работает быстрее, чем GSX, плюс не создает задержек при старте системы. Решено, на сервер в качестве основы ставится Ubuntu Server 8.04 без иксов и минимум софта. Грузится также очень быстро. Дальше идет большая миграция ВМ на новое ПО. К счастью, VB поддерживает vhd диски, так что дело ограничивается магией с дисковыми контролерами в винде (очень помогает при этом Ultimate Boot CD for Windows), сносом Guest Additions от VMWare и установкой Guest Additions от Virtual Box.

Маленькое замечание по поводу лицензии. В природе существуют две версии: Open Source Edition и «нормальная». В Open Source версии отсутствует поддержка RDP протокола для доступа к ВМ, что не очень удобно. Однако, как оказалось (ссылку, к сожалению, уже не найду), Personal Edition в данном случае трактуется достаточно широко, и фактически единственный вариант, когда необходимо покупать корпоративную лицензию, это когда вы хотите автоматизировать установку VirtualBox на рабочие станции внутри компании.

Что понравилось в данном продукте:

Доступ к гостевым системам по RDP. Очень удобно, не нужно никакого дополнительного софта.
Отличная производительность.
Возможность перекидывать виртуалки с сервера на рабочие станции и обратно без дополнительной конвертации с помощью Samba шары. Удобно.

Что не понравилось:

Снапшоты. Они как бы есть, но пользоваться ими очень неудобно, особенно из командной строки. Фактически мы ими так никогда и не пользовались.
Сложности с регистрацией дисков, uuid-ами этих дисков, регистрацией машин и тп. Процесс клонирования ВМ через консоль отнюдь не тривиальный.
Встроенных средств для автозапуска нет. Есть коммунити скрипты, но оказалось проще раз в месяц пускать все виртуалки руками, чем разбираться с тем, куда эти скрипты засунуть.
Сами виртуальные машины регулярно подвисали на старте при перезапуске. Приходилось делать им жесткий reset из консоли. Рекомендовали отключить 3d acceleration, но это не помогло.
На определенном этапе начались проблемы с жестким диском. Пришлось изучить вот этот раздел http://www.virtualbox.org/manual/UserManual.html#configPeriodicFlush Частично помогло, но полностью проблема не пропала. При этом пока система пытается разобраться с диском, все очень неплохо подвисает на некоторое время, причем затрагивает все ВМ сразу.

Итого, собственно, через некоторое время работа с командной строкой и борьба с ошибками стала надоедать. И стал вопрос, а что можно поставить лучше?

5. oVirt 0.1 на Fedora Core 11

Тут мне вспомнилась видео презентация проекта oVirt. На ней ребята показывали как лихо виртуалка с WinXP и запущенным видео проигрывателем переезжает с одного Intel сервера на другой с AMD. Выглядело все действительно хорошо. У нас к тому же, уже назрела необходимость добавить второй сервер для виртуализации, и хотелось, чтобы этим хозяйством было более или менее удобно управлять.

Однако, Fedora Core 11 с ходу не встал на чистое железо. Инсталлятор валился при попытке создания своп раздела. Ладно, оставили место под своп, поставили, перегрузили, добавили своп сами. Но, все-таки как-то очень странно для дистрибутива Enterprise класса. oVirt тоже встал не без проблем. Однако, запустить его веб-морду так и не получилось. Поиск в гугле по текстам ошибок результатов не дал и oVirt был отложен в сторону до лучших времен.

6. KVM на Ubuntu Server 9.04

После этого дошла очередь до KVM. Софт встал без проблем. На старом сервере, пока он был жив, VirtualBox даже одновременно крутился с KVM. А вот миграция оказалась достаточно болезненной. Диски приходилось конвертировать вначале в RAW, а потом уже в QCOW (Описано, например, тут). Далее обычные танцы с бубном (точнее с UBCD), чтобы Windows загрузилась, затем снос Guest Additions от VirtualBox уже. А после этого еще тотальная переактивация всех серверов. Зато, после всего этого оказалось, что на этом же самом железе одновременно может пускаться больше виртуалок!

Итого, из преимуществ:

Выше коэффициент консолидации. Для сравнения на VirtualBox-е у нас максимум нормально могло крутиться 5 виртуалок. KVM же 8 штук держит легко. В итоге, необходимость в дополнительной железке отпала на время. Это при 8GB на борту в обычной железке.
Нормальные диски (снапшоты правда еще не пробовали) и как результат - простота клонирования ВМ (в контрасте с VirtualBox).
Возможность подключаться по VNC. Не так удобно как по RDP, но намного проще, чем у VMWare.
Поддержка live migration. Хотя эту фичу мы еще не пробовали.

Недостатки:

Тулза для управления всем богатством покрывает не весь функционал и местами не очень стабильна. Часть операций приходится делать через консоль. Хотя 90% каждодневных вещей она умеет. В целом не критично. Несколько нетривиально вывести ее в Windows.
Отсутствие Guest драйверов диска и сети для Window. Заметно, что диск несколько притормаживает, но даже без них общая производительность находится на вполне достойном уровне. 14 Июля Red Hat вроде как опубликовала драйвера для поддержки. Но на данный момент (31 августа) скачать собранную версию негде.
Перенести одну из виртуалок с сервера на десктоп и обратно очень сложно.

Вот на этом варианте пока и остановились. Нареканий по стабильности системы пока нет. Работает как часы. Посмотрим, как будет работать дальше.

В качестве платформы виртуализации не рассматривался Hyper-V (хотя у нас на него и есть лицензия по партнёрке). Причина простая - там где мы видели это решение развернутым, оно работало, скажем так, не очень быстро. Также данный обзор совсем не претендует на полноту.

Подводя итоги, получилась следующая табличка:

	VMWare GSX	VMWare ESXi	Virtual Box	KVM
Класс системы	Десктоп	Чистая Bare Metal	Скорее Desktop	Скорее Bare Metal
Работа с дисками и снапшотами	Один снапшот, в остальном удобно	Удобно, много снапшотов, динамическое изменение размера дисков	Крайне не удобно	Вполне удобно, снапшоты пока не использовали
Доступ к машине	Свой клиент	Еще один свой клиент	RDP	VNC
Live Migration	Нет	Нет (есть только в платной версии)	Нет	Да (хотя еще не пробовали)
Автозапуск	Есть	Есть, удобный	Нет	Есть
Guest Drivers for Win32	Есть	Есть	Есть	Нет (на данный момент)
Стабильность	Высокая	Глюкавит очень редко	Глюкавит регулярно	Пока высокая
Управление машинами	Свой клиент. Удобно.	Другой клиент. Притормаживает.	Только консоль по SSH.	Virt-manager через X11 (он глюкавый) + консоль по SSH.
Скорость работы вирт. машины	Средне (но быстрее намного чем MS Virtual PC)	Средне	Быстро	Средне (есть надежда, что драйвера для гостя помогут)
Коэффициент консолидации	Средний	Выше среднего	Низкий	Выше среднего (субъективно выше, чем у ESXi)

Надеюсь, наш опыт будет полезен тем, кто сейчас выбирает для своих задач платформу виртуализации.

Watson – Open Source поиск для SharePoint-а

2009-07-20T20:47:19+00:00

Уже около месяца у нас в компании ведется разработка нового Open Source проекта для SharePoint-а. Идея следующая: сделать поиск такого же уровня как в MOSS 2007 (или MS Search Server 2008), но чтобы он работал и на базовой платформе Wss v3 тоже. Спрашивается зачем, если уже есть поиск в MOSS, есть Ontolica, и, в конце концов, можно поставить отдельно Search Server Express? Есть несколько причин:

И MOSS и Ontolica очень сложно расширяются. У нас есть опыт нескольких проектов по созданию специализированных решений на их основе. Чтобы их реализовать, приходилось ковыряться в таких «интимных» подробностях с рефлектором, что бррр. Кстати, это одна из причин, почему мы делаем наш поиск открытым.
Есть очень большое подозрение, что наш поиск будет намного быстрее стандартного. Мы для этого лезем напрямую в базу, минуя API. Это, кстати, также позволяет достаточно легко индексировать содержимое нескольких SharePoint ферм одновременно.
Хочется сделать что-нибудь бесплатное и в тоже время полезное для SharePoint сообщества, ну и немного попиариться, показать наглядно наши знания и умения.

Проект экспериментальный, планируем где-то в начале сентября выложить на CodePlex первый релиз. В первой версии хотим сделать:

саму индексация только SharePoint баз с конфигурацией маппинга полей, заданием расписания инкрементального и полного кроулинга и текущим статусом;
набор веб-частей для формирования интерфейса обычного и расширенного поиска;
шаблон сайта «центр поиска» и другие вспомогательные фенечки. Главное чтобы в результате была готовая для развертывания wsp-шка, работающая out of box.

После этого уже можно будет экспериментировать дальше, и думать о новых фичах: индексации других источников, фасетном поиске, кластеризации результатов, дополнительных API для поиска (LINQ, wcf-ные веб-сервисы). Во многом зависит, от того насколько проект окажется интересным сообществу.

Так что любые комментарии, пожелания и замечания всячески приветствуются!

Первая запись от редактора

2009-05-08T22:19:42+00:00

Хочется отойти от устоявшейся традиции писать в первом сообщении о том, что будет в этом блоге и написать всё-таки что-нибудь полезное:)

Да, конечно, у нас есть много мыслей о SharePoint разработке, об «обычном» Asp.Net программировании, о том какие инструменты работают, а какие, скажем так, не очень, о разработке ПО в целом, а также обо всём, что связано с .Net. И мы будем понемногу их здесь выкладывать.

О BlogEngine.Net и этом блоге

Когда мы решили завести свой блог, встал вопрос какую платформу использовать и где. SharePoint для этих целей был исключен из вариантов сразу (о том, почему SharePoint на чужом хостинге плохая платформа для приложений напишу в другой раз). Хостить же хотелось у себя на сайте. Поэтому пошли искать на CodePlex готовое решение. Больше всего понравился проект BlogEngine.Net, при оценке смотрели в основном на качество кода и чтобы его поменьше было.

Проект интересный. В целом всё очень хорошо, реализована куча фич. О некоторых мы даже не подозревали раньше: FOAF, RSD, APML, SIOC. Есть, конечно, и явные ляпы (но их по пальцам). Мы же переработали его в следующем плане:

Выкосили полностью их прослойку работы с данными. Вместо этого используем пока LINQ to SQL. Получилось намного меньше, а главное понятнее и проще поддерживать.
Выкосили из движка велосипед по валидации данных. Подключили вместо него Enterprise Library Validation Block (на англ. коротенько тут, а подробно тут). В результате правила для валидации задаются декларативно - атрибутами (хотя можно и в конфиге прописать).
Заменили их поисковый движок на Lucene.Net. А это реально круто!! Кстати, сам поиск подключается довольно легко. А на CodePlex, в добавок, к нему есть масса расширений (Например: LINQ to Lucene). Осталось, правда, еще с русским стеммингом разобраться.
Упростили их подсистему конфигурования. Подход на строго типизированных секциях в web.config-e нам как-то ближе (мы используем вариацию вот этого кода).

Что мне в проекте не понравилось:

Хорошо работает только в дефолтовых настройках. Кое-где в коде не учитывается, что они могут быть другими.
В небольших количествах имеется злой хардкодинг. Плюс файловая структура зашита достаточно жестко. Пришлось переделывать под себя, где мешало.

Что получили:

Ну, собственно результат перед вами:) Оставляйте, пожалуйста, пожелания и замечания.
Возможность редактирования и создания записей с помощью Word 2007-го. Поддержка Metablog API в этом смысле очень полезная вещь. Правда, пришлось еще делать WEB DAV папку в IIS, чтобы Ворд научился картинки вставлять. Зато теперь вообще не нужен интерфейс управления постами.
Кучу фенечек самого движка. Некоторые уже подключены (Gravatar'ы, антиспам, url rewriter, ajax-ное добавление комментариев), остальное будем понемногу адаптировать и подключать.

Еще достаточно интересен сам движок в архитектурном плане. Используется следующий подход: данные по максимуму держатся в статических переменных (например, все посты и все страницы), а при обновлении или добавлении происходит вначале обновление в памяти, а потом изменения записываются в базу. При этом для сущностей есть глобальная подписка на события OnUpdating/OnUpdated (и подобные), так что все заинтересованные объекты (например, контрол отображающий последние 10 комментариев) могут на это дело подписаться и обновлять свое состояние. В итоге при отрисовке страницы, если это не первое обращение после сброса пула, обращений к базе не происходит вообще. Также заслуживает внимания механизм виджетов и расширений.

В общем, с позиции расширения опыта и посмотреть «а как другие» делают – очень интересный проект - еще один пример, когда Open Source рулит!