Одна из моих любимых конференция — это ZFConf. Даже не потому, что я работаю с ZF каждый день и хочу быть в курсе всех новых технологий и методов оптимизации. А потому, что у ZF есть сплоченное, дружное коммьюнити.

В этот раз конференция пройдёт в Москве, а не в Питере. С одной стороны это хорошо, потому, что рядом. С другой стороны поездка на конфу было как путешествие, и было приятно посмотреть на Киев и Санкт-Петербург. Вроде и по делу съездить, и немного развеяться. Сейчас открыта предварительная регистрация. Окончательная, будет открыта после формирования полного списка докладов. Те, кто прошли предварительную регистрацию, получат уведомления об этом.

Кстати, среди докладчиков возможно будут  из Zend Framework Core Team. Вы тоже можете стать докладчиком, можете заполнить специальную форму о предлагаемом докладе. Для иногородних докладчиков обсуждаются условия по компенсации расходов на поездку.

Наиболее актуальные темы для докладов:

• Проектирование модели в ZF (DDD, бизнес-логика, разделение по слоям, unit testing, …
• Тестирование проектов (Zend_Test, PHPUnit, Selenium, BDD, …)
• Zend Framework 2 — близится релиз! Возможно именно вы обладатель бесценного опыта внедрения, миграции?
• Взаимодействие фреймворков Symfony 2 и Zend Framework 2
• Истории реальных работающих проектов — архитектура, внедрение, решенные проблемы, организация процесса разработки
• Rich UI-приложения (JavaScript, Ajax, Flash, Flex, ActionScript, …)
• Методологии и опыт кэширования данных c помощью Zend_Cache
• Оптимизация Zend Framework для работы в нагруженных проектах
• Интересный опыт работы с компонентами из Zend_Services, Zend_Tool, Zend_Search_Lucene, …
• Управление облачными инфраструктурами с помощью Zend Framework
• Интересные методологии, проблемы, проекты, с которыми вам приходилось работать? Расскажите нам о них!

Также риглашаются спонсоры и инфопартнеры. По всем предложениям и вопросам пишите, пожалуйста, через форму обратной связи.

Кстати с прошлой ZFConf2011 стало доступно видео конференции.

Читайте новости о конференции здесь:

• Хабраблог: habr.ru/company/wizartech/blog/
• Facebook: facebook.com/groups/143714275748061/
• ВКонтакте: vk.com/zfconf
• RSS: feeds.feedburner.com/zfconf
• Twitter: twitter.com/zfconf

Организатор: Wizartech Партнеры: сообщество Zend Framework и конференция Frameworks Days

В этой статье я хочу поближе познакомить вас с замечательной фичей — Phar-архивами. В предыдущем посте я упоминал о ней, а много раньше даже писал обзорную статью по Phar. Целью этого поста будет полная упаковка Zend Framework 2 в один архив, чтобы раз и навсегда исключить проблему инклюдов в ZF веб-приложениях.В последнее время я слышу слишком много флуда, что «PHP уже не торт, вот в Ruby, там да…». Или «на PHP кодят только школьники», «Enterprise приложение на PHP не сделаешь», «ZF — тормозной фреймворк» ну и т.д.  А ведь проблемы то растут не из технологий. Хотя PHP имеет груз обратной совместимости, и ZF1 объективно из коробки показывает не высокую производительность. Однако, при использовании драйвера «прямые руки» можно спокойно и без нервов переписать тормозящий участок кода, работать через ORM, оптимизировать код и т.д. Но многим людям проще обвинить PHP, чем заняться делом. Это печально

В этом посте я хочу рассказать об устранении одной из проблем ZF1 -огромного количество инклюдов (и как следствие файловых операций), а именно компиляция приложения в PHAR архив. Не скажу, что технология компиляции php кода в один файл новая. Раньше были попытки сделать это, но получалось прямо скажем не всегда. Приходилось в полуавтоматическом режиме вырезать require_once() из кода,  а в некоторых местах ZF1 он был нужен, писались исключения. В общем этот подход лично я решил не применять, а ограничился установкой APC байткод-кэшера.

Однако с выходом php 5.3.0 появилась замечательная возможность использовать обертку потока phar://. Теперь можно повторить эксперимент на новом уровне.

Сразу оговорюсь, что можно точно также сжать и Zend Framework 1, есть всего-лишь одно небольшое отличие и я расскажу о нём чуть ниже. Для знакомства с теорией рекомендую почитать вот эту статью на Хабре. Для упаковки ZF2 в Phar нам понадобится несколько компонентов:

1. Собственно сам ZF2. Скачать последнюю версию можно с офсайта или из Git репозитария.
2. Файл-загрузчик для Phar-архива (stub.php) — заглушка. Получает управления сразу после инклюда файла с архивом. Будет ниже.
3. Упаковщик package.php. Будет ниже.

Stub.php для Zend Framework 1.x

<?php
require_once dirname(__FILE__).'/Zend/Loader/Autoloader.php';
Zend_Loader_Autoloader::getInstance();
Zend_Loader_Autoloader::getInstance()->setFallbackAutoloader(true);
// Finalize stumb
__HALT_COMPILER();

Stub.php для Zend Framework 2.x

<?php
require_once dirname(__FILE__) . '/Zend/Loader/AutoloaderFactory.php';
Zend\Loader\AutoloaderFactory::factory(array('Zend\Loader\StandardAutoloader' => array()));
$moduleLoader = new Zend\Loader\ModuleAutoloader();
$moduleLoader->register();

// Finalize stumb
__HALT_COMPILER();

Package.php

<?php
ini_set('phar.readonly', 0);
/**
* package.php
* Create a Zend Framework phar
*
* @author Cal Evans <cal@calevans.com>
* @author John Douglass <john .douglass@oit.gatech.edu>
*/

$getOptLongArray = array("stub:");
$getOptParams    = "s:p:v";
$options         = getOpt($getOptParams,$getOptLongArray);

if(!isset($options['s'],$options['p']))
{
 echo "You did not specify either a path or a phar file name.\n";
 displayHelp();
 die(1);
}

/*
 * Set up our environment
 */
$sourceLocation = $options['s'];
$basePointer    = strpos($options['s'],'Zend');
$pharFile       = $options['p'];

/*
 * Make sure things are sane before progressing
 */
if ($basePointer<1) {
 echo "It looks like your path is not a Zend Framework path.\nPlease check and try again.\n";
 displayhelp();
 die(1);
}

// At this point, we need to check to see if the file exists. If neither exist, throw exception.
if (isset($options['stub'])) {
 $stubFile = $options['stub'];
} else {
 $stubFile = 'stub.php';
}

if(!file_exists($sourceLocation))
{
 echo "ERROR: Source file location does not exist!\nCheck your source and try again.\n";
 displayhelp();
 die(1);
}

/*
* Let the user know what is going on
*/
echo "Creating PHAR\n";
echo "Source      : {$sourceLocation}\n";
echo "Destination : {$pharFile}\n";
echo "Stub File   : {$stubFile}\n\n";

/*
* Clean up from previous runs
*/
if (file_exists($pharFile)) {
 Phar::unlinkArchive($pharFile);
}

/*
* Setup the phar
*/
$p = new Phar($pharFile, 0, $pharFile);
$p->compressFiles(Phar::GZ);
$p->setSignatureAlgorithm (Phar::SHA1);

/*
* Now build the array of files to be in the phar.
* The first file is the stub file. The rest of the files are built from the directory.
*/
$files = array();
$files["stub.php"] = $stubFile;

echo "Building the array of files to include.\n";

$rd = new RecursiveIteratorIterator(new RecursiveDirectoryIterator($sourceLocation));
foreach($rd as $file) {
 if (strpos($file->getPath(),'.svn')===false &&
 $file->getFilename() != '..' &&
 $file->getFilename() != '.')
 {
 $fileIndex = substr($file->getPath().DIRECTORY_SEPARATOR.$file->getFilename(),$basePointer);
 $fileName = $file->getPath().DIRECTORY_SEPARATOR.$file->getFilename();
 $files[$fileIndex] = $fileName;
 // Coined "phindex" to refer to the included index pointing to the real filename on disk we are creating
 if (isset($options['v'])) {
 echo "   PHIndex[{$fileIndex}] = {$fileName}\n";           
 } // if (isset($options['v']))
 }
} // foreach($rd as $file)

echo "Now building the phar.\n";

/*
* Now build the archive.
*/
$p->startBuffering();
$p->buildFromIterator(new ArrayIterator($files));
$p->stopBuffering();

/*
* finish up.
*/
$p->setStub($p->createDefaultStub("stub.php"));
$p = null;

if (isset($options['v'])) {
 echo count($files)." files Added to ".$pharFile."\n";
} // if (isset($options['v']))

echo "Done.\n";
exit;

function displayHelp()
{
 echo "\n\npachage.php\n";
 echo "  Authors: Cal Evans, John Douglass\n\n";
 echo "  -s The directory where Zend Framework is located. Must end in /Zend. \n";
 echo "  -p The name to give your phar file.\n";
 echo "  --stub The name of your stub file. Will default to stub.php if not passed in.\n";
 echo "  -v verbose mode.\n";
}

Теперь надо правильно расположить файлы. В каталоге вашего проекта создайте папку ./vendor/ZendFramework/library Поместите туда эти файлы (stub.php, package.php) и папку Zend с самим фреймворком. Такое расположение папок характерно для ZF2. Если у вас в проекте другое, то придётся подправить пути. Дальше запускайте следующую команду для компиляции ZF в один файл.

andrey@z11:~/sandbox/zf2/vendor/ZendFramework/library$ php ./package.php -s ./Zend -p zf.phar -v
Creating PHAR
Source      : ./vendor/ZendFramework/library/Zend
Destination : zf.phar
Stub File   : stub.php
PHP Fatal error:  Uncaught exception 'UnexpectedValueException' with message 'creating archive "zf.phar" disabled by the php.ini setting phar.readonly' in /home/andrey/zf2.ru/package.php:70
Stack trace:
#0 /home/andrey/zf2.ru/package.php(70): Phar->__construct('zf.phar', 0, 'zf.phar')
#1 {main}
  thrown in /home/andrey/zf2.ru/package.php on line 70

Чтобы убрать эту ошибку надо разрешить запись в phar-архивы в php.ini:

[Phar]
phar.readonly = 0

Теперь весь ZF упакован в один файл:

...
PHIndex[ZendFramework/library/Zend/Mail/Transport/Exception.php] = ./vendor/ZendFramework/library/Zend/Mail/Transport/Exception.php
   PHIndex[ZendFramework/library/Zend/Mail/Transport/Sendmail.php] = ./vendor/ZendFramework/library/Zend/Mail/Transport/Sendmail.php
   PHIndex[ZendFramework/library/Zend/Mail/Storage.php] = ./vendor/ZendFramework/library/Zend/Mail/Storage.php
Now building the phar.
2836 files Added to zf.phar
Done.

Отлично, теперь в каталоге ./vendor/ZendFramework/library/ у вас должен появиться файл zf.phar. А значит можно подключать скомпиленный ZF к проекту.

test_phar.php. Подключение для ZF2:

<?php
include("phar://".dirname(__FILE__)."/vendor/ZendFramework/library/zf.phar");
$version = new Zend\Version;
print "Compiled ZF version is: \r\n";
print $version::VERSION."\r\n";

test_phar.php Подключение для ZF1:

<?php
include("phar://".dirname(__FILE__)."/vendor/ZendFramework/library/zf.phar");
$version = new Zend_Version;
print "Compiled ZF version is: \r\n";
print $version::VERSION."\r\n";

Однако при запуске test_phar.php отображается пустой экран. При этом в логи PHP ничего не пишет. Прогуглив как следует этот вопрос, я выяснил, что это происходит из-за  Suhosin patch. Для того, чтобы Phar архивы читались нормально, если в системе стоит suhosin patch, вам надо прописать в /etc/php5/conf.d/suhosin.ini (или в php.ini) следующее:

suhosin.executor.include.whitelist="phar"

После этого скрипт должен вывести версию ZF, подключённого через phar архив.

andrey@z11:~/sandbox/zf2.ru# php ./test_phar.php
Compiled ZF version is:
2.0.0beta1

Да, теперь весь ZF можно подключить с помощью одного include! Вы кстати можете модифицировать package.php для своего проекта и вообще залить всё приложение (со всеми библиотеками в один файл). А для хостингов вообще можно красиво сделать. Компилируем php-фреймворки или CMS’ки в phar, включаем APC, и один экземпляр фреймворка в памяти шарится для всех клиентов.

Кэширование APC и PHAR

Самое замечательное в этой ситуации, что когда фреймворк инклюдится по одному файлу (см. рис ниже), то часть из них всё равно вываливается из кэша, а тут один файл, который априори будет всегда лежать в памяти (т.к. будет инклюдится при каждом запросе). Вот что происходит при обычном выполнении запросов.

Без использования PHAR

Теперь для чистоты экспериментов очистим кэш.

Сделаем include PHAR архива и посмотрим кэш.

А потом ещё раз include.

О чём это говорит? При include конкретного файла класса он сначала берется из кэша, и если его там нет, то из Phar архива, который тоже висит в памяти, т.е. также кэшируется. В итоге дисковых операций не происходит.

Бонусы

В этом посте будет пара бонусов, а именно скомпиленные в PHAR фреймворки Zend Framework 1 и Zend Framework 2.
zf_1_11_0_dev.phar.tar.gz (зеркало)
zf_2_0_0beta1.phar.tar.gz (зеркало)
Скачать всё с GitHub

Подключаются они обычным инклюдом:

<?php
include("phar://".dirname(__FILE__)."/vendor/ZendFramework/library/zf.phar");

Не забудьте, что при перекомпилировании фреймворка при работающем APC в памяти остаётся висеть старый архив, и вам надо перезапустить php5-fpm или Apache, чтобы сбросить кэш.

Ссылки

• http://www.php.net/manual/en/phar.using.intro.php
• http://blog.calevans.com/2009/07/19/lessons-in-phar/
• http://habrahabr.ru/blogs/php/118269/

UPD

Обязательно нужно убрать саму папку library/Zend из проекта, иначе идет передекларирование классов, т.е. ты все классы подключил через phar, а Loader делает include_once например, и он инклудит физический файл, но класс уже был объявлен в phar и выходит ошибка. Или же проверять загружен ли класс или нет перед include_once.

Сейчас ходит много слухов о грядущей версии Zend Fremework 2. В основном слухи касаются увеличенной производительности, новым более гибким подходам, улучшенной по сравнению с 1ой версией стандартизацией и унификацией. В этом посте я хочу разместить подборку материалов для изучающих ZF2.

ZF2 — это абсолютно новый фреймворк. Это значит, что он не совместим с ZF1. Да. Это было сделано с целью полного обновления фреймворка. Все мы знаем на примере php, что такое груз обратной совместимости, и похоже в команде ZF это тоже прекрасно понимают. Именно поэтому было принято такое решение. Почему 2.0? Основной целью при переписывании фреймворка было увеличение его производительности. ZF 1 хорош, однако он имеет ряд узких мест (в частности Zend_Application). Также есть некоторое количество архитектурных недоработок: разные способы инициализации плагинов, разные способы использование хелперов. В 2.0 такие места будут стандартизированы. Принцип «примата соглашения над конфигурацией», который исповедуется в Ruby On Rails, будет применяться и здесь. Для разработчиков эт о в первую очередь означает, что гораздо реже придётся лазить в мануал.

PHP 5.2 to PHP 5.3

Прежде всего надо начать с того, что ZF2 написан полностью на PHP 5.3 с использованием namespaces и других плюшек. Чтобы разобраться в теме миграции на 5.3 рекомендую вам почитать вот этот раздел мануалки на офсайте.

Migrating from PHP 5.2.x to PHP 5.3.x

На тему нововведений в php 5.3 можно прочитать вот эту статью и эту. Про namespace есть несколько неплохих статей на хабре: PHP Namespaces, Внедряем namespaces в существующий php-код. А вот более практические статейки: Как использовать пространства имен в PHP, Часть 1: Основы, Часть 2: импортирование, псевдонимы и правила разбора имён, Часть 3: Ключевые слова и автозагрузка. Также рекомендую пройти вебинары по php 5.3.

Docblox

Статьи по Docblox (новой системе документирования php кода):

Docblox — система документирования, совместимая с PHP 5.3+, Docblox — некоторые нововведения.

Phar

В новом PHP всерьез подошли к борьбе с кучей инклюдов, файловых операций. Для этого в частности придумали такую штуку, как phar-архивы. PHAR — это утилита для создания исполняемых архивов в PHP, аналог JAR в Java.
Она позволяет упаковать много файлов в один, в результате чего приложение может работать с целой библиотекой, как с одним файлом.Она умеет создавать, читать, записывать и конвертировать такие форматы, как TAR, ZIP и, собственно, PHAR.Доступ к файлам в архиве осуществляется напрямую, без необходимости распаковки архива, через PHP Stream Wrapper, то есть с файлами из архива работают все функции, которые поддерживают PHP Stream Wrapper. Пример работы с phar есть здесь.

Введение в Zend Framework 2

Подкаст + слайды Matthew Weier O’Phinney

Также на сайте Zend есть другие вебинары по Zend Framework 2.

Паттерны проектирования Zend Framework 2

Вы можете следить за разработкой отдельных компонентов ZF2: zf2.evan.pro

Делаем первое приложение на Zend Framework 2

скачать в виде PDF.

Dependency Injection

Очень важным для понимания нового ZF является парадигма Dependency Injection. Инверсия управления является распространенным явлением, с которым вы столкнетесь при использовании фреймворков. И действительно, она часто рассматривается как определяющая характеристика фреймворка.

Одной важной характеристикой фреймворка является то, что методы, определенные пользователем для адаптации фреймворка под свои нужды, будут чаще всего вызываться внутри самого же фреймворка, а не из кода приложения пользователя. Фреймворк часто играет роль главной программы в координации и последовательности действий приложения. Такая инверсия управления дает фреймворку возможность служить расширяемым скелетом приложения. Методы, предоставляемые пользователем, адаптируют общие алгоритмы, определенные фреймворком, под определенное приложение.
Ральф Джонсон и Брайан Фут.

По DI есть руководство и от самого сообщества ZF в их вики Zend DI QuickStart + примеры по DI и пример по работе ZF2 DI в ZF1.

Event Manager

Примеры работы ZF2 Event Manager
Пример использования ZF2 EventManager
Порт ZF1 приложения на ZF2

Другие ссылки

How to start with Zend Framework 2? (zf wiki)
Programmer’s Reference Guide
Подборка ссылок по ZF2 от Валерия Рабиевского

Удачи в изучении, будут вопросы или предложения — велкам в комменты!

В этом посте я расскажу о баге, который недавно правил. Проблема была в том, что nginx выдавал 404 ошибку при обращении к одной из внутренних страниц форума. Баг проявлялся временами, и обладал ещё рядом особенностей.

1. Он проявлялся исключительно на сайте с движком IPB (Invision Power Board).
2. После выключения кэширования в движке или перезапуске memcached работа была восстановлена.
3. Баг воспроизводился только для внутренних страниц форума.
4. Страничное кэширование в nginx было отключено.

С одной стороны можно было бы просто выключить кэширование на форуме, да и забыть об этом.

$INFO['use_memcache'] = 0; // Выключаем
$INFO['memcache_server_1'] = "127.0.0.1";
$INFO['memcache_port_1'] = "11211";

Однако, в этом случае сильно возрастает нагрузка на сервер, что в конечном счёте выливается во вполне реальные деньги. Так что надо бороться с причиной, а не с последствиями.

Подчистив логи nginx я воспроизвёл баг и начал смотреть в файлы журналов. Там, в error.log обнаружилась интересная запись:

2011/11/20 09:39:00 [error] 15907#0: *653303 upstream sent too big header while reading response header from upstream, client: 81.145.110.213, server: site.ru, request: "GET /index.php?showforum=9&s=a27c0252d9c97966ea9d5293f7bbfd47 HTTP/1.1", upstream: "fastcgi://127.0.0.1:9010", host: "forum.ru", referrer: "http://forum.ru/"

А интересного в ней то, что я обращался к сайту forum.ru, а в записи фигурирует site.ru, который также обслуживается на этом сервере.
Гугление проблемы привело меня в тред Possible bug? Redirect 301 to 1st hostname in server_name list на форуме nginx.  Суть бага заключается вот в чём:

When requesting host3/drupal
nginx sends http 301 and the browser is redirected to host1/drupal
(which is on another server).

У меня ситуация аналогичная. Сайт site.ru стоит первым в списке server_name в конфиге nginx, а запрос идёт на forum.ru, который болтается где-то в середине.

Решение

Чтобы вылечить данный баг, надо добавить в конфиг nginx строчку

server_name_in_redirect off;

и тогда nginx не будет использовать первое значение server_name для подстановки в адреса при редиректах, а все мы знаем, как IPB любит редиректы Ну а можно просто поставить первым в списке нужный server_name.

Upstream sent too big header

Но моя радость была бы не полной, если бы не выплыл ещё один баг. В логах теперь отображается правильный server_name, однако сама ошибка никуда не исчезла. Вот она:

15907#0: *653303 upstream sent too big header while reading response header from upstream

Для её исправления надо было увеличить буферы nginx’у

fastcgi_buffers 8 32k;
fastcgi_buffer_size 32k;

Если nginx проксирует на apache, то нужно добавлять вот эти строки

proxy_buffers 8 16k;
proxy_buffer_size 32k

Удачи вам, коллеги веб-девелоперы!

Ссылки

http://sklavyvbrauzer.blogspot.com/2011/09/upstream-sent-too-big-header-while.html
http://wiki.nginx.org/HttpCoreModule#server_name_in_redirect
http://forum.nginx.org/read.php?2,154025,154036

В воскресенье утром обнаружил, что почему-то техника показывает разное время. На одних часах время ушло на час назад, на других нет. Пытался даже позвонить в службу точного времени (+7(495) 100) но там было занято, а механических часов дома давно уж нет Потом у друзей узнал время, и понял в чём засада. Некоторые железки так и не обновили софт, и поэтому радостно перевели время на час назад. И тут я вспомнил про сервера. На них время тоже перевелось. Дальше напишу, как можно быстро вернуть всё на своё место на серверах/компах на базе Ubuntu.

Как вернуть время на Ubuntu

sudo apt-get update
sudo apt-get install tzdata

Если пакет tzdata у вас уже установлен, то он обновится. Пакет содержит данные о часовых поясах всего мира и правилах перехода на летнее/зимнее время. Он периодически обновляется, чтобы отразить изменения, принимаемые в различных странах. Вот как раз такое обновление нам и нужно подцепить. На одном из моих серверов потребовалась коррекция времени с помощью команды

dpkg-reconfigure tzdata

Настройка времени tzdata в Ubuntu

После этого можно проверить время командой date.

Вот как менялась зона у меня:

root@test:/etc/apt# sudo apt-get install tzdata
Чтение списков пакетов... Готово
Построение дерева зависимостей
Чтение информации о состоянии... Готово
Пакеты, которые будут обновлены:
  tzdata
обновлено 1, установлено 0 новых пакетов, для удаления отмечено 0 пакетов, и 80 пакетов не обновлено.
Необходимо скачать 637kБ архивов.
После данной операции, объём занятого дискового пространства уменьшится на 8 192B.
Получено:1 http://ru.archive.ubuntu.com/ubuntu/ maverick-updates/main tzdata all 2011m-0ubuntu0.10.10 [637kB]
Получено 637kБ за 5с (125kБ/c)
Предварительная настройка пакетов ...
(Чтение базы данных ... на данный момент установлено 87076 файлов и каталогов.)
Подготовка к замене пакета tzdata 2011g-0ubuntu0.10.10 (используется файл .../tzdata_2011m-0ubuntu0.10.10_all.deb) ...
Распаковывается замена для пакета tzdata ...
Настраивается пакет tzdata (2011m-0ubuntu0.10.10) ...

Current default time zone: 'Etc/UTC'
Local time is now:      Mon Oct 31 10:22:00 UTC 2011.
Universal Time is now:  Mon Oct 31 10:22:00 UTC 2011.
Run 'dpkg-reconfigure tzdata' if you wish to change it.

root@test:/etc/apt# dpkg-reconfigure tzdata

Current default time zone: 'Europe/Moscow'
Local time is now:      Mon Oct 31 14:23:26 MSK 2011.
Universal Time is now:  Mon Oct 31 10:23:26 UTC 2011.

Корректировка времени на форуме IPB

Если в вашем распоряжении есть форум на базе Invision Power Board, знайте — он может не подцепить системное время. В этом случае его надо откорректировать тут:
Настройки и инструменты > Системные настройки > Система > Формат чисел, времени и дат

Корректировка времени в IPB (Invision Power Board)

Отменяем автоперевод времени и ставим корректировку в +60 минут.

Удачного дня, не теряйте время

В этом посте будет описано обновление ядра для Ubuntu, его причины и результаты. Также расскажу об установке модуля Virtualbox на него.

Являясь «счастливым» обладателем ноутбука с процессором Core i7 620М я не устаю удивляться, что до сих пор Linux корректно не поддерживает интегрированное видео. Хотя в последнее время были подвижки на эту тему, однако с ядром 3.1-rc10, которое я попробовал, загрузиться не удалось.

Итак, что же мы имеем на данный момент. Интегрированная графика не поддерживается на ядрах 2.6.36 — 2.6.38, есть патченные ядра от адама, с которыми она работает нормально. 2.6.37-vaioz у меня работала стабильно (если не считать вылета сессии Gnome после ввода Enter). Свеженькая Ubuntu 11.10 c ядром 3.0.4, у меня не завелась. А я очень на это надеялся. Ядра 3.1.x еще сыроваты, т.к. находятся в разработке.

На хабре в теме про KernelCheck проскочила замечательная ссылка на  ppa-репозитарии с ядрами в deb пакетах. Это была для меня хорошая новость, т.к. теперь можно было просто перебрать все ядра и выяснить, какие из них будут работать с моим оборудованием. Начал я с версии 3.1-rc10. Система загрузилась, но потом ушла в kernel panic. Ок, дальше я попробовал 3.0.8. Система загрузилась, и уже пол-часа работает нормально (тьфу-тьфу-тьфу). Со второй попытки угадал, неплохо. Дальше будет мануалка по установке. Хотя там всё просто в общем-то.

Установка ядрышка 3.0.8 + модуля ядра для VirtualBox

1. Качаем три пакета из репозитария:

wget http://kernel.ubuntu.com/~kernel-ppa/mainline/v3.0.8-oneiric/linux-headers-3.0.8-030008_3.0.8-030008.201110250135_all.deb
wget http://kernel.ubuntu.com/~kernel-ppa/mainline/v3.0.8-oneiric/linux-headers-3.0.8-030008-generic_3.0.8-030008.201110250135_amd64.deb
wget http://kernel.ubuntu.com/~kernel-ppa/mainline/v3.0.8-oneiric/linux-image-3.0.8-030008-generic_3.0.8-030008.201110250135_amd64.deb

Если у вас архитектура x86, то ссылки будут другими. Пакеты лежат по-соседству.

2. Ставим пакеты.

sudo dpkg -i ./linux-headers-3.0.8-030008_3.0.8-030008.201110250135_all.deb
sudo dpkg -i ./linux-headers-3.0.8-030008-generic_3.0.8-030008.201110250135_amd64.deb
sudo dpkg -i ./linux-image-3.0.8-030008-generic_3.0.8-030008.201110250135_amd64.deb

Пишу, чтобы во-первых самому не забыть очередность, а во вторых чтобы был чёткий алгоритм.

3. Перезагружаем систему, в grub выбираем новое ядро. Грузимся, скрестив пальцы
4. Если загрузились, то ставим модуль для VirtualBox:

sudo /etc/init.d/vboxdrv setup
WARNING: Deprecated config file /etc/modprobe.conf, all config files belong into /etc/modprobe.d/.
 * Stopping VirtualBox kernel modules                            [ OK ]
 * Uninstalling old VirtualBox DKMS kernel modules               [ OK ]
 * Trying to register the VirtualBox kernel modules using DKMS   [ OK ]
 * Starting VirtualBox kernel modules                            [ OK ]

Теперь виртуалки должны запускаться нормально. Проверяем.

Глюки с падающей при логине сессией исчезли, единственное, что напрягает, так это то, что на ноутбуке не горит светодиод выбранной видеокарты.

Ядро 3.1 не пробовал. Но может и оно подойдёт.

Ссылки

http://kernel.ubuntu.com/~kernel-ppa/mainline/

Сегодня товарищ на работе обновил Ubuntu до версии 11.10 (Oneiric Ocelot). Ну и начали ловить первые баги. В этом посте я расскажу, как поставить Ruby 1.9.2.Итак ставили Ruby как обычно, по этому мануалу. Однако потом наткнулись на несколько глюков. Во первых после установки ruby-1.9.2 и выполнении

# rvm use 1.9.2
# rvm --default 1.9.2

версия показывалась не та, что ставилась:

# ruby -v
 ruby 1.8.7

«SSLv2_method» undeclared here

Оказалось, что в системе установлены пакеты со старым руби. Мы снесли их вот так:

 sudo apt-get remove ruby1.8

После этого начали ставить новый руби (1.9.2) через rvm, и тут на нас вылезла куча ошибок:

$ sudo rvm install 1.9.2
Installing Ruby from source to: /usr/share/ruby-rvm/rubies/ruby-1.9.2-p180, this may take a while depending on your cpu(s)...

ruby-1.9.2-p180 - #fetching
ruby-1.9.2-p180 - #extracted to /usr/share/ruby-rvm/src/ruby-1.9.2-p180 (already extracted)
ruby-1.9.2-p180 - #configuring
arith -Wwrite-strings -Wno-missing-field-initializers -Wno-long-long  -fPIC  -o ossl_ssl.o -c ossl_ssl.c
ossl_ssl.c:110:1: ошибка: «SSLv2_method» undeclared here (not in a function)
ossl_ssl.c:111:1: ошибка: «SSLv2_server_method» undeclared here (not in a function)
ossl_ssl.c:112:1: ошибка: «SSLv2_client_method» undeclared here (not in a function)
make[1]: *** [ossl_ssl.o] Ошибка 1
make[1]: Выход из каталога `/var/cache/ruby-rvm/src/ruby-1.9.2-p180/ext/openssl'
make: *** [mkmain.sh] Ошибка 1

Нехитрым гуглением я понимаю, что проблема кроется в несовместимости Ruby 1.9.2 и LibSSL 1.0. Версия libssl 0.9.8 работает нормально, однако при попытке удаления 1.0 пакетный менеджер показал около сотни пакетов на удаление. Я всё же не решился удалять пол-системы и начал искать другой выход.

Я нашел небольшой патч. Итак исправляем два файла: extconf.rb и ossl_ssl.c, которые у меня лежали вот здесь: /usr/local/rvm/src/ruby-1.9.2-p180/ext/openssl
После этого пытаемся второй раз поставить ruby и нам это удается. Проблема решена!

no such file to load mkmf (LoadError)

После этого версия стала показываться нормальная, однако наш гем (starling), который мы хотели установить — не ставился. А писал нам вот такие ошибки:

no such file to load mkmf (LoadError)

Выяснилось, что этот модуль (mkmf) содержится в dev-пакете руби. Однако нашей ошибкой было то, что мы ставили пакет ruby1.8-dev, он и перекрывал текущий интерпретатор. Решение всё-же нашлось. Надо было поставить другой пакет, который при первичном поиске не выдавался:

 sudo apt-get install ruby1.9.1-dev

В нём есть нужный модуль, и он всё-таки из ветки 1.9.x.
После этого гем поставился нормально и мы получили на машине свежий руби и starling.

12 ноября, в Киеве, пройдет конференция «Zend Framework Day» — посвященная популярному PHP фреймворку Zend Framework. Среди докладчиков непосредственные разработчики компонент Zend Framework. Событие соберет лучших PHP и Zend Framework специалистов из Украины, России, Белоруссии и других стран СНГ.

С текущим списком тем и докладчиков можно ознакомиться на странице.

Событие будет интересно не только тем, кто использует Zend Framework, но и всем веб-разработчикам и PHP программистам в частности.

Место проведения — отель «Казацкий», г. Киев, ул. Михайловская 1/3 (Площадь Независимости).

Со стоимостью участия и другой необходимой информацией вы можете ознакомиться на странице.

Для участия в конференции необходимо пройти регистрацию на странице, а затем произвести оплату из личного кабинета.

Ссылки

Сайт конференции — http://frameworksdays.com/event/zend-framework-day-2011
Наши новости в twitter — http://twitter.com/fwdays
Наша страница в facebook – http://facebook.com/fwdays

Пару дней назад в мою почту свалилось приглашение на конференцию Битрикса. Откуда я собственно узнал, что вышла его новая 11 версия. Интересно было узнать, что же там нового, да и вообще приглядеться к самой популярной отечественной платной CMS системе.Конференция проходила в отеле Ararat Park Hyatt Moscow, в самом центре, недалеко от красной площади. Там кстати поставили какие-то ограждения не то уже на 7 ноября (хотя ещё рано), не то для чего-то ещё. Побродив там немного я направился в отель. Давно там не был, скажу что обустроено там всё по высшему разряду, что и закономерно.

На самом деле мероприятие было не столько IT-конференцией, сколько пресс-конференцией и презентацией для партнеров Битрикса. Из технических людей там были мы с Владимиром Юневым, коллеги из хостеров и Яндекса (ну не считая собственно сотрудников Битрикса), автор Roem.ru. Пока мы сидели и общались с Владимиром подошел Сергей Рыжиков, генеральный директор Битрикса. Мы разговаривали на тему гео-кластера, распределения нагрузки и облачных систем хранения данных. Было очень интересно пообщаться. За разговором не заметили, как пролетело время и всех позвали в конференц-зал. Доклад был всего один, собственно презентация 11 версии.

Релиз-цикл Битрикса

Сергей начал с того, что текущая версия была выпущена раньше времени. По идее это должен был быть Битрикс 10.5, но изменений накопилось столько, что с новая версия может с полным правом называться 11ой. В вебдеве всё постоянно меняется, и надо следовать этим изменениям, поэтому полугодовой релиз-цикл — самое то.

Проблема качества

Про баги битрикса не говорит только ленивый. На форумах, да и на Хабре тоже постоянно возникают топики про глючность и бажность этой CMS. Тут надо внести некоторую ясность. Сам я раньше тоже не был приверженцем Битрикса. Как-то поковыряв исходники 6ой версии я пришел в ужас, и неприятный осадок от того оставался до сих пор. Однако во первых, сейчас уже 11 версия на дворе, и с тех пор многое поправлено. Во-вторых глядя в changelist понимаешь, что с совсем уж плохим кодом такого сделать было бы просто нереально. Ну и в третьих, клиент не разбирается в ч1ём проблем — в хостинге, настройках сервера или самого битрикса, криворуких программистов в студии партнере. Он просто видит, что Битрикс глючит.

Таким образом проблема качества — стала основным приоритетом при разработке системы и наладке отношений с партнерами. Для облегчения процесса внедрения и сдачи проекта конечному клиенту (т.е. для клиента и для партнера) в Битрике пробовали использовать стандартные методы: обучение, сертификацию. Однако на массовом рынке сделать это сложно, да и ресурсы затрачиваются большие. Еще больше осложняет проблему тот факт, что в работе над веб-сайтов участвуют несколько человек: собственно клиент, партнер и разработчики платформы.

Монитор качества внедрения

Для решения проблемы был создан Монитор качества внедрения. Это по сути некий checklist, по которому можно (даже нужно) проверять проект перед сдачей, это система тестов для веб-разработчиков. Она включает в себя 26 обязательных тестов и 39 необязательных а также 12 автоматических проверок. Их число постоянно увеличивается. Основная цель монитора качества — сдать заказчику качественный, проверенный проект, тем самым снизив количество ошибок.

Для разработчиков он также облегчает жизнь. Они могут сами добавлять свои тесты в «монитор качества». Например это могут быть тесты на публикацию в каталогах, какие-либо шаги по SEO-оптимизации, тестирование code style, тесты по контекстной рекламе с помощью сторонних API и многое другое.

Монитор качества позволяет разработчикам систематизировать процедуру тестирования, повысить качество создания проектов, а также формализовать отношения с заказчиками. Думаю любому клиенту будет приятно, когда он получит бумажку с распечаткой результатов прохождения теста монитора качество. Это позволит для него снизить риски и затраты, как на этапе приемки веб-сайта, так и на этапе его поддержки и сопровождения. Иными словами, монитор качества призван повысить уровень гарантированного результата и снизить общие риски.

Облака и Битрикс

Другая модная нынче тема это облачные вычисления. На самом деле облачные технологии это старые добрые кластерные технологии, только с динамическим выделением ресурсов, живыми миграциями и некоторыми другими «приметами нового времени». В презентации была высказана мысль, что облако — это новая операционная система. Формируются новые сервисы с API для приложений, облачный масштабируемый SQL, документы и файлы постепенно переезжают в облака (Google Docs, DropBox, Ubuntu One), календари почта и коммуникации тоже стремятся уйти с десктопов. Что это значит для разработчика? Он обеспечивается инфраструктурой, его приложения исполняются на ресурсах облачного провайдера, становится доступна масштабируемость и высокая производительность.

Традиционное веб-приложение использует три компонента: собственно исходный код, систему хранения (БД) и систему кэширования (Memcached со товарищи). При возрастании нагрузки разработчик вынужден добавлять кэширующие сервера, фронт-энды, сервера БД… иными словами кластеризовать веб-продукт.

Что же нового представлено в 11ой версии битрикса с точки зрения облачной инфраструктуры?

• Поддержка облачных хранилищ и CDN. Битрикс позволяет задавать типы файлов и соответствующее им облачное хранилище. Т.е. всё статику можно перевести в облако. А облако = CDN, что решает большую головную боль по доставки контента. Разработчки полностью отказались от csync2 и своей инфраструктуры в пользу использования ресурсов облачного провайдера. Надо сказать, что это снимает целый комплекс вопросов по синхронизации и поддержки актуальности данных.
• Географический веб-кластер. Это то, о чём они мечтали пол-года — год назад. Решив проблему хранения контента можно решать проблему географического распределения вычислений, т.е. генерации страницы. Тут опять же надо использовать принцип локальности. Клиент должен взаимодействовать с ближайшим к нему узлом кластера (облака, не важно).
• Виртуальная машина 3.0. У меня почему-то сложилось впечатление, что разработчики битрикса сделали свою виртуальную машину, которая что-то интерпретирует. Однако это было ошибочное представление. Имеется в виду образ ОС (на базе Debian) насколько я знаю, пригодный для развертывания в инфраструктуре облачного провайдера. Всё, чтобы пользователю решения (партнеру в данном случае) было легче.
• Новая технология кэширования. Очевидно это также касается обалчно инфраструктуры и кэширования уже в ней. Вкратце было сказано, что локальая копия не изменяет себя, а все изменения накатывает в облако, откуда потом берет данные, кэшируя у себя. В общем, очень интересно. Я бы даже не отказался пощупать это в жизни.

В общих чертах можно сказать, что Битрикс сейчас проходит этап становления платформы, как когда-то прошел его, например,  Google. На данный момент поддерживаются следующие облачные хранилища: Google, Amazon, Windows Azure, Rackspace и OpenStack. Особенная гордость битриксовцев — это поддержка OpenStack. Это комплекс открытого ПО, который поддерживает около 50 компаний по всему миру, среди которых есть и Citrix, Dell, AMD, Intel и другие. Из российских представителей это Clodo.ru

Кроме классификации файлов по типам для хранения в разных обьлачных хранилищах, можно делать это по размеру. Например все файлы «весом» больше 100Мб перемещать в Google Storage, а всё видео — в Amazon. На этом кстати можно здорово сэкономить. При использовании «Медиатеки» (аналог «Медиа-менеджера» в Joomla и «Медиафайлов» в WordPress) все файлы могут храниться в облаках и доставляться мгновенно с помощью CDN-сетей Google, Microsoft и других. Так что теперь из CDN можно брать не только jQuery
Географический веб-кластер повышает отказоустойчивость проекта и обеспечивает независимость от дата-центра и поставщика облачных услуг (нет vendor-lock). В разных дата-центрах объединяются несколько групп веб-кластеров, находящихся в разных городах и странах. В случае отказа одного дата-центра, в работу мгновенно включается другой, без необходимости восстановления «бекапа».

Виртуальная машина 3.0

Новая «виртуальная машина 3.0″ включает в себя мастер создания кластера, мастер добавления slave-сервера, мастер переключения slave-сервера в режим master. Теперь чтобы развернуть кластер, необходимо 5-10 минут. При этом не требуется ничего устанавливать или настраивать. Кроме того, появилась возможность на одной виртуальной машине запускать несколько сайтов, что также благотворно скажется на эффективности использования ресурсов. Поддерживаются следующие технологии виртуализации: VmWare, Parallels, Microsoft, Amazon WebService, Xen. Битрикс становится платформой не только для создания сайтов, но и для разработки облачных веб-сервисов, ведь основные задачи по развертыванию и поддержки инфраструктуры взяли на себя разработчики системы.

Безопасная авторизация

Из 50 000 клиентов только у 2 000 включён SSL. Остальные находятся в опасности, т.к. их учётные записи могут быть скомпрометированы. Для повышения безопасности разработчики реализовали шифрование пароля на клиенте средствами JavaScript и отправки по каналу связи уже зашифрованный пароль, что должно затруднить потенциальный взлом.

Marketplace, «Мне нравится» и социальный поиск

В новую версию включён Marketplace, в котором размещены уже более 300 готовых приложений. Интересно есть ли там Angry Birds? Вообще идея хорошая, привлечь сторонних разработчиков. Кстати они уже запустили процессинг приложений. Посмотрим, что из этого выйдет.

Интерфейс социальной кнопки сделан более простым. Хотя алгоритм счёта и усложнился. Добавлена лента активности на сайте, и переработан поиск. Теперь поиск вместе с индексами вообще можно вынести на отдельную машину. Рейтинг того или иного контента зависит от количества и весов голосов за него, т.е. поиск стал социальным. При каждом нажатии на кнопку «мне нравится» происходит пересчёт рейтинга. Не знаю, конечно, как это сказалось на производительности.

Русские имена файлов, папок и сайтов. Микроформаты.

Теперь поддерживаются русские имена, так что можно будет чем-то забить ваш домен в зоне .рф А для лучшей индексируемости сайта поисковиками внедрена поддержка микроформатов, например, для товаров в интернет-магазине.

Outro

В общем конференция понравилась, рад был пообщаться с коллегами из Битрикса и Сергеем лично. Мне определённо нравится в какую сторону идёт Битрикс. Надеюсь его разработчикам удастся сломать старый имидж, и мы увидим на нём ещё много качественных и интересных проектов!

Недавно вышел релиз 0.52 замечательного средства поддержки MySQL кластера «Master High Availability Manager» от моего японского товарища Yoshinori Matsunobu. Он известен в первую очередь, как разработчик HandlerSocket (NoSQL средства доступа к БД MySQL).

Он работает в компании DeNA, которая управляет географически-распределённый MySQL кластером. Чем больше машин в кластере, тем больше вероятность сбоев. Именно поэтому Yoshinori занялся разработкой такого рода. MHA был протестирован в рамках компании и теперь его можно спокойно скачать с Google Code.

Обзор релиза

Итак, что же нового в версии 0.52.

1. Именование версий теперь будет таким: mha4mysql-manager-X.Y Автор кстати непрозрачно намекает, что в будущем собирается патентовать одноимённую (MHA) торговую марку.
2. Теперь поддерживается Multi-Master схема! В прошлой (0.50) версии она не работала, по этому поводу даже создали feature request на gitbub. Разработка велась сначала в отдельной ветке, а 12 сентября была перенесена в основную. Пример конфига для установки вы найдёте здесь.
3. Багфиксы:

• Manager-Issue#6 masterha_check_repl may die with UUV when a master dies
• Manager-Issue#8 MHA Manager does not start if Log::Dispatch version is 2.22 or lower
• Manager-Issue#10 @@global.relay_log_purge should be preserved on change master
• Manager-Issue#11 Manager aborts by UUV if errstr is empty (rare cases)

Multi-master scheme

Как я понял, схема работает следующим образом. Пусть есть 4 сервера A <—> B, A —> C, B —>D и в данный момент сервер A — активный мастер, т.е. на него идут все запросы на запись. Мастер-сервер B находится в оперативном резерве. Сервер С — slave для A, D — slave для B. Как только сервер A падает, то активным мастером становится B, а C переключается на него. Схема очень похожа на MongoDB Replica Sets, однако там голосование нод и выборы нового мастера идёт децентрализовано, а здесь централизовано с помощью MHA Manager’а.

Но в принципе и на том спасибо, ранее такой схемы не было, а сейчас она бы очень пригодилось многим админам и веб-разработчикам, т.к. избавляет от ручного труда по перенастройке (да я в курсе про MMA-tools). Например в 1С-Битрикс: веб-кластер насколько я знаю в данный момент делают аналогичную системе. Теперь можно взять за основу труды Yoshinori и допилить их под свои нужды.

Ссылки

http://yoshinorimatsunobu.blogspot.com/2011/09/mha-for-mysql-052-released.html
http://code.google.com/p/mysql-master-ha/
http://code.google.com/p/mysql-master-ha/wiki/TableOfContents?tm=6
http://code.google.com/p/mysql-master-ha/downloads/list