Magento продолжает свой стремительный подъём по лестнице eCommerce. С недавним релизом Magento Enterprise Edition и приближающимся релизом версии 1.4 Magento Community Edition, зарегистрировано более 1.5 миллиона скачиваний, тысячи людей посещают сайт каждый день и несколько наилучших сайтов eCommerce в мире спроектированы на Magento - Magento имеет очень хороший баланс для удачного 2010 года!

Наши друзья в Inchoo решили рассмотреть некоторые тенденции и согласно Google, термин Magento стал более популярен чем eCommerce! И это произошло всего лишь за последние два года со времени дебюта Magento – что беспорно является отличным знаком быстрого роста Magento и её сообщества.

Inchoo сообщает:

“Где-то в марте 2009 года — менее года назад — термины «Magento» и «eCommerce» стали равными по употреблению, и с этого момента термин «Magento» приобрёл лидирующую позицию. Существует значительно большее количество статей или ссылок на новости по термину «eCommerce», чем по термину «Magento», но, несмотря на это, Magento всё-таки удается получить больше поискового трафика.

На следующем графике, вы можете сами убедиться насколько Magento может быть противопоставлена другим Open Source платформам электронной коммерции.

Читайте полный пост в блоге Inchoo.

Тестировщик ПО
Системный администратор
Менеджер по разработке ПО
а также всегда открыта вакансия:
Программист PHP, в Киеве и Днепропетровске

Присылайте резюме на hiring@varien.com!

на varien.com.ua мы пытаемся давать именно статьи наших разработчиков, писать о технологиях, которые мы используем, о самой Magento, как она устроена и так далее. Чтобы люди знали, куда они идут даже на интервью.

Несколько дней назад статья о нас была опубликована интересная статья на небезызвестном сайте сообщества программистов developers.org.ua.
Она вызвала оживленную дискуссию (114 комментариев) – видимо задела за живое
Если у кого есть/остались вопросы – милости просим, можете и здесь задавать.

Установка и конфигурирование
Во время установки я рекомендую отключить все дополнительные опции и пакеты. Все, что нужно для magento мы поставим позже. Также желательно отключить firewall и selinux, как минимум до завершения установки.

Несколько слов об используемом ПО. nginx – это быстрый и крайне нетребовательный к ресурсам HTTP (и не только) сервер, который используется для раздачи статики (картинки, стили, javascript), а также позволяет работать с динамическим контентом используя FastCGI API. PHP-FPM – это улучшенная реализация интерфейса FastCGI для PHP, распространяемая в виде патча к исходникам PHP. Сервер FastCGI позволяет работать по TCP или используя локальный socket. APC – “оптимизатор” PHP, реализующий опкод кеширование для скриптов и, помимо этого, предоставляющий интерфейс для хранения данных скрипта в shared памяти. Его применение имеет смысл только в FastCGI или Apache SAPI режимах.

Репозиторий centos не содержит php-fpm. Конечно, можно самостоятельно скомпилировать PHP 5.2.11 + php-fpm, но намного более “правильный” с точки зрения удобства обновления и поддержки способ – использование репозитория. Для использования php5.2.x + fpm на наших серверах мы создали репозиторий (rpms.varien.com). В настоящий момент поддерживается CentOS/RHEL 5, архитектуры i386 и x86_64. Также нам потребуется подключить репозиторий EPEL, содержащий многие программы и библиотеки, отсутствующие в системных репозиториях CentOS/RHEL.

Подключение репозиториев:

  # rpm -Uvh http://download.fedora.redhat.com/pub/epel/5/i386/epel-release-5-3.noarch.rpm
  # wget http://rpms.varien.com/varien-release-1-1.centos.varien.noarch.rpm
  # rpm -Uvh varien-release-1-1.centos.varien.noarch.rpm

Устанавливем нужное нам ПО:

  # yum install nginx
  # yum install php-fpm php-mysql php-gd php-mcrypt php-dom
  # yum install php-pecl-apc
  # yum install mysql-server

Включаем автостарт необходимых сервисов:

  # /sbin/chkconfig nginx on
  # /sbin/chkconfig mysqld on
  # /sbin/chkconfig php-fpm on

Конфигурируем nginx (файл /etc/nginx.conf). В данном примере магазин расположен по пути /magento/ в папке /var/www/html/magento. Поддерживается URL Rewrite (аналог конфигурации для apache mod_rewrite), для php используется PHP-FPM подключенный через unix socket.

user              nginx;
worker_processes  1;
error_log         /var/log/nginx/error.log;
pid               /var/run/nginx.pid;

events {
    worker_connections  1024;
}

http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] $request '
                      '"$status" $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/access.log  main;
    sendfile        on;
    keepalive_timeout  65;

    # fastcgi nodes
    upstream  backend  {
        server unix:/tmp/fcgi.sock;
    }

    server {
        listen       80;
        server_name  example.local;
        root   /var/www/html;
        autoindex off;

        gzip on; # use gzip compression
        gzip_proxied any; # enable proxy for the fcgi requests
        gzip_types text/plain text/html text/css text/javascript;

        # protection (we have no .htaccess)
        location ~ (^/magento/(app/|includes/|lib/|/pkginfo/|var/|report/config.xml)|/\.svn/|/.hta.+) {
            deny all;
        }

        # handle all .php files, /downloader and /report
        location ~ (\.php|/downloader/?|/report/?)$ {
            if ($request_uri ~ /(downloader|report)$){ # no trailing /, redirecting
                rewrite  ^(.*)$ $1/ permanent;
            }
            fastcgi_index index.php;
            include /etc/nginx/fastcgi_params;
            fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
            if (-e $request_filename) { # check if requested path exists
                fastcgi_pass backend;
            }

        }

        # handle magento
        location /magento/
        {
            # set expire headers
            if ($request_uri ~* "\.(ico|css|js|gif|jpe?g|png)$") {
                expires max;
            }
            # set fastcgi settings, not allowed in the "if" block
            include /etc/nginx/fastcgi_params;
            fastcgi_param SCRIPT_FILENAME $document_root/magento/index.php;
            fastcgi_param SCRIPT_NAME /magento/index.php;
            # rewrite - if file not found, pass it to the backend
            if (!-f $request_filename) {
                fastcgi_pass backend;
                break;
            }
        }
    }
}

Конфигурация PHP-FPM (файл /etc/php-fpm.conf). Используется локальный socket. Наиболее важный параметр тут – max_children, его значение должно быть подобрано с учетом конфигурации (память, CPU) в процессе тестов нагрузки.

<configuration>
        <section name="global_options">
                <value name="pid_file">/var/run/php-fpm.pid</value>
                <value name="error_log">/var/log/php-fpm.log</value>
                <value name="log_level">notice</value>
                <value name="emergency_restart_threshold">10</value>
                <value name="emergency_restart_interval">1m</value>
                <value name="process_control_timeout">5s</value>
                <value name="daemonize">yes</value>
        </section>
        <workers>
                <section name="pool">
                        <value name="name">default</value>
                        <value name="listen_address">/tmp/fcgi.sock</value>
                        <value name="listen_options">
                                <value name="owner"></value>
                                <value name="group"></value>
                                <value name="mode">0666</value>
                        </value>
                        <value name="php_defines">
                        </value>
                        <value name="user">nginx</value>
                        <value name="group">nginx</value>
                        <value name="pm">
                                <value name="style">static</value>
                                <value name="max_children">10</value>
                                <value name="apache_like">
                                        <value name="StartServers">20</value>
                                        <value name="MinSpareServers">5</value>
                                        <value name="MaxSpareServers">35</value>
                                </value>
                        </value>
                        <value name="request_terminate_timeout">0s</value>
                        <value name="request_slowlog_timeout">0s</value>
                        <value name="slowlog">logs/slow.log</value>
                        <value name="rlimit_files">1024</value>
                        <value name="rlimit_core">0</value>
                        <value name="chroot"></value>
                        <value name="chdir"></value>
                        <value name="catch_workers_output">yes</value>
                        <value name="max_requests">500</value>
                        <value name="allowed_clients">127.0.0.1</value>
                        <value name="environment">
                                <value name="HOSTNAME">$HOSTNAME</value>
                                <value name="PATH">/usr/local/bin:/usr/bin:/bin</value>
                                <value name="TMP">/tmp</value>
                                <value name="TMPDIR">/tmp</value>
                                <value name="TEMP">/tmp</value>
                                <value name="OSTYPE">$OSTYPE</value>
                                <value name="MACHTYPE">$MACHTYPE</value>
                                <value name="MALLOC_CHECK_">2</value>
                        </value>
                </section>
        </workers>
</configuration>

Запускаем nginx и php-fpm:

  # /etc/init.d/php-fpm start
  # /etc/init.d/nginx start

Запускаем mysqld, и назначаем пароль для mysql рута

  # /etc/init.d/mysqld start
  # /usr/bin/mysql_secure_installation

Теперь добавляем пользователя и базу данных magento:

  # mysql --user=root -p
  mysql>  CREATE USER 'magento'@'localhost' IDENTIFIED BY 'my_password';
  mysql>  CREATE DATABASE magento;
  mysql>  GRANT ALL PRIVILEGES ON `magento`.* TO 'magento'@'%' WITH GRANT OPTION;

На этом этапе все готово для установки magento.

Установка magento
Для установки magent в консоли я использовал wiki-статью installing magento via ssh.

1. Скачиваем magento:
   # cd /var/www/html
   # wget http://www.magentocommerce.com/downloads/assets/1.3.2.4/magento-1.3.2.4.tar.gz
   # tar -xvzf magento-1.3.2.4.tar.gz
2. Если нам нужна тестовая база данных (sample db) – скачиваем и распаковываем ее, если нет – пропускаем этот шаг.
   # wget http://www.magentocommerce.com/downloads/assets/1.2.0/magento-sample-data-1.2.0.tar.gz
   # tar -xvzf magento-sample-data-1.2.0.tar.gz
   # mv magento-sample-data-1.2.0/media/* magento/media/
   # mysql --user=root magento -p < magento-sample-data-1.2.0/magento_sample_data_for_1.2.0.sql
3. Назначаем корректного владельца всем файлам:
   # chown -R nginx:nginx magento

Теперь переходим к этапу настройки magento, указав в браузере адрес нашей установки, например http://example.local/magento/. Должен заработать magento installation wizard. В настройках базы данных указываем пользователя magento (и назначенный вами пароль), адрес хоста – localhost. Также следует отметить флаг “Skip Base URL validation before next step”. Дальнейшая конфигурация и использование ничем не отличается от обычных установок magento.

Дополнительная оптимизация
Прежде всего следует перенести magento cache в APC, так как файловое хранилище достаточно неєффективно, особенно при параллельных запросах. Для этого в секцию globals файла magento/app/etc/local.xml добавляем секцию cache:

    <cache>
         <backend>apc</backend>
         <prefix>MY_MAGENTO_</prefix>
    </cache>

Также рекомендуется оптимизация mysql, ip стека linux, подбор параметров APC, конфигурирование firewall, но все это уже выходит за рамки данной заметки.

Вот мы и достигли 50-человековой отметки
Нас уже полсотни Varien-цев, и совсем скоро будет еще больше!
Понятное дело, что количество – это не обязательно качество, но по моему убеждению, в нашем случае именно качество нашей работы заставило нас вырасти так быстро. Будем держать этот курс и в дальнейшем, и, как обычно – мы всегда в поиске талантливых программистов!

Присылайте свои резюме на hiring@varien.com, больше информации – на странице Вакансии

Предыдущие статьи в серии “Ускоряем Magento”:

• Часть 1 – К чему стремиться
• Часть 2 – Настройка веб-сервера

Целью этих тестов является показать преимущества той или иной конфигурации и настроек. Чтобы обеспечить возможность легко воспроизвести эти тесты или сравнить с другими конфигурациями позднее, мы решили провести тестирование в на виртуальных серверах в “облаке”. Следует заметить, что тесты на “реальном железе” дают намного лучшие результаты, что мы продемонстрируем в следующих статьях, сравнив несколько конфигураций физических серверов и виртуальную среду.

Тесты запускали на серверах в “облаке” Rackspace Cloud Servers – www.rackspacecloud.com. Запускаемые копии серверов использовали базовый образ операционной системы CentOS 5.3 x86_64, предоставляемый сервером (вы сможете выбрать любую другую из более чем 15 различных образов операционных систем). После запуска ОС производилась установка всех обновлений (yum update), устанавливались Apache, PHP и MySQL. Установочные пакеты PHP и MySQL для CentOS взяты из RPM-репозитория Remi – rpms.famillecollet.com. Все тесты проводились на Magento с тремя различными наборами данных – Magento Sample Data (~130 продуктов) и тестовые каталоги с 10 и 80 тысячами продуктов.

При тестировании измерялось количество запросов в секунду, которое может обработать система при запросах к стартовой странице и при запросах в течение “стандартной сессии посетителя”. Список страниц, которые входят в “стандартную сессию посетителя” приведён ниже на странице.

На всех графиках используются следующие обозначения для Magento с каталогами разного размера:

• sd – Magento Sample Data
• 10k – Magento с 10 тысячами продуктов
• 80k – Magento с 80 тысячами продуктов

Каждый тест запускался с разным количеством параллельных потоков – 10, 20, 50 и 100 параллельных подключений.
Для тестирования использовалась утилита siege – www.joedog.org/index/siege-home и набор простых shell-скриптов для запуска тестов в разных конфигураций и обработки полученных результатов.

Список ссылок “стандартной тестовой сессии посетителя” для Magento Sample Data:

BASEURL=http://server.test/
$(BASEURL)
$(BASEURL)electronics/cell-phones.html
$(BASEURL)electronics/cell-phones.html?price=2%2C100
$(BASEURL)electronics/cell-phones.html?price=2%2C100&color=23
$(BASEURL)electronics/cell-phones/samsung-mm-a900m-ace.html
$(BASEURL)checkout/cart/add/product/20/
$(BASEURL)apparel.html
$(BASEURL)cn-clogs-beach-garden-clog.html
$(BASEURL)checkout/cart/
$(BASEURL)checkout/onepage/
$(BASEURL)catalogsearch/result/?q=ink&x=0&y=0
$(BASEURL)apparel.html?cat=17
$(BASEURL)apparel.html?price=1%2C100&cat=17
$(BASEURL)the-get-up-kids-band-camp-pullover-hoodie.html
$(BASEURL)checkout/cart/add/product/39/
$(BASEURL)apparel/shirts.html


Список ссылок тестовой сессии для Magento с 10 и 80 тысячами продуктов:

BASEURL=http://server.test/
$(BASEURL)
$(BASEURL)category-3.html
$(BASEURL)category-3.html?cat=28
$(BASEURL)category-3.html?cat=28&price=2%2C1000
$(BASEURL)category-3/pr15031-50.html
$(BASEURL)checkout/cart/add/product/2489/
$(BASEURL)category-273.html
$(BASEURL)category-273/100-190-b7h.html
$(BASEURL)checkout/cart/
$(BASEURL)checkout/onepage/
$(BASEURL)catalogsearch/result/?q=345&x=0&y=0
$(BASEURL)category-273.html?cat=427
$(BASEURL)category-273.html?cat=427&ab_host=303
$(BASEURL)category-273/r1256ap.html
$(BASEURL)checkout/cart/add/product/1354/
$(BASEURL)category-273/category-309.html


Тестовые наборы данных:

Стандартный набор тестовых данных Magento Sample Data (~130 продуктов) доступен на странице загрузки по адресу www.magentocommerce.com/download

Тестовые базы данных с 10 тысячами и 80 тысячами продуктов можно скачать по следующим ссылкам:

• http://www.magentocommerce.com/downloads/assets/sample-db/magento_10k.sql.bz2
• http://www.magentocommerce.com/downloads/assets/sample-db/magento_80k.sql.bz2

Magento снова сделала это! Мы выиграли награду BOSSIE – ‘Best of Open Source Enterprise Applications (E-Commerce)’ на ежегодном событии Infoworld’s BOSSIE Awards уже второй год подряд! Эти премии “отмечают лучшее бесплатное и open source программное обеспечение, которое предлагается для бизнеса, IT-профессионалов и разработчиков, которые привыкли полагаться на компьютеры для выполнения своей работы.”

Другие победители, избранные редакцией InfoWorld и сотрудниками тестового центра: Compiere, DimDim и аналитический механизм Open Source Piwik. Кроме того, в этом году редакторы Inforworld составили списки 10 лучших в Зале Славы Open Source, а также Лучшее ПО Open Source Software всех времен.

Предыдущие статьи в серии “Ускоряем Magento”:

• Часть 1 – К чему стремиться

Хотя существует несколько способов настройки выполнения PHP-скриптов под Apache: как модуль (mod_php) или как FastCGI/CGI (например, с помощью mod_fastcgi или mod_fcgid), наиболее часто используется все-таки первый (mod_php).

Кроме mod_php в конфигурационном файле Apache по умолчанию включена загрузка почти всех доступных модулей, несмотря на то, что не все их них требуются для работы Magento. Это становится особенно актуально в многосерверной конфигурации, когда различные узлы занимаются выполнением разных задач, и могут быть сконфигурированы для оптимального выполнения конкретной задачи.

Минимально необходимый перечень модулей Apache для работы Magento:

• mod_expires
• mod_deflate
• mod_mime
• mod_dir
• mod_rewrite
• mod_authz_host
• mod_authz_user – может понадобиться для ограничения доступа к тестовой среде с помощью аутентификации по паролям, но редко используется на “боевом” сервере.

*Примечание: Мы рассматриваем настройку веб-сервера только с точки зрения Magento. Если у вас на том же сервере запущены другие веб-приложения, будьте осторожны при использовании приведенных рекомендаций.

Уменьшение количества загружаемых модулей (закомментировав соответствующие строчки “LoadModule” в httpd.conf) позволяет несколько уменьшить объем памяти используемый веб-сервером, что может позволить обрабатывать больше одновременных соединений при том же объеме установленной памяти.

Важным параметром настройки Apache является задание оптимального количества запускаемых процессов Apache. На данный момент режим mpm_worker все еще не может быть рекомендован для безопасного использования совместно с PHP, а процесс создания новых процессов Apache в режиме mod_prefork является “дорогой” операцией. Лучше всего работает создание необходимого количества процессов Apache сразу же при запуске веб-сервера. Это количество может быть определено практическим путем при максимальной загрузке сервера.

Обратите внимание, что значения параметров ServerLimit и MaxClients нельзя увеличивать бесконечно. Они должны иметь значения, выставленные в зависимости от доступного количества физической памяти, для того, чтобы система не начала вытеснять “лишние” процессы Apache в раздел подкачки (что приведет к резкому “проседанию” сервера при увеличении нагрузки до определенного значения).

Параметр MaxRequestsPerChild можно оставить со значением по умолчанию (4000).

Использование пула постоянных соединений (keep-alive) хотя и улучшает скорость получения контента веб-браузером, но под высокой нагрузкой приводит к неоправданному перерасходу ресурсов сервера, поэтому KeepAlive всегда должен быть выставлен в off.

Следующим важным параметром является использование сжатия контента. Несмотря на то, что это немного увеличивает использование вычислительных ресурсов сервера, выигрыш от быстрой отдачи контента броузеру и освобождение процессов для обработки следующих запросов с лихвой компенсируют эти “затраты”. Функциональность по компрессии контента предоставляется модулем mod_deflate. В Magento в файле .htaccess приведены все необходимые директивы для включения компрессии, нужно просто раскомментировать соответствующие строки, чтобы уменьшить время загрузки страниц броузером. Вот пример части .htaccess, которая у вас получится в релузьтате:

    # Insert filter on selected content types only
    AddOutputFilterByType DEFLATE text/html text/plain text/xml text/css text/javascript

    # Netscape 4.x has some problems...
    BrowserMatch ^Mozilla/4 gzip-only-text/html

    # Netscape 4.06-4.08 have some more problems
    BrowserMatch ^Mozilla/4\.0[678] no-gzip

    # MSIE masquerades as Netscape, but it is fine
    BrowserMatch \bMSIE !no-gzip !gzip-only-text/html

    # Don't compress images
    SetEnvIfNoCase Request_URI \.(?:gif|jpe?g|png)$ no-gzip dont-vary

    # Make sure proxies don't deliver the wrong content
    Header append Vary User-Agent env=!dont-vary

Кроме того, можно избежать дополнительных затрат по сканированию всех директорий в пути к запрашиваемому скрипту или файлу, внеся все параметры из файлов .htaccess в основной httpd.conf файла в соответствующие разделы <Directory>.

И, в качестве дополнительного штриха, если вы используете программный балансировщик (например nginx) в многосерверной конфигурации, можно переложить на него все функции по ведению логов доступа. Это позволит снизить дисковую активность на бек-эндах Apache.

Новое видео рассказывает о групповых продуктах и о том как работать с изображениями в Magento.

Как всегда, видео в лучшем качестве можно скачать здесь.