Немного предыстории: с самого начала видеохостинга у меня ffmpeg был просто втупую поставлен через менеджер пакетов — apt-get install ffmpeg .

Однако со временем я пришел к тому, что версия сильно устаревает (например текущая сборка в lenny датируется маем 2009 года — почти год назад), а версию из sid не всегда удается корректно собрать, и с этим надо что-то делать.

А что делать? Да взять и собрать себе ffmpeg из официального svn. Так и поступим.

Подготовка

Для начала рекомендую удалить ffmpeg, если он уже установлен. В случае менеджера пакетов apt:

apt-get remove ffmpeg

Если собирали из исходников — достаточно удалить сам бинарник, найдя его через whereis ffmpeg.

После этого нам понадобиться скачать себе файлы из svn ffmpeg (предполагаю, что svn уже установлен в системе, если нет — надо сначала поставить):

svn checkout svn://svn.ffmpeg.org/ffmpeg/trunk ffmpeg

ну или же, если используется git:

git clone git://git.ffmpeg.org/ffmpeg/
cd ffmpeg
git clone git://git.ffmpeg.org/libswscale/

Настройка, сборка и установка

Переходим в папку ffmpeg, слитого с репозитория:

cd ffmpeg

Для установки ffmpeg нужно запустить ./configure с нужным набором ключей. У меня, как думаю и у многих, одной из проблем было какие ключи нужны. Методом проб и ошибок я пришел к такой команде:

./configure –prefix=/usr –libdir=/usr/lib –shlibdir=/usr/lib –bindir=/usr/bin –incdir=/usr/include/ffmpeg –enable-libx264 –enable-postproc –enable-libxvid –enable-pthreads –enable-libvorbis –enable-libfaad –enable-gpl –enable-x11grab –enable-shared –enable-libmp3lame –enable-libtheora –enable-libfaac –enable-libfaad –enable-nonfree –enable-libopencore-amrnb –enable-libopencore-amrwb –enable-libgsm –enable-version3 –enable-avfilter –enable-libspeex –enable-zlib –enable-libschroedinger –disable-encoder=libschroedinger –enable-libdc1394 –disable-mmx –disable-stripping –enable-libdirac –disable-decoder=libdirac –disable-altivec –disable-armv5te –disable-armv6 –disable-vis –enable-avfilter-lavf –enable-libopenjpeg –extra-cflags=-Wall –cc=ccache cc –enable-swscale

Однако это еще не все. Чтобы Makefile сделался с таким набором ключей еще прийдется попотеть, а именно доставить все то, что он потребует (если в системе еще нету). Как правило после запуска конфигуратор скажет что-то типа:

FAAD test failed

Это означает, что нужно установить libfaad, что делается довольно просто:

apt-cache search libfaad
apt-get install libfaad-dev libfaad0

Сообщения могут быть разными, но суть одна и та же — как правило чего-то не хватает (например -dev библиотеки) и это нужно поставить. Большинство проблем решаются с помощью обычного репозитория для lenny и apt-get install.

Но не все ;P

Исключением будут, как правило, ключи:

1. –enable-libopencore-amrnb –enable-libopencore-amrwb
2. –enable-libx264
3. –enable-libtheora

С этими библиотеками так просто не выйдет. Но тоже решаемо. Разберемся с ними:

1. –enable-libopencore-amrnb –enable-libopencore-amrwb

Ранее этих ключей не было, они пришли на замену –enable-libamr-nd –enable-libamr-wb с июля 2009. Информация с официального сайта:

FFmpeg has removed support for libamr as of svn revision 19365. It has been replaced with support for libopencore-amr. Naturally the configure options have changed. The libamr options have been removed and there are two new options to take their place:

* –enable-libopencore-amrnb
* –enable-libopencore-amrwb

The reason for this change is that the libamr license was non-free, while libopencore-amr is licensed under an Apache 2 license. The change was discussed at length on the developer mailing list during May, June, and July. This has several effects:

* You may now distribute FFmpeg builds with support for dynamically loading libopencore-amr
* Support for AMR-WB encoding has been removed since libopencore-amr does not support it

Это означает, что поддержки из свн данной библиотеки нету. И что самое интересное, пакета нет и через установку с помощью apt (вроде есть в sid, но у меня не поставилось из него, куча побитых зависимостей и т.д.), поэтому сделаем иначе — скачаем исходники отсюда и собираем вручную через:

./configure
make
make install

Я собирал этот исходник на трех машинах, почти одинаковых и вот такие грабли иногда возникали:

1.

configure: error: c++ compiler cannot create executables

Лечиться либо через apt — «apt-get install build-essential», либо через установку g++ любым удобным вам способом.

2.

unable to guess system type

This script, last modified $timestamp, has failed to recognize
the operating system you are using. It is advised that you
download the most up to date version of the config scripts from

http://git.savannah.gnu.org/gitweb/?p=config.git;a=blob_plain;f=config.guess;hb=HEAD
and
http://git.savannah.gnu.org/gitweb/?p=config.git;a=blob_plain;f=config.sub;hb=HEAD

If the version you run ($0) is already up to date, please
send the following data and any information you think might be
pertinent to in order to provide the needed
information to handle your system.

Лечиться через дополнительный ключ к ./configure (зависит от вашей архитектуры, у меня i686, свою узнать можно через uname -a)

./configure –build=i686

Других проблем мною не было замечено. После установки данной библиотеки ffmpeg будет собираться с поддержкой их (они предназначены для перекодировки видео с мобильных телефонов — 3gp и другие подобные форматы).

2. –enable-libx264

Как правило требуется установить libx264. Но даже если библиотека установлена, всеравно можно получить сообщение, о том, что библиотека довольно старая и требуется версия не ниже 0.83 (которой естественно в ветке lenny нету).

Не стоит отчаиваться, делаем следующее:

mcedit /etc/apt/sources.list

и заменяем строку

deb http://www.debian-multimedia.org lenny main

на

deb http://www.debian-multimedia.org sid main

После чего делаем

apt-get update

и 

apt-cache search libx264

где и увидим нужное:

libx264–83 — x264 video coding library

Все, можно ставить:

apt-get install libx264–83 libx264-dev

и вопрос с данным ключем на этом тоже решен. После установки библиотеки рекомендую вернуть в souces.list строку в изначальное положение (тоесть вернуть lenny) и выполнить apt-get update, чтобы ставить стабильные версии пакетов.

3. –enable-libtheora

Тут тоже запущенный вариант, т.к. apt-get install libtheora0 тут не поможет, т.к. в менеджере пакетов для lenny лежит очень старая версия библиотеки и даже ее установка не поможет — конфигурационный скрипт будет упорно твердить что «libtheora not found».

Но наша нигде не пропадала, поэтому опять открываем sources.list и меняем строку

deb http://ftp.ua.debian.org/debian/ lenny main

на

deb http://ftp.ua.debian.org/debian/ sid main

и делаем apt-get update. После чего apt-cache search libtheora. Если все хорошо, то найдет такое:

libtheora-dbg — The Theora Video Compression Codec (debug)
libtheora-doc — The Theora Video Compression Codec (documentation)
libtheora-ocaml — OCaml interface to the theora library
libtheora-ocaml-dev — OCaml interface to the theora library
libtheora-dev — The Theora Video Compression Codec (development files)
libtheora0 — The Theora Video Compression Codec
libtheora-bin — The Theora Video Compression Codec (example encoder, decoder)

Ставим выделенное жирным:

apt-get install libtheora-dev libtheora0 libtheora-bin

После этого конфигурационный скрипт больше не будет матюкаться на libtheora.

Больше по идее проблем с конфигурацией не должно возникать. После этого ./configure с указанными выше ключами должен успешно выполниться (если все библиотеки доставлены), и можно делать

make

Тут иногда возможны варианты. Например не собирается, ругается на что-то. Как правило это связано с изменениями файлов репозитории разработчиками. Например кто-то закоммитил несобираемую версию. Лечиться чаще всего — банальным обновлением до последней ревизии и make distclean (после этого нужно пройти процесс конфигурации заново, запустив ./configure с ключами заново). Если же обновления нет еще или проблема не устраняется — стоит попробовать обновиться до более старой ревизии.

Иногда проскакивают разного рода глюки компиляции, когда выводит какую-то ошибку. У меня такое пару раз бывало — не стоит пугаться, просто стоит набрать еще раз make, повторно, как правило, не выдает, если это не что-то серьезное, по типу несоответствия библиотек и т.д.

Процесс сборки make занимает некоторое продолжительное время, от 10 до 30 минут, в зависимости от мощности машины, где это запущено.

Если все хорошо, можно делать

make install

После этого стоит проверить, все ли хорошо, выполнив команду:

ffmpeg

Если установка успешна, вы должны увидеть что-то подобное моему выводу:

FFmpeg version SVN-r21796, Copyright © 2000-2010 Fabrice Bellard, et al.
built on Feb 21 2010 14:55:21 with gcc 4.3.2
configuration: –prefix=/usr –libdir=/usr/lib –shlibdir=/usr/lib –bindir=/usr/bin –incdir=/usr/include/ffmpeg –enable-libx264 –enable-postproc –enable-libxvid –enable-pthreads –enable-libvorbis –enable-libfaad –enable-gpl –enable-x11grab –enable-shared –enable-libmp3lame –enable-libtheora –enable-libfaac –enable-libfaad –enable-nonfree –enable-libopencore-amrnb –enable-libopencore-amrwb –enable-libgsm –enable-version3 –enable-avfilter –enable-libspeex –enable-zlib –enable-libschroedinger –disable-encoder=libschroedinger –enable-libdc1394 –disable-mmx –disable-stripping –enable-libdirac –disable-decoder=libdirac –disable-altivec –disable-armv5te –disable-armv6 –disable-vis –enable-avfilter-lavf –enable-libopenjpeg –extra-cflags=-Wall –cc=ccache cc –enable-swscale
libavutil 50. 9. 0 / 50. 9. 0  libavcodec 52.54. 0 / 52.54. 0  libavformat 52.52. 0 / 52.52. 0  libavdevice 52. 2. 0 / 52. 2. 0  libavfilter 1.17. 0 / 1.17. 0  libswscale 0.10. 0 / 0.10. 0  libpostproc 51. 2. 0 / 51. 2. 0
Hyper fast Audio and Video encoder
usage: ffmpeg [options] [[infile options] -i infile]… {[outfile options] outfile}…

Use -h to get full help or, even better, run ’man ffmpeg’

Ключевые моменты выделены жирным.

Также бывают проблемы на разных архитектурах, когда установка прошла успешно, но ffmpeg выводит не то, что я показал выше, а сообщения по типу:

libavformat.so.52: no version information available (required by ffmpeg)

Пришлось поморочиться, но в итоге я нашел решение.

Дело в том, что процесс установки менеджера пакетов почему-то иногда ставит библиотеки в /usr/lib/i686/cmov , чем перебивает библиотеки из /usr/lib и /usr/local/lib .

Лечится банально — копируем 3 файла из папки, куда установил либы ffmpeg (зависит от конфигурации в ./configure). В моих ключах можно заметить, что библиотеки пошли в /usr/lib/.

Отлично, копируем libavformat.so libavformat.so.52 libavformat.so.52.52.0 из этой папки в папку /usr/lib/i686/cmov/

После этого радуемся жизни с ffmpeg ;P

Вместо заключения

Приятного использования свежей версии ffmpeg!

Мне она помогла устранить пару багов с перекодированными видео, которые оставляла предыдущая версия, установленная через менеджер пакетов.

Есть вопросы? Пишем в комментариях, не стесняемся, помогу, чем смогу.

И некоторое время назад стал постепенно больше переходить на удаленную работу, т.к. начал пробовать себя на иностранных биржах. А там чаще всего — либо постоянная работа, либо такие мелочи, что даже браться не хочется и тратить свое время на это.

Проектов же, на 3–4 месяца, как я обычно привык брать ранее — на них почти нету, либо мало (как правило это что-то по типу «нужен сайт», но бывают и исключения). Поэтому остаются только длительные проекты, а это, как правило, работа в удаленной команде и довольно длительные проекты (например, над проектом Solve’360, в котором я работал 3.5 месяца в прошлом году — работа еще далеко не закончена, люди работают, а проект растет).

Но суть не в проектах. Главным минусом для меня, в принципе прогнозируемо, стала проблема работы «с 9 до 18». Это не проблема конечно же, но за 4 года фриланса я совсем отвык от работы по такому графику, поэтому некоторое время пришлось «вливаться» — сейчас уже нормально, но осадок остался, для себя сделал отметку, еще раз, что работа по графику мне не нравится, т.к. я человек любящий свободу. Могу поработать с утра 4 часа, потом где-то с 18 до 24, к примеру — в итоге те же 8 часов.

Однако, в удаленной работе так уже не получиться, т.к. команда работает в одно время и если кто-то один будет выпадать из графика — будут проблемы, недовольства и т.д. В итоге, скорее всего, человека заменят.

Основные же плюсы: интересные проекты и постоянная высокая оплата в валюте раз в месяц. Что в условиях ситуации в стране весьма и весьма неплохо.

Заметил, что иностранцы чаще делают что иностранцы много проектов делают с помощью удаленных сотрудников, у нас же пока удаленный труд считается не очень классным и не очень качественным (в принципе тому есть причины разные, углубляться не буду, т.к. отдельный разговор).

Вот такие вот соображения.

Самое смешное, что когда работал над проектом Solve’360, на канадскую фирму Norada (в прошлом году), то весь день до 5 вечера у меня был свободен, т.к. в это время у заказчика в Калгари только наступало утро и он просил в это время быть онлайн, и проблем с работой по временным рамкам не было. И я не ощущал, чтобы они на меня давили, как это происходит сейчас.

Ирония судьбы — наверное я просто сова, вечером мне работать привычнее и удобнее.

—————-
P. S. И еще меня на днях посетила одна идея, и я задался вопросом: что мешает кому-то сделать в рунете биржу, которая будет работать по схожей схеме с Odesk? Это сразу же повысит надежность фрилансеров в глазах заказчиков, т.к. они будут видеть что делается и делается ли вообще.

Постараюсь немного рассказать о нем с наглядными примерами и настройкой.

Sphinx (SQL Phrase Index) — полнотекстовый поисковой движок, опубликованный под лицензией GPLv2, что дает возможность его бесплатного использования в своих проектах.

Сразу же возникает вопрос — «чем же Sphinx отличается от других поисковых движков и почему именно его стоит использовать?»

Кроме всех достоинств Sphinx (быстрая индексация, поддержка MySQL и PostgreSQL, морфология и т.д.) я бы отметил еще такие особенности, как распределенный поиск (возможность размазывать поисковой движок на несколько машин) и довольно широкое использование движка в hiload проектах (к примеру на Habrahabr и т.д.).

Я много слышал о Sphinx, но до этого не было повода и надобности в его использовании. Однако времена меняются.

Я уже рассказывал про создание видеохостинга своими руками . В один прекрасный день встал вопрос поиска по базе видеофайлов. До этого использовался гуглопоиск, но его качество оставляло желать лучшего в плане поиска по видео, несмотря на то, что Sitemap для video.google.com был скормлен.

Поэтому я задался вопросом создания поиска по видео. Естественно, изобретать велосипед мне не хотелось (писать поиск с нуля), поэтому начал смотреть на готовые решения и вспомнил про Sphinx. Почему бы и нет? Познакомиться с новой для себя технологией, заодно решить задачу.

Сказано — сделано. Начал изучать документацию. Сначала вообще мало что было понятно.

Установка

Начал отсюда — http://www.sphinxsearch.com/docs/manual-0.9.9.html#quick-tour , поставил себе sphinx (у меня там Fedora):

yum list | grep sphinx
yum install sphinx.x86_64

Конфиг

Дальше отредактировал конфиг, предварительно скопировав его с директории установки и переименовав в sphinx.conf (тут довольно много времени пришлось убить на ознакомление с документацией и правильной настройки конфига. В итоге получилось такое:

# Minimal Sphinx configuration sample (clean, simple, functional)
#

source video
{
type = mysql

sql_host = localhost
sql_user = myuser
sql_pass = mypass
sql_db = mydb
sql_port = 3306 # optional, default is 3306 sql_query_pre = SET NAMES utf8 sql_query_pre = SET SESSION query_cache_type=OFF

sql_query = \
SELECT `desc`, `longdesc`, \
(SELECT count(`id`) FROM `comments` WHERE `item_id` = v.`video_id`) as comments, \
UNIX_TIMESTAMP(`date`) AS date_added, `views` as views \
FROM video v WHERE `decoded` = ’1’ AND `deleted` = 0 
sql_attr_uint = comments
sql_attr_uint = views
sql_attr_timestamp = date_added
}

index video
{
source = video
path = /var/lib/sphinx/video
docinfo = extern
charset_type = utf-8
charset_table = 0..9, A..Z->a..z, _, a..z, U+410..U+42F->U+430..U+44F, U+430..U+44F
enable_star = 1 min_prefix_len = 5 html_strip = 1 prefix_fields = desc, longdesc
morphology = none
}

indexer
{
mem_limit = 32M
}

searchd
{
port = 3312 log = /var/log/sphinx/searchd.log
query_log = /var/log/sphinx/query.log
read_timeout = 5 max_children = 30 pid_file = /var/run/sphinx/searchd.pid
max_matches = 1000 seamless_rotate> = 1 preopen_indexes = 0 unlink_old = 1 }

В принципе все довольно стандартно, главное было подобрать параметры «под себя». Про все параметры можно прочесть в документации, поэтому по ним пробегусь довольно коротко:

sql_query_pre = SET NAMES utf8  sql_query_pre = SET SESSION query_cache_type=OFF

Эта часть означает, что мы делаем два предварительных запроса к базе до выполнения основного запроса на выборку данных, в которых выставляет кодировку utf8 для считываемых данных и отключаем кеширование запросов.

charset_type = utf-8
charset_table = 0..9, A..Z->a..z, _, a..z, U+410..U+42F->U+430..U+44F, U+430..U+44F

Для правильного поиска по индексу выставляем индексатору правильную кодировку данных и список допустимых символов в этой кодировке (куда, кстати, попадают и русские буквы)

enable_star = 1  min_prefix_len = 5  html_strip = 1  prefix_fields = desc, longdesc

Включаем префиксирование до 5 символов для полей desc, longdesc и вырезаем все хтмл-символы. Теперь, запрашивая что слово «шевч*» (со звездой в конце — именно это означает enable_star) — мы сможем найти слова, начинающиеся с «шевч» и имеющие от 1 до 5 символов после, например «шевченко» или «шевчук» и т.д.

Проверка работоспособности и сron

Т.к. конфиг создан, самое время проверить, что он правильно работает и в нем нет ошибок. Для этого в консоли набираем вот такое:

indexer video –rotate

Результат будет подобен этому, если с конфигом все хорошо:

Sphinx 0.9.8.1-release (r1533)
Copyright © 2001–2008, Andrew Aksyonoff

using config file ’/etc/sphinx/sphinx.conf’…
indexing index ’video’…
collected 4549 docs, 0.3 MB
sorted 0.1 Mhits, 100.0% done
total 4549 docs, 308441 bytes
total 0.401 sec, 768480.12 bytes/sec, 11333.82 docs/sec
rotating indices: succesfully sent SIGHUP to searchd (pid=31147).

Параметр «–rotate» задан всего-лишь потому, что демон searchd у меня уже запущен и без него данные невозможно будет обновить, т.к. файлы залочены. Если у вас демон еще не запущен после установки, параметр просто опустите.

Если ошибок нету и индекс создался — самое время запустить демон, если еще не запущен (/etc/init.d/searchd start) и занести индексацию данных в крон (я поставил обновление индекса раз в 30 минут):

30 * * * * /usr/bin/indexer –rotate video > /dev/null 2>&1

Остается проверить, что поиск работает правильно. Для этого в консоли опять же следует набрать что-то типа такого:

search lol

и получим такой результат:

Sphinx 0.9.8.1-release (r1533)
Copyright © 2001–2008, Andrew Aksyonoff

using config file ’/etc/sphinx/sphinx.conf’…
index ’video’: query ’lol ’: returned 2 matches of 2 total in 0.000 sec

displaying matches:
1. document=1501, weight=1, comments=0, rating=0, date_added=Thu Oct 22 12:57:55 2009, views=406 2. document=2502, weight=1, comments=2, rating=4, date_added=Mon Nov 30 11:18:40 2009, views=415 words:
1. ’lol’: 2 documents, 2 hits

Отлично — найдено два совпадения, значит поиск работает правильно.

Sphinx и PHP

Т.к. поиск работает — остается теперь запрашивать данные у демона из PHP и выводить результаты. Для этого есть два пути — использовать PHP API просто делая инклуд его в код или установить расширение из pecl (php-pecl-sphinx.x86_64).

Я решил не тягать за собой код и поставить расширение — «взула и забула». Как обычно — yum install php-pecl-sphinx.x86_64 и через пару секунд расширение уже установлено и работает.

Дальше все просто — читаем мануал отсюда — http://php.net/sphinx и пишем в нужном месте обращение к демону searchd:

$s = new SphinxClient;
$s->setMaxQueryTime(3);
$s->setSortMode(SPH_SORT_RELEVANCE);
$s->setMatchMode(SPH_MATCH_ANY);
$result = $s->query($query);

Код довольно тривиален и призван лишь показать пример элементарного использования. Естественно, сюда можно добавить лимитирование (setLimits) и другие вкусные вещи на ваше усмотрение — в этом вам поможет документация с указанного выше раздела.

Замечание: запрос к sphinx возвращает всего-лишь набор айди (как правило — primary key) записей в таблице, которые удовлетворяют заданному поиску. Вам нужно будет доставать данные из базы самостоятельно после получения результата от демона (в этом вам поможет запрос SELECT * FROM documents WHERE id IN (3,5,7) ORDER BY FIELD(id,3,5,7), модифицированный под ваши надобности).

Заключение

Данный обзор не претендует на полноту и носит лишь ознакомительный характер для демонстрации базовой установки и настройки sphinx для ваших надобностей.

Автор готов оказать помощь (в пределах своих знаний) в комментариях для тех, кто столкнулся с какими-либо проблемами при установке и настройке Sphinx.

Личное мнение автора — движок очень легкий, приятный в использовании и не требует долгих танцев с бубном над собой для приведения «в чувство».

———————————————————————————————–

P. S. Совсем недавно открылся сайт школы фриланса, к созданию сайта которой я приложил свою руку. Проект работает на базе маленькой CMS системки, которую я создал с помощью Zend Framework.

P. P. S. Написал анонс нового проекта школы фриланса — «стенка на стенку» на freelancehack.ru. Знаю, меня читают фрилансеры, возможно заинтересует.

Писать велосипеды не желалось, поэтому решил посмотреть в сторону Sphinx, как быстрого движка с открытыми исходниками.

Удалось привинтить к проекту, постараюсь написать в следующей заметке детальнее с чем его едят и «нахуано самбреро».

А вы уже использовали ?

В проекте, в котором я сейчас работаю, все построено на Zend Framework + JQuery. Соответственно приходиться сталкиваться теперь довольно часто с jQuery.

Вчера мне понадобилась там одна фишка: нужно было получить данные через Ajax запрос и дальше сделать с ними некоторые манипуляции (обрезание строки и т.д, не суть важно) и вывести клиенту.

Недолго думая, была сделана такая конструкция:

$.getJSON(’<?=$this->newsLetterUrl(’content-start’)?>/’,
 { load_eds_data: 1, idpage: $(’#eds_ref-key’).val(), ajax: ’true’},
 function(data) {
 subTitle = ’Dates: ’+data.date_text + ’ Venue: ’ + data.xvenue;
 });

Удивление наступило позже, когда я понял, что переменная subTitle не видна после этого и не доступна.

Полез в гугл, начал искать, что ж это за фигня получается, что нельзя в переменную записать данные после ajax запроса.

Оказалось, что проблема … в асинхронности запроса $.getJson и для того, чтобы получить нужное мне, конструкцию надо заменить на такую:

$.ajax({
 async: false,
 data: { load_eds_data: 1, idpage: $(’#eds_ref-key’).val(), ajax: ’true’},
 dataType : «json»,
 url: ’newsLetterUrl(’content-start’)?>/’,
 success: function(data) {
 subTitle = ’Dates: ’+data.date_text + ’ Venue: ’ + data.xvenue;
 }
});

указав таким образом, что нам нужен неасинхронный запрос. Теперь переменная subTitle видна поза данной конструкцией! И ее можно использовать дальше, как угодно.

Самое интересное, что в prototype таких проблем у меня вообще не возникало. Видимо связано с особенностями реализации библиотеки.

Возможно кому-то пригодится, когда столкнетесь с подобной задачей.

Сегодня выдалось свободное время, решил немного написать сюда.

Итак, социальные сети. Я считаю, что социальных сетей уже чуть более, чем дохуя слишком много на сегодняшний день и поезд создания социальных сетей ушел еще в 2005–2006 году, все социалки, которые были созданы позднее или создаются еще сегодня — чаще всего не имеют будущего. Максимум — стать лидером своего региона.

К примеру, социальная сеть «Коннект» (connect.ua) — была запущена в 2007 году, с опозданием, когда украинская часть аудитории уже использовала во всю vkontakte.ru и, фактически, рынок уже был забит. Однако ребята всеравно запустили проект, хотя лично я, еще тогда, говорил Сергею (Коркину), что конкурировать с существующими сетями будет почти бесполезно.

Сегодня первые дни 2010 года, проекту (коннекту) стукнуло недавно 2 года со времени запуска. Проект до сих пор не набрал еще миллиона аккаунтов, хотя и вышел на самоокупаемость. Каким образом? Довольно простым — превратили социальную сеть в сайт знакомств, аналогично мамба.ру и подобным — с подарочками, отметками фотографий и прочего. Ребята поняли, что будущего нет в социальной сети и пользователям она просто даже не нужна. Уже сейчас там трудно кого-то найти (впрочем и ранее так было), т.к. пользователей, которые имеют там реальные имя, фамилию и фотографию — очень мало. Большинство анкет закрыто, имена и фамилии изменены на произвольные логины и т.д.

Однако радует, что руководители проекта вовремя поняли, что социальная сеть — путь в никуда и нужно менять направление проекта.

Одно время я следил за статистикой проекта: она доросла до 40К уников и миллиона хитов в день и ..встала на месте. Где-то полгода ничего не менялось, до тех пор, пока не было введено понятие «валюты» внутри проекта, которую можно было получить за разного рода активность на проекте: голосования, посещения и т.д. Подросло количество хитов. А вот уники так и не растут, до сих пор.

Если посмотреть сюда — http://top.bigmir.net/report/16789479/, то станет еще понятнее: сайт зарегистрирован в разделе «Знакомства».

Проект перепрофилировался — стал сайтом знакомств. Последнее обновление (точнее открытие подпроекта «Лента») должно очертить еще более четко миссию проекта — в ленту будут вынесены фотографии, видео, музыка, таким образом сам коннект останется набором анкет, подарочков, оценок аватар, ну и личной переписки (куда же без нее в сайтах знакомств). Причина довольно банальна, достаточно почитать интервью Сергея:

Разделами фото, видео, аудио, сообщества пользуются не более 10–15% пользователей. Мы планируем заменить их на те, которые понравятся большинству нашей аудитории. В данном случае разделы только мешают — распыляют внимание пользователей, усложняют техническую поддержку, размывают позиционирование.

Таким образом — большинство использует сайт только для знакомств и ничего кроме.

А ты,  %username%, тоже хочешь потерять кучу времени и создать очередную никому не нужную социальную сеть? Или может задумаешься и сделаешь что-то более полезное?

У каждого языка для веб-разработок есть свой фреймворк или даже несколько. Каким пользуетесь вы и почему?

Скажу за себя — для всех более-менее увесистых проектов (больше хоумпага) я использую Zend Framework, впрочем использую его уже давненько, первым проектом на нем был — http://prometr.ua , сделанный в командной работе (хотя откровенно говоря я принял в нем довольно малое участие, но все же).

С тех пор мне данный фреймворк понравился и я продолжаю работать с ним.

А вы на чем работаете и почему?

Все, что я дальше напишу — мой личный опыт и возможно не является доскональным решением вопроса и есть другие, более оптимальные (возможно даже в комментариях отметятся люди, которые знают как сделать лучше — буду благодарен).

Медиа-контент сегодня довольно популярен, несмотря на то, что на рынке пруд-пруди видеохостингов, есть место для небольших видеохостингов, которые могут вполне себе неплохо жить и иметь свою аудиторию.

Вопрос создания веб-морды я пропущу, т.к. тут ничего сложного нет, нужно лишь продумать интерфейс и выбрать флеш-плеер для проигрывания видео.

Основная сложность, как на меня, это закачка, обработка и отдача видео.

Закачка видео

Основная задача и проблема, как на меня тут следующая: загрузка видео (как впрочем и его отдача) не должна тормозить работу веб-морды проекта. Следовательно, понадобиться две машины — одна будет содержать морду проекта, вторая будет отвечать за загрузку видео и его отдачу.

Одну машину называем host.ru, вторую upload.host.ru и используем технологию (звучит пафостно, но это не технология совсем, так, умное название) CDS — Cross Domain Scripting (больше об этом можно узнать в гугле). Это позволит нам с помощью javascript, отправлять запрос на upload.host.ru, а он, в свою очередь, благодаря CDS будет иметь возможность вызывать куски JavaScript-кода на host.ru, таким образом мы сможем мониторить процесс закачки, не используя для этого flash.

В качестве серверной части, которая будет отдавать информацию о процессе закачки я выбрал расширение — uploadprogress для пхп. Расширение стабильное, а следовательно можно использовать в работе и не переживать о багах. Примеры использования приводить не буду — думаю пытливый читатель найдет в гугле.

Таким образом все счастливы — пользователь видит информацию о прогрессе загрузки видео, веб-морда при этому работает в обычном режиме и не получает нагрузки, вторая машинка успешно загружает себе видео от пользователя напрямую.

Все это я решил использовать для того, чтобы не разносить вебморду проекта на две машины, что неудобно для девелопмента и синхронизации.

Обработка видео

При обработке видео стоит вопрос, как правильно обрабатывать видео, чтобы не ужимать его чрезмерно.

Машинка, которая называется upload.host.ru имела на борту у себя операционную систему Debian. На ней с помощью apt’a было установлено FFMpeg и Mencoder в качестве конвертеров для обработки видео.

Видео после того, как заливалось пользователем, складывалось в отдельную папку, откуда забиралось скриптом, который раз в минуту проверял список необработанных видео (у обработанных видео добавлялся префикс .processed в названии) и забирал на обработку.

Скрипт был написан на перле, администратором, который помогал мне все это добро настроить. Впоследствии я уже только занимался модификацией данного скрипта (заодно и о перле немного больше узнал).

Основная проблема с обработкой видео состояла в том, чтобы подобрать правильные ключи к конвертеру, которые будут обеспечивать максимально «правильную обработку» и перекодировку видео. Под наиболее правильной я понимаю такую, которая не будет увеличивать размер видео в результате перекодировки, будет уменьшать разрешение видео, если оно слишком большое и будет правильно его конвертировать. Т.к. я до этого вообще никакого понимания о видео и его особенностях и форматах толком не имел, для меня это стало основной головной болью, т.к. часто получалось, что либо видео не обрабатывалось, либо увеличивалось в размере, либо глючило (видео не совпадало с аудио), либо тормозило при проигрывании (разрешение при декодировке не было изменено, поэтому так происходило).

Во многих туториалах советую указывать битрейт видео при декодировании. Однако нельзя указывать тупо битрейт, не зная текущий битрейт видео. Например пользователь заливает видео с YouTube, которое имеет битрейт 68К. Тогда нужно сначала определить битрейт видео и только потом принять решение, в какой битрейт его кодировать. Я выбрал такую стратегию при кодировке видео:

• Если битрейт видео больше 1024К, то видео кодируем в два битрейта — 128К и 1024К (для обладателей разных каналов по скорости интернет)
• Если битрейт больше 128K, но меньше 1024K, то кодируем только в 128К
• Если битрейт ниже 128К, то битрейт не меняем и используем ключи к ffmpeg такие «-sameq -vcodec copy». Где первый ключ говорит, что при кодировании нужно сохранить тоже качество видео, что и у исходного файла, а второй говорит, что нужно скопировать кодек для кодирования из исходника.

Определить текущий битрейт видео можно довольно просто (не забудьте только поставить mplayer в системе), запустив следующую команду в консоли:

mplayer $wrkfile -identify -vo null -nocache -nolirc -nojoystick
-channels 6 -loop 1 -frames 1 | grep ID_VIDEO_BITRATE

Бывают случаи, когда mplayer не определяет битрейт видео, либо ставит его равным 0, тогда для определения битрейта можно воспользоваться утилитой ffprobe (установить можно через apt-get install ffprobe). Команда следующая:

ffprobe -show_files $wrkfile | grep bit_rate

$wrkfile — полный путь к видеофайлу, информацию о котором мы хотим получить.

Аналогичными командами можно получить и разрешение текущего видео:

mplayer $wrkfile -identify -vo null -nocache -nolirc -nojoystick
-channels 6 -loop 1 -frames 1 | grep ID_VIDEO_WIDTH

mplayer $wrkfile -identify -vo null -nocache -nolirc -nojoystick
-channels 6 -loop 1 -frames 1 | grep ID_VIDEO_HEIGHT

по которым можно принять решение, нужно ли менять разрешение видео. Я для себя решил, что видео буду конвертировать с разрешением 640 на 480, если закачанное видео больше этого разрешения.

После получения исходных данных о видео — можно его кодировать, указав правильные ключи для тех вещей, которые мы меняем. Вы можете о ключах узнать в руководстве к конвертерам, либо я более подробно опишу процесс конвертации в последующих заметках на эту тему, если будет нужно (или если попросят раскрыть тему полнее).

Все, теперь остается сгенерировать превьюшку-картинку для видео. Для этого можно использовать следующую команду из консоли:

ffmpeg -ss $seconds -i $outfile -vcodec mjpeg -vframes 1 -an
-f rawvideo -s $thumb_size preview.jpg

Данная команда сгенерирует картинку в формате jpeg для указанной секунды ($seconds) обработанного видео ($outfile) указанного размера ($thumb_size — в формате 160×120). Таким образом можно сделать несколько картинок-превьюшек для видео и сделать что-то по типу «карусели» при наведении пользователем мыши на изображение, показав ему, о чем видео с помощью картинок.

На этом обработка видео завершена, данные можно записывать в базу с флагом, что видео обработалось.

Отдача видео

С этим вопросом я тоже не стыкался до этого в целом. Решено было отдавать видео пользователям посредством Nginx, как веб-сервера. Он позволяет ограничить скорость потока отдачи (мы поставили отдачу в 2М, как лимит), кроме того более оптимально работает, чем апач для этих целей. Более подробно о Nginx можно узнать опять же, в гугле.

Настроив домашнюю директорию, куда складируются обработанные видео, теперь можно отдавать видеофайлы в наш выбранный флеш-плеер.

Отдельным вопросом стоит вопрос псевдо-стриминга, технологии (если ее так можно назвать), которая позволяет пользователю смотреть видео с любого момента, не дожидаясь загрузки файла до этого фрагмента. Например сразу перескочить в конец файла и посмотреть его, не загружая целиком. Очень удобно.

Для решения этой задачи, опять же, использовался Nginx, т.к. он уже содержит готовый модуль для этих целей — http://sysoev.ru/nginx/docs/http/ngx_http_flv_module.html (при условии, что мы отдаем конент в формате flv. Но можно отдавать и в mp4, плагин для псевдостриминга для mp4 для nginx тоже есть — http://wiki.nginx.org/NginxMP4StreamingLite (вполне возможно есть и другие решения)

————————————————————————————

На этом все или пока что все. Или почти все. Т.к. это только очень краткое описание того, что нужно сделать, чтобы поднять свой видеохостинг. В следующий раз постараюсь описать каждый из этапов по-подробнее, возможно кому-то пригодиться в будущем.

Если есть вопросы — пишите, постараюсь ответить, если буду знать ответ и будет время.

P.S. Про HTML5 и Theora можете не спрашивать, активно слежу за развитием в данной области, надеюсь, что скоро вообще не нужно будет использовать сторонние флеш-плееры и видео будет нужно конвертировать только в .ogv. Но пока, на сегодняшний день, технология еще сыровата, есть много проблем с ней, поэтому надеюсь, что скоро все поменяется в лучшую сторону, т.к. предпосылки к этому есть — Firefox уже поддерживает возможность проигрывание видео в HTML5, есть возможность переключения в полноэкранный режим и т.д. Но еще много чего нету. Жду.

Пришлось во многих вещах поразбираться, в том числе с перекодировкой видео, импортами для Яндекс.Видео и Гугл.Видео и т.д.

На днях постараюсь написать, что из этого вышло и как вы можете сделать себе аналогичный проект (что понадобиться, как правильно настроить и т.д.).

Возможно у кого-то будут более конкретные пожелания и вопросы — пишите, постараюсь высветить вопрос, если пришлось столкнуться.

Итак, следующая заметка будет на тему создания своего видеохостинга «с нуля». Следите за обновлениями.

P. S. Написал новую заметку про ODesk на фрилансхаке — http://freelancehack.ru/blog/2009/12/odesk-4/ , возможно кому-то будет интересно.

Об этом и многом другом, подробнее, читайте в скором времени на страницах моего блога.