Мастерская интернет-разработчика

Debian. Установка и настройка Jira + GreenHopper

adw0rd — Thu, 10 May 2012 16:12:41 +0000

Сегодня расскажу как установить standalone-версию Jira (то есть ту, которая на сайте Jira значится как «Download» версия) на ваш сервер. Выбран Debian из-за того что на FreeBSD сложнее завести самую свежую Java, которая так нужна Jira. Другие дистрибутивы я не рассматривал, просто потому что мне с Debian проще.

Также в качестве СУБД для Jira будет использоваться MySQL. Это обусловлено тем, что потом можно хакать данные жиры, например переименовывать пользователей и т.д. через процедуры, о которых возможно расскажу в другой статье.

В статье рассматривается Jira 5.0.4.

Установка

Установка будет происходить на минимальной сборке свежеустановленного Debian, поэтому буду устанавливать нужный софт типа nano и sudo. А также создадим в домашней директории каталог «Downloads», туда будем класть всякие загрузки:

apt-get install sudo nano
mkdir ~/Downloads

Теперь добавим репозиторий DotDeb, так как там есть более свежие пакеты:

sudo nano /etc/apt/sources.list
>> deb http://packages.dotdeb.org squeeze all
>> deb-src http://packages.dotdeb.org squeeze all

Теперь скачаем ключ для DotDeb и применим его:

cd ~/Downloads
wget http://www.dotdeb.org/dotdeb.gpg
cat dotdeb.gpg | sudo apt-key add -

Установим MySQL-сервер версии 5.5 и Nginx:

sudo apt-get install mysql-server-5.5 nginx

Выбирите нужную версию Jira на этой странице и скачайте бинарный файл в каталог «~/Downloads».
Так как у меня 32-битная платформа на Linux, я качаю нужный мне бинарник так:

cd ~/Downloads
wget http://wpc.29c4.edgecastcdn.net/8029C4/downloads/software/jira/downloads/atlassian-jira-5.0.4-x32.bin
sudo chmod +x atlassian-jira-5.0.4-x32.bin

Создадим каталоги для Jira:

mkdir -p /opt/atlassian/jira
mkdir -p /var/atlassian/application-data/jira

Теперь запустим бинарник и приступим к установки самой Jira:

./atlassian-jira-5.0.4-x32.bin

>>> Unpacking JRE ...
>>> Starting Installer ...
>>> You do not have administrator rights to this machine and as such, some installation options will not be available. Are you sure you want to continue?
>>> Yes [y, Enter], No [n]
y

>>> This will install JIRA 5.0.4 on your computer.
>>> OK [o, Enter], Cancel [c]
o

>>> Choose the appropriate installation or upgrade option.
>>> Please choose one of the following:
>>> Express Install (use default settings) [1], Custom Install (recommended for advanced users) [2], Upgrade an existing JIRA installation [3, Enter]
2

>>> Where should JIRA 5.0.4 be installed?
>>> [/home/adw0rd/atlassian/jira]
/opt/atlassian/jira

>>> Default location for JIRA data
>>> [/home/adw0rd/atlassian/application-data/jira]
/var/atlassian/application-data/jira

>>> Configure which ports JIRA will use.
>>> JIRA requires two TCP ports that are not being used by any other
>>> applications on this machine. The HTTP port is where you will access JIRA
>>> through your browser. The Control port is used to Startup and Shutdown JIRA.
>>> Use default ports (HTTP: 8080, Control: 8005) - Recommended [1, Enter], Set custom value for HTTP and Control ports [2]
1

>>> Extracting files ...
...

>>> Please wait a few moments while JIRA starts up.
>>> Launching JIRA ...
>>> Installation of JIRA 5.0.4 is complete
>>> Your installation of JIRA 5.0.4 is now ready and can be accessed via your browser.
>>> JIRA 5.0.4 can be accessed at http://localhost:8080
>>> Finishing installation ...

После установки, нам необходим init-скрипт, я создавал небольшой срипт, можете им воспользоваться:

sudo wget -O /etc/init.d/jira http://adw0rd.ru/files/jira
sudo chmod +x /etc/init.d/jira

Настройка

Теперь создадим БД и настроим права доступа для Jira:

mysql -uroot -p

mysql> CREATE DATABASE `jira` CHARSET utf8 COLLATE utf8_general_ci;
mysql> SELECT PASSWORD('example');
+-------------------------------------------+
| password('example') |
+-------------------------------------------+
| *57237BB49761F29AB9724BA084E811D70C12393D |
+-------------------------------------------+
1 ROW IN SET (0.00 sec)
mysql> GRANT USAGE ON *.* TO 'jira'@'localhost' IDENTIFIED BY PASSWORD '*57237BB49761F29AB9724BA084E811D70C12393D';
mysql> GRANT ALL PRIVILEGES ON `jira`.* TO 'jira'@'localhost';
mysql> SHOW GRANTS FOR jira@localhost;
+-------------------------------------------------------------------------------------------------------------+
| Grants FOR jira@localhost |
+-------------------------------------------------------------------------------------------------------------+
| GRANT USAGE ON *.* TO 'jira'@'localhost' IDENTIFIED BY PASSWORD '*57237BB49761F29AB9724BA084E811D70C12393D' |
| GRANT ALL PRIVILEGES ON `jira`.* TO 'jira'@'localhost' |
+-------------------------------------------------------------------------------------------------------------+
2 ROWS IN SET (0.00 sec)

Отредактируйте «nginx.conf»:

sudo nano /etc/nginx/nginx.conf

К виду:

http {
...
upstream jira {
server 127.0.0.1:8080;
}
...
server {
listen 80;
server_name example.org;
location / {
proxy_pass http://jira;
}
}
...
}

Далее, отредактируем конфиг Jira:

sudo nano /opt/atlassian/jira/conf/server.xml

Найдите там «Service/Connector» и добавьте туда «proxyName» и «proxyPort»:

...
<Service name="Catalina">
...
<Connector port="8080"
maxThreads="150"
minSpareThreads="25"
maxSpareThreads="75"
connectionTimeout="20000"
proxyName="example.org"
proxyPort="80"
enableLookups="false"
maxHttpHeaderSize="8192"
protocol="HTTP/1.1"
useBodyEncodingForURI="true"
redirectPort="8443"
acceptCount="100"
disableUploadTimeout="true"/>
...
...
...

Перезагружаем Jira для того чтобы применить новый конфиг:

sudo /etc/init.d/jira restart

Теперь пробуем открыть «http://example.org/». Вам предложат настроить Jira, укажите тип хранилища «MySQL» и верные реквизиты доступа, после чего вам предложат настроить учетную запись администратора и т.д.

Установка GreenHopper

Для этого надо просто войти в UPM («http://example.org/plugins/servlet/upm#install») и вбить в поисковую строку «GreenHopper», таким же образом можете установить любые другие плагины доступные в репозитории Jira.

Ещё пару слов

При покупке, лицензионный ключ для Jira надо ввести на странице «http://example.org/secure/admin/ViewLicense!default.jspa», а для GreenHopper в UPM.

Если вы неверно указали «Base URL» (в нашем примере он «http://example.org»), то на странице настроек «http://example.org/secure/admin/ViewApplicationProperties.jspa» можете поменять его.

Debian. Установка и настройка Gitweb + Nginx

adw0rd — Mon, 30 Apr 2012 04:48:23 +0000

Продолжаем обсуждение инструментария для git-репозиториев, сегодня расскажу про GitWeb, он представляет из себя простую веб-морду для визуализации репозиториев Git'а, в ней можно будет лицезреть свои проекты, историю и т.д., вообщем всё что необходимо.

Пользователем Mercurial внешний вид уже знаком, так как его предоставлял hgweb:

[web]
# стиль gitweb
style = gitweb

Установка

Собирать буду частично из исходников, так как нам понадобится вменяемый fcgiwrap (в Debian очень старая версия 1.0, которая нам просто не подойдет). Нам понадобится fcgiwrap 1.0.3 для запуска «gitweb/index.cgi».

sudo apt-get install libfcgi-dev gitweb

cd ~/Downloads
git clone git://github.com/gnosek/fcgiwrap.git
cd fcgiwrap/
autoreconf -i
./configure
make && sudo make install

fcgiwrap выбран потомучто он уже использовался у меня на сервере и я решил найти ему очередное применение. На странице GitWeb на GitHub'е есть инструкция для gunicorn.

Настройка

Я переписал оригинальный (читать старый из Debian) init-скрипт fcgiwrap'a, который можете взять тут.
Скопируйте его в «/etc/init.d».

Без скрипта можете запустить так:

fcgiwrap -s tcp:127.0.0.1:8088 -f

Со скриптом так:

service fcgiwrap start

Теперь перейдем к Nginx. Отредактируйте «/etc/nginx/nginx.conf»:

upstream gitweb {
server 127.0.0.1:8088;
}

И ваш файл виртуального хоста:

server {
listen 80;
server_name gitweb.example.org;
root /usr/share/gitweb;

location ~* \.(jpg|txt|jpeg|gif|png|ico|css|zip|js|swf)$ {
expires 0;
}

location / {
fastcgi_pass gitweb;
fastcgi_param QUERY_STRING $query_string;
fastcgi_param REQUEST_METHOD $request_method;
fastcgi_param REQUEST_URI $request_uri;
fastcgi_param SCRIPT_FILENAME $document_root/index.cgi;
}
}

Откройте файл «/etc/gitweb.conf» и укажите путь до репозиториев:

# path to git projects (.git)
$projectroot = "/home/git/repositories";

...

Перезагружаем Nginx и наслаждаемся!

nginx -s reload

А какже git-instaweb?

Простой обозреватель вашего репозитория на основе GitWeb, но когда репозиториев несколько. Минус у этого решения один — он не преднозначен для запуска на нескольких репозиториях. Точнее вам придется запускать копию для каждого репозитория на разных портах и проксировать на них.

git instaweb --httpd=webrick [--start | --stop | --restart]
# --httpd поддерживает apache2, lighttpd, mongoose и webrick (по умолчанию lighttpd).
# --local слушает только локальный интерфейс (127.0.0.1)
# --port можно указать нужный порт (по умолчанию 1234)

Также вы можете указать в «.gitconfig» нужные настройки для instaweb:

[instaweb]
httpd=webrick

Ещё можно почитать:
Pro Git 4.6 Git on the Server GitWeb
How To: Install and Configure GitWeb

Android и LG P500. Удаление предустановленных программ

adw0rd — Sun, 29 Apr 2012 22:45:03 +0000

Сегодня расскажу как получить рутовый доступ на ваш LG Optimus One (он же LG P500) с Android 2.3.3 и удалить предустановленные приложения. Будем удалять всякие фейсбуки, вконтакты и одноклассники, а также бесполезные программы от LG.

Статья предназначена для пользователей Linux, но в архиве с ADB имеется и Windows версии.

Для начала качаем ADB и распаковываем:

wget -O ADB.tgz http://adw0rd.ru/wp-content/uploads/2012/04/ADB.tar.gz
tar -xzf ADB.tgz
cd ADB

Войдите в настройки телефона «Приложения» -> «Дополнительные опции» и включите режим «Отладка USB», далее подключите ваш телефон по USB кабелю к компьютеру и выполните:

chmod +x adblinux
sudo ./adblinux devices
> List of devices attached
> 80A357486041192199 device

Отлично, мы успешно подключились, теперь получим рутовый доступ:

sudo ./adblinux shell
$ echo 1 > /data/local/lge_adb.conf

Вручную перезагрузите телефон (выключите и снова включите) и снова стартуем shell:

sudo ./adblinux shell
# exit

Ура, теперь у нас есть права пользователя root!

Теперь примонтируем «/system» с возможностью записи данных:

sudo ./adblinux shell
# mount -o rw,remount /dev/block/mmcblk0p1 /system

После этого мы сможем удалить «нужный» нам софт:

# cd /system/app
# ls
...
# rm Facebook.apk
# rm VKontakte.apk
# rm Odnoklassniki.apk
# rm MobileAgent.apk
# rm YandexSearch.apk
# rm LGWorld.apk
# rm LGMusicClub.apk
# rm LiveWallpapers.apk
# rm LiveWallpapers.odex
# rm LiveWallpapersPicker.apk
# exit

Только не удаляйте «LGHome.apk», как это сделал я по ошибке... Это приложение является рабочим столом и меню вашего телефона, без него смысла в телефоне особого нет, он сможет принимать звонки и сообщения, а также подключаться к сети, больше по сути ничего. В конце статьи я описываю как всетаки восстановил «LGHome.apk».

Оффтопик

Сбросить телефон на изначальное состояние («Factory reset») можно так:

Зажать одновременно «Home + VolumeDown + Power» и держать несколько секунд, пока не появится картинка на дисплее «Android с коробочкой».
Также можно сбросить телефон на заводские настройки через сервисное меню, для этого наберите номер 3845#*500# и в появившемся меню нажмите на «Factory Reset».

Если вы всётаки удалили LGHome.apk

Казалось всё не так плохо, надо просто скачать из сети это приложение и залить его через ADB, но в моем случае все было намного хуже... Я сделал «Factory Reset», после чего у меня слетел root и сбросился режим «Отладка USB» и я не смог подключится через ADB.

В итоге мне надо было попасть в «Настройки» телефона и включить режим «Отладка USB». Вот как я выкрутился:

Сначала залил на свой сайт приложение *.apk (неважно какое);
Потом через телефон (благо GPRS/WIFI работали) скачал это приложение (для этого я послал себе ссылку по смс через бесплатный сервис от мтс);
После скачивания начал его устанавливать, тогда Android меня предупредил о «неизвестном источнике» и пустил в меню настроек «Приложения» чтобы я указал что «разрешаю установку приложений из неизвестных источников»;
Вместо этого я зашёл в «Дополнительные опции» и включил режим «Отладка USB», после чего ADB смог определить мой девайс!

Как только вы смогли включить режим «Отладка USB», то сразу подключаем USB кабель и вводим в консоль:

mkdir /tmp/system_apps
cd /tmp/system_apps
wget -O LGHome.apk.tgz http://adw0rd.ru/wp-content/uploads/2012/04/LGHome.apk.tar.gz
tar -xzf LGHome.apk.tgz
rm LGHome.apk.tgz
sudo chmod 644 LGHome.apk
sudo chown root:root LGHome.apk

sudo ./adblinux shell
# mount -o rw,remount /dev/block/mmcblk0p1 /system
# exit

sudo ./adblinux push /tmp/system_apps /system/app
sudo ./adblinux reboot

Ну вот и всё, удачи!

Python и Git. Автоматическая проверка кода требованиям спецификации

adw0rd — Sat, 31 Mar 2012 20:30:16 +0000

Многие команды делают Code Review, другие больше сосредотачиваются над Design Review, а многие не делают и вовсе, но статья не о том зачем это нужно, а о том, как частично автоматизировать процесс Code Review. Для своих проектов я решил съэкономить немного времени и человеческих ресурсов, и использовать автоматизированную проверку кода проекта на соответствие PEP 8, а также качества кода (pyflakes) и качество сообщений в Git. Полноценный Code Review при этом делать всёравно нужно, но уже в меньших объемах, а иногда и вовсе можно им пренебречь.

Итак, для работы нам понадобится установить pep8, pyflakes, а также отредактировать на рабочих станциях разработчиков хуки для Git: «pre-commit» и «commit-msg».

Серверные хуки специально не используются, так как уже будет произведен коммит и разработчику придется откатываться и т.д., что совсем не экономит время разработчика.

Установка

Установим зависимости:

sudo apt-get install pyflakes pep8

Установим хуки:

cd ~/work
git clone git://gist.github.com/2184955.git pre-code-review
ln -s /home/<username>/work/pre-code-review/pre-commit.py /home/<username>/work/<project>/.git/hooks/pre-commit
ln -s /home/<username>/work/pre-code-review/commit-msg.py /home/<username>/work/<project>/.git/hooks/commit-msg
chmod +x /home/<username>/work/<project>/.git/hooks/pre-commit
chmod +x /home/<username>/work/<project>/.git/hooks/commit-msg

Код для хука «pre-commit.py» повзаимствован отсюда и впоследствии доработан. В будующем планировалось добавить туда проверку докстрингов (процентное соотношение документации к коду, либо какие-либо другие метрики) и запуск тестов (но это сомнительно, так как скажется на производительности выполнения коммитов).

Для таких тяжелых операций как тесты есть удобный инструмент — Continius Integraton (CI), такие как Hudson, Jenkins (Django Jenkins), CruiseControl и Atlassian Bamboo. Также, рекомендую ознакомится с продуктом для Code Review — Atlassian Crucible.

Примеры

Пример проверки кода:

$ git commit -m "Something I"
*********************************
***** CODE REVIEW IS FAILED *****
*********************************
Check files: <project>/<app>/views.py, <project>/common/context_processors.py, <project>/common/decorators.py,
<project>/settings.py, <project>/<app>/models.py, <project>/urls.py
pep8:
./<project>/urls.py:14:19: E241 multiple spaces after ','
./<project>/<app>/models.py:18:1: E302 expected 2 blank lines, found 1
pyflakes:
./<project>/urls.py:3: 'include' imported but unused
./<project>/urls.py:4: undefined name 'User'

Хук «pre-commit» проверяет только staged изменения (поэтому после каждого фикса вам придется делать git-add), для того чтобы проверять весь индекс сразу нужно использовать «--debug»:

$ .git/hooks/pre-commit --debug

Пример проверки сообщения коммита:

$ git commit -m "Something II"
**********************************
***** CHECK COMMIT IS FAILED *****
**********************************
> check_task_tracking_identificator:
>> Wrong Issue ID! Use format: [{project_id}-{issue_number}], example: [PROJ-1027]

Если добавить к команде git-commit опцию «--no-verify», то вы сможете пропустить проверку хуков.

-n, --no-verify
This option bypasses the pre-commit and commit-msg hooks. See also githooks(5).

Такого вида контроль повышает качества кода на входе в репозиторий, разработчики оставляют меньше граблей в коде и т.д. Вообщем это минимум, который нужен для повышения качества вашего проекта.

Python и Django. Отладка при помощи PuDB

adw0rd — Sat, 24 Mar 2012 15:19:50 +0000

Этим отладчиком я пользуюсь недавно, где-то полгода, может чуть больше. До этого обходился (надо признаться мучался) с pdb, а также print'ами, logger'ом, debug_toolbar'ом и т.д. Главное отличие в том, что у PuDB есть графический интерфейс с подсветкой синтаксиса, панелями для вывода дополнительной информации, интеграцией с IPython, удобными хоткеями и т.д., всё это делает его незаменимым инструмент на каждый день!

Автор: Andreas Klöckner
Страница проекта на PyPI: http://pypi.python.org/pypi/pudb
Исходный код проекта на GitHub или в GitWeb автора
Текущая версия: 2012.1

Отладчик использует urwid для построения графического интерфейса и pygments для подсветки синтаксиса.

Установка и настройка

Всё предельно просто, ставим из PyPI:

pip install pudb

Или из исходников:

git clone git://github.com/inducer/pudb.git
cd pudb && setup.py install
# либо сделайте симлинк в site-packages (я так обычно делаю, использую virtualenv и пакеты из транка)
ln -s ~/pudb/pudb ~/venv/<virtualenv>/lib/python2.7/site-packages/pudb

Запустите PuDB:

$ python
>>> import pudb
>>> pudb.set_trace()

Перед вами предстанет отладчик и попросит вас его настроить, а если не попросит, то можно вызвать настройки самостоятельно — нажмите «Ctrl+p». Там вы сможете выбрать shell (classic или ipython), тему (classic, vim, dark vim, midnight, либо создать тему самому), порядок вывода стека, способ вывода значений переменных контекста (type, str, repr, либо собственная реализация).

Инструкция по применению

Сразу надо заметить, что в интерфейсе сразу все понятно что к чему, а если что-то не понятно, то надо нажать «?» и вы увидите полный «help». Приведу его только часть, в порядке частоты использования:

Основное:

! — вызвать shell, при этом будет доступен весь контекст в котором вы находитесь
o — вывести консоль, но только для просмотра, удобно когда вы вводили что-то в консоле и хотите снова это посмотреть

n — «step over» (перешагнуть), перейти к следующей строке кода
s — «step into», перейти во внутрь объекта, если это возможно, иначе перейти к следующей строке кода
u — подняться на один стек-фрейм вверх
d — опуститься на один стек-фрейм вниз

c — «continue», продолжить (до первого брейкпоинта или до завершения работы программы)
f — завершить текущую функцию
q — выход из отладчика и продолжение работы программы

e — показать трейсбек, при этом вы сначала в шапке отладчика отчётливо увидите что произошол трейсбек
L — показать путь до текущего файла и номер строки, а также goto-line
/ — поиск строки («,» — вперед, «.» — назад)

Работа с брейкпоинтами:

b — установить брейкпоинт
enter — отредактировать брейкопинт (работает в панели брейкпоинтов)
d — удалить брейкпоинт (работает в панели брейкпоинтов)

Работа с панелями:

V — перейти в панель Variables
S — перейти в панель Stack
B — перейти в панель Breakpoints
+/— — расширить/сузить панель в ширину
_/= — минимализировать/максимализировать панель в ширину
[/] — расширить/сузить панель в высоту

Работа с панелью переменных (Variables):

\ — развернуть/свернуть содержимое переменной
t/r/s/c — переключаться между type/repr/str/custom форматом вывода переменной
h — подсветить переменную в панели (также и отключает подсветку)
@ — закрепить переменную в верхней части панели
w — переключится в режим word-wrap для переменных (и обратно также)
n/Insert — добавить в верхнюю панель выражение для слежения (например вы ожидаете появления переменной «test_something», то добавьте её название, когда она будет доступна, тогда появится в верхней панели со значением)
enter — управление переменными в Variables, в том числе и удаление

Интеграция с Django и IPython

До версии PuDB 2012.1 необходимо было сделать следующие манипуляции, если по каким-либо причинам вы используете старую версию PuDB, то вам это должно пригодится. В новой версии ничего делать не надо, всё работает из коробки!

Также с IPython (версии 0.13+) и PuDB до версии 2012.1 были проблемы, но если вы используете IPython 0.10.x (который до сих пор в пакетах Ubuntu как основной), то всё будет хорошо. Вот, к слову, о PuDB+IPython интергации.

Использование

Приведу пару примеров о том как пользоваться PuDB:

# Запуск отладчика для определенного скрипта
python -m pudb.run script.py
python -m pudb.run manage.py runcpdebug
# Далее, устанавливайте брейкпоинты и жмите "c" (Continue),
# как только отладчик дойдёт до брейкпоинта он остановится

В коде можно вызвать так:

# В любом месте вставьте:
import pudb; pudb.set_trace()

Ко всему прочему привожу видеокаст от автора:

PuDB Intro Screencast from Andreas Klöckner on Vimeo.

Реализация установки брейкпоинтов для Emacs

Так как я пользуюсь Emacs, то решил для него сделать функцию и хот-кей для вставки брейкпоинта в PuDB.
Поместите следующий код в свой «~/.emacs»:

(defun pudb-save-breakpoint ()
(interactive)
(setq file (buffer-file-name))
(setq line (substring (what-line) 5))
(setq saved-breakpoints "~/.config/pudb/saved-breakpoints")
(with-temp-buffer
(insert "b " file ":" line "\n")
(when (file-writable-p saved-breakpoints)
(append-to-file (point-min)
(point-max)
saved-breakpoints)))
)
(global-set-key [?\C-x ?\C-_] 'pudb-save-breakpoint)

Идея простая, все брейкпоинты PuDB пишет в свой файл «~/.config/pudb/saved-breakpoints», в формате:

b :
b :

Воспользоваться этим как видите очень просто — надо дописывать брейкпоинты. Также можно реализовать удаление брейкпоинта, очистку (в том числе с неймспейсом по проекту) и т.д., но мне пока и этого достаточно. Если кто знает готовый или хочет сделать полноценный модуль для Emacs+PuDB, то пишите, буду очень рад!

Так как в elisp я особо не силён, то можно сделать python-скрипт, в который elisp будет передавать аргументы, а скрипт будет уже делать все манипуляции с файлом брейкпоинтов.

Также, рекомендую ознакомиться со списком отладчиков для python: PythonDebuggers — PythonInfo Wiki.

FreeBSD и Debian. Установка и настройка Gitolite

adw0rd — Thu, 22 Mar 2012 21:13:46 +0000

В след за статьёй FreeBSD и Debian. Установка и настройка Gitosis хочу рассказать про Gitolite. Это аналогичный по функциональности инструмент, но дающий чуть больше возможностей, например разграничения прав на ветки и теги, и немного проще в использовании. А ещё, в отличие от Gitosis, он до cих пор поддерживается.

Будем считать, что вы уже создали пользователя и группу «git», а также установил Git на сервере.

Gitolite

Иногда для проектов хочется иметь некие «production»-ветки и «release»-теги, но с ограниченным доступом к ним определенным пользователям. Например разработчики имеют доступ только к ветке «master» и собственным веткам созданным на сервере, а «production» должен быть для них недоступен, чтобы по воле случая они туда ничего не намержили плохого.

Git начал становиться очень популярным в корпоративных средах, где обычно есть дополнительные требования в плане контроля доступа. Gitolite изначально был создан, чтобы посодействовать в выполнении таких требований. Но как оказывается он так же полезен и в мире open source: проект Fedora управляет доступом к своим репозиториям пакетов с помощью gitolite. А ведь этих репозиториев больше 10 000! По видимому это самая большая установка gitolite где бы то ни было.

Gitolite позволяет указать права доступа не только для репозиториев, но и для веток или имён меток внутри каждого репозитория. То есть, вы можете указать, что определённые люди (или группы людей) могут отправлять (push) определённые “ссылки” (ветки или метки), а остальные нет.

Pro Git — Pro Git 4.8 Git на сервере Gitolite

Установка Gitolite

FreeBSD:

cd /usr/ports/devel/gitolite
make install clean

Debian:

sudo apt-get install gitolite

Из исходников:

git clone git://github.com/sitaramc/gitolite.git
sudo ./src/gl-system-install

Настройка Gitolite

Для начала нам надо создать на локальной машине ключ и скопировать его на сервер:

ssh-keygen -C “<username>” -t rsa
scp ~/.ssh/id_rsa.pub <username>@<hostname>:key_for_gitolite.pub
mv ~/.ssh/id_rsa ~/.ssh/gitolite

Теперь добавьте в свой локальный «.ssh/config»:

Host gitolite
User git
Hostname
IdentityFile ~/.ssh/gitolite

Далее, надо войти на сервер и проинициализировать gitolite:

sudo su - git
gl-setup /home/<username>/key_for_gitolite.pub

Перейдем снова на локальную машину и попробуем подключится:

ssh gitolite -T
>> hello <username>, this is gitolite v2.3-0-g01e789a running on git 1.7.9.3
>> the gitolite config gives you the following access:
>> R W gitolite-admin
>> @R_ @W_ testing

Если примерно такой ответ, то есть перечислены репозитории и права, то всё окей, продолжаем!

Пользователи, макросы и права с refex

Теперь склонируем репозиторий «gitolite-admin» к себе и отредактируем конфигурационный файл:

git clone git@gitolite:gitolite-admin gitolite-admin

В полученном репозитории вы увидите каталог «keydir», в котором хранятся все публичные ключи пользователей имеющих доступ к каким-либо репозиториям. Чтобы добавить пользователя, необходимо чтобы вы поместили сгенерированный им публичный ключ в каталог «keydir».

Также, в «gitolite-admin» находится каталог «conf», в котором присутствует конфигурационный файл «gitolite.conf», со следующим содержимым:

repo gitolite-admin
RW+ = adw0rd,

repo testing
RW+ = @all

По содержимому понятно как указывать репозитории, права и пользователей. Также есть специальный макрос «@all», который содержит в себе всех пользователей из «keydir».

Вы можете создавать свои макросы и использовать их в дальнейшем:

@admins = adw0rd vasa_c
@developers = @admins tester # Some comment
@staff = @admins @developers

repo gitolite-admin
RW+ = @admins

repo project
RW+ = @developers

Возможности прав:

«R» — только чтение refs;
«RW» — чтение и запись (в том числе создание новых) refs;
«RW+» — чтение, запись (с перезаписью существующих) и удаление refs;
«-» — доступ отсутствует;

Refex это регулярные выражения для удаленных (remote) веток, тегов и файлов:

repo project
RW+ = @leaders
- production = @all
R refs/heads/experimantal = @all
- refs/heads/experimantal = @all
- refs/tags/rc2000b = @all
RW+ = @all

Если вы не указываете явно префикс "refs/", то gitolite сам дописывает в начале «refs/heads/», поэтому для «- production = @all» будет равносилен «- refs/heads/production = @all».

Права на ветки, теги и файлы

Ну наконец перешли к самому интересному! Для примера сделаем чтобы @leaders имели доступ ко всему, а @developers имели доступ только на чтение к ветке «production» и тегам «rc*» (но не могли создавать такие теги).

repo project
RW+ NAME/ = @leaders
RW+ = @leaders

# Ветка production (с двумя способами ввода)
R production = @developers
- refs/heads/production = @developers

# Теги rc*
R refs/tags/rc.* = @developers
- refs/tags/rc.* = @developers

# Также вы можете указать конкретные файлы:
R NAME/.gitignore = @developers
- NAME/.gitignore = @developers

RW+ NAME/ = @developers
RW+ = @developers

Порядок следования правил важен, так как они проверяются последовательно!

Создание репозитория

Чтобы создать новый репозиторий необходимо зайти на сервер и выполнить:

sudo su - git
cd ~/repositories
mkdir someproject.git && cd someproject.git/
git init --bare
>> Initialized empty Git repository in /home/git/repositories/someproject.git/

Теперь откроем файл «gitolite-admin/conf/gitolite.conf» и добавим нужный нам репозиторий:

repo gitolite-admin
RW+ = adw0rd

repo someproject
RW+ = adw0rd

Для того чтобы настройки вступили в силу надо отправить свои изменения на сервер:

git commit -am "Added the 'someproject' repo"
git push origin master

Далее, можете получить свой репозиторий:

cd ~
git clone git@gitolite:someproject.git someproject

# или, если у вас уже есть проект
cd ~/someproject
git remote add origin git@gitolite:someproject.git

Это всё. Рекомендую также почитать статью Знакомство с gitolite

FreeBSD и Debian. Установка и настройка Gitosis

adw0rd — Wed, 21 Mar 2012 22:35:32 +0000

Со временем я перешел с Mercurial на Git, почему это произошло я расскажу в другой статье. А сегодня я расскажу как организовать авторизацию и разграничение прав не репозитории при помощи Gitosis.

Установка и настройка Git

В любом случае нам понадобится создать группу и пользователя «git», а также установить Git.

FreeBSD:

pw group add git
adduser git
cd /usr/ports/devel/git
make && make install

Debian:

groupadd git
useradd -g git git
apt-get install git

Установка и настройка Gitosis

В свое время, на работе, мы выбрали Gitosis и не разочаровались. Решение достаточно простое, опирающееся на git-хуки и ssh-ключи, которое обеспечивает нас самым главным — разграничение прав на проекты.

Хранение публичных ключей всех пользователей в authorized_keys для предоставления доступа работает хорошо лишь на время. Когда у вас сотни пользователей это скорее похоже на пытку. Вы должны заходить на сервер каждый раз и нет никакого разграничения доступа — все перечисленные в файле имеют доступ на чтение и на запись к каждому проекту.

На этой стадии вы можете захотеть обратиться к широко используемому ПО под названием Gitosis. Gitosis — это просто набор сценариев (скриптов), который поможет вам управляться с файлом authorized_keys и реализовать простой контроль доступа. Действительно интересно, что интерфейсом для этого инструмента для добавления людей и определения доступа для них является не веб-интерфейс, а специальный git-репозиторий. Вы настраиваете информацию в этом проекте и, когда вы отправляете её в репозиторий, Gitosis исходя из неё перенастраивает сервер, что круто.

Pro Git — Pro Git 4.7 Git на сервере Gitosis

Вообщем авторизация будет по ключам, а gitosis будет контролировать политику прав. Поехали!

Установка Gitosis

FreeBSD:

cd /usr/ports/devel/py-gitosis/
make install clean

Debian:

apt-get install gitosis

Можно и из исходников, но так как разработка gitosis прекратилась осенью 2009 года, свежее всёравно не будет:

git clone git://eagain.net/gitosis.git gitosis
cd gitosis
sudo python setup.py install

Настройка Gitosis

Для начала нам надо создать на локальной машине ключ и скопировать его на сервер:

ssh-keygen -C “” -t rsa
scp ~/.ssh/id_rsa.pub @example.org:key_for_gitosis.pub
mv ~/.ssh/id_rsa ~/.ssh/gitosis

Теперь добавьте в свой локальный «.ssh/config»:

Host gitosis
User git
Hostname
IdentityFile ~/.ssh/gitosis

Далее, надо войти на сервер и проинициализировать gitosis:

sudo su - git
gitosis-init < /home/<username>/key_for_gitosis.pub
Initialized empty Git repository in /home/git/repositories/gitosis-admin.git/
Reinitialized existing Git repository in /home/git/repositories/gitosis-admin.git/

Перейдем снова на локальную машину и попробуем подключится:

ssh git@gitosis -T
>> ERROR:gitosis.serve.main:Need SSH_ORIGINAL_COMMAND in environment.

Если примерно такой ответ, то все хорошо, продолжаем!

Теперь склонируем репозиторий «gitosis-admin» к себе и отредактируем конфигурационный файл:

git clone git@gitosis:gitosis-admin.git gitosis-admin

В полученном репозитории вы увидите каталог «keydir», в котором хранятся все публичные ключи пользователей имеющих доступ к репозиториям. Чтобы добавить пользователя, необходимо чтобы вы поместили сгенерированный им публичный ключ, а после добавили упоминание этого пользователя в файле «gitosis.conf» секция «members».

Чтобы создать новый репозиторий необходимо зайти на сервер и выполнить:

cd ~/repositories
mkdir someproject.git && cd someproject.git/
git init --bare
>> Initialized empty Git repository in /home/git/repositories/someproject.git/

Далее, добавим в локальный файл «gitosis.conf» что-то наподобие:

[group developers]
writable = someproject
members = adw0rd

Также возможно унаследовать пользователей из другой группы, например:

[group developers]
members = adw0rd example

[group project]
writable = project
members = @developers tester

Вообщем в «members» надо перечислить пользователей, у которых есть доступ к репозиторию «writable». И добавить в «keydir» публичные ключи полученные от пользователей. Это всё что надо!

Для отладки самого gitsis вам может понадобится эта опция:

[gitosis]
loglevel=DEBUG

Gitosis читает файла настроек из этого файла «/home/git/repositories/.gitosis.conf», он симлинк на «/home/git/repositories/gitosis-admin.git/gitosis.conf». Так что вы всегда можете повлиять на конфигурационный файл gitosis'а даже если потеряли доступ к нему из вне отредактировав вручную «/home/git/repositories/.gitosis.conf».

Рекомендую также почитать Gitosis — ArchWiki.

Обрабатываем LESS «на лету» с помощью Nginx и Node.js

adw0rd — Sun, 04 Mar 2012 12:30:09 +0000

Сегодня начал использовать twitter-bootstrap и решил процессить less не на клиентской стороне, а средствами сервера, просто по приколу. Сразу же вспомнил про статью на хабре Серверный процессинг LESS файлов «на лету» своими руками и решил реализовать то, что там написано.

Принцип работы заключается в том, что все обращения к файлам «*.less» будут проксироваться через Nginx и преобразовываться на лету (можно и nginx-кеш прикрутить, если надо) в css средствами node.js.

Установка

Для начала нам надо установить nginx и node.js:

sudo apt-get install nginx nodejs

Скачиваем отсюда последнюю версию less.js и устанавливаем:

cd ~
wget -O adw0rd-less.js.tar.gz https://github.com/adw0rd/less.js/tarball/master
tar -xzf adw0rd-less.js.tar.gz
cd adw0rd-less.js-*

# Проверяем less
make test

Настройка

Добавим в «/etc/hosts» хост «example.loc»:

127.0.0.1 example.loc

Отконфигурируем Nginx

Добавим в «/etc/nginx/nginx.conf» апстрим «lessserv»:

upstream lessserv {
server localhost:1337;
}

Отредакируем ваш server-конфиг для «example.loc» — «/etc/nginx/sites-available/example.conf»:

server {
listen 80;
server_name example.loc;
root /path/to/example;

location ~* \.less$ {
proxy_pass http://lessserv;
}
}

После чего не забываем добавить в sites-enabled и зарелоадить Nginx:

ln -s /etc/nginx/sites-available/example.conf /etc/nginx/sites-enabled/example.conf
sudo nginx -s reload

Теперь перейдем к node.js

В файле «bin/lessserv» вы можете указать нужный вам listen_host и listen_port, по умолчанию:

var listen_port = 1337,
listen_host = "127.0.0.1";

Запускаем lessserv, который и будет проксировать наши less-файлы:

cd ~/adw0rd-less.js-*
node bin/lessserv --path=/path/to/example

Проверяем по ссылке: http://example.loc/bootstrap/less/bootstrap.less, если отдается готовый css-файл, то все у вас получилось!

Ествественно, в каталоге «/path/to/example» должен присутствовать распакованный каталог bootstrap.

Далее в html подключать можно так:

P.S. Вообщем статья это «толстый Like» статьи с хабра, хотя более подробная в плане настроек, пофикшены инструкции (proxy_pass, вместо proxy_path), а также немного улучшен «less.js» на GitHub'е :)

jQuery. Написал плагин jquery-cleverfocus

adw0rd — Thu, 01 Mar 2012 15:47:37 +0000

Зарелизил сегодня плагин для jQuery, который при вводе на сайте текста пользователем «в никуда» перехватывает это и по истечению лимита введенных символов выбрасывает собранные данные в нужный нам инпут и ставит на него фокус.

Плагин совместим с версией jQuery 1.7.1, так как тестировался только на нём.

А зачем вообще это?

Случай #1
Пользователь приходит на сайт, видит форму поиска, набирает искомое слово (при этом он чаще всего смотрит в клавиатуру), подняв голову он понимает что набирал текст «в никуда», сильно бесится, ставит фокус, вводит несколько символов, проверяет что у него получается набирать текст «куда надо» и со спокойной душой продолжает набирать искомое слово.

Тут вы скажете «Эй! надо ставить фокус после загрузки DOM!», ан нет, это тоже плохое решение, разберем второй кейс.

Случай #2
Пользователь приходит на сайт, ему не интересна форма поиска, он хочет поскроллить/полистать (Left/Right, Up/Down, PgUp/PgDown, Home/End и т.д.) страницу с помощью клавиатуры (пользователей, которые пользуются ноутбуками без использования мыши достаточно много), а так как у нас стоит фокус в форме поиска, то он снова обламывается.

Для решения этих вот двух кейсов и был создан плагин jquery-cleverfocus.

Пример использования

Допустим у вам есть форма поиска с id="search_input":

То для неё следует использовать плагин так:

$("#search_input").cleverfocus({
keypress_limit: 3
});

В поставку входит functional_test.html, на котором вы можете проверить плагин, также в целях демонстрации я разместил плагин на demo.adw0rd.ru/jquery-cleverfocus/functional_test.html

Почему он так называется?

Сначала, я дал ему имя «jquery-autofocus», но потом поискал в гугле это название и нашёл плагин с таким же названием, которой призван эмулировать атрибут autofocus из HTML5 в HTML меньших версий.

Потом я решил назвать его «jquery-smartfocus», но и тут поджидало меня разочарование, так как есть и такой плагин.

В итоге, назвал его по «человечному» — cleverfocus.

Python. Работаем с xls через xlwt/xlrd и python-uno

adw0rd — Tue, 28 Feb 2012 13:50:09 +0000

Понадобилось без потери данных и функциональности модифицировать xls документы, то есть мы имеем несколько листов в документе, на одном из листов есть фильтры, списки и прочие компоненты современного екселя.

Первое что приходит на ум — это старый-добрый Python Excel (xlwt/xlrd), попробуем реализовать модификацию ячейки с помощью этого инструмента, а потом перейдем к PyUNO.

Python Excel: xlwt, xlrd, xlutils

Более подробно об этих пакетах можно почитать на странице Python Excel.
Для начала установим их:

sudo pip install xlwt xlrd xlutils

А теперь пример кода:

import xlwt, xlrd
from xlutils.copy import copy as xlcopy

source_filename = "/tmp/example.xls"
destination_filename = "/tmp/example_new.xls"

read_book = xlrd.open_workbook(source_filename, on_demand=True) # Открываем исходный документ
read_sheet = read_book.get_sheet(0) # Читаем из первого листа
write_book = xlcopy(read_book) # Копируем таблицу в память, в неё мы ниже будем записывать
write_sheet = write_book.get_sheet(0) # Будем записывать в первый лист
write_sheet.write(0, 0, read_sheet.cell_value(0, 0) + 42) # Прибавим к значению из ячейки "A1" число 42
write_book.save(destination_filename) # Сохраняем таблицу

Простейший пример использования испортит нам документ, в котором есть формулы, фильтры и прочие компоненты таблицы, поэтому это решение нам не подходит.

PyUNO

Теперь попробуем python-uno, его мы тоже установим, в добавок нам необходимо установить libreoffice, так как именно в libreoffice мы и будем производить изменения:

sudo apt-get install python-uno libreoffice

Пакеты python-uno и libreoffice можно установить на разные хосты, так как первый будет клиентом для второго.

Теперь запустим libreoffice на локальном хосте:

libreoffice --accept="socket,host=localhost,port=2002;urp;StarOffice.ServiceManager"

Пример кода по модификации одной ячейки через PyUNO:

import uno

source_filename = "/tmp/example.xls"
destination_filename = "/tmp/example_new.xls"

def get_document(filename):
"""Небольшая обертка для корретного открытия документа"""
local = uno.getComponentContext()
resolver = local.ServiceManager.createInstanceWithContext("com.sun.star.bridge.UnoUrlResolver", local)
context = resolver.resolve("uno:socket,host=localhost,port=2002;urp;StarOffice.ComponentContext")
desktop = context.ServiceManager.createInstanceWithContext("com.sun.star.frame.Desktop", context)
document = desktop.loadComponentFromURL(uno.systemPathToFileUrl(filename), "_blank", 0, tuple())
return document

document = get_document(source_filename) # Окроем исходный документ
sheet = document.getSheets().getByIndex(0) # Получем первый лист
cell = sheet.getCellByPosition(0, 0) # Получим необходимую нам ячейку
cell.setString(int(cell.getString()) + 42) # И запишем в неё новый результат

# Сохраняем документ
document.storeToURL(uno.systemPathToFileUrl(destination_filename), ())

Код далек от идеала, но для презентации возможностей это самое то.

Результат был достигнут — все компоненты в таблице остались не тронутыми, поменялась лишь ячейка, которую мы меняли.
Вообщем python-uno идеально подходит для автоматизации работы с офисными документами без потерь!

Мастерская интернет-разработчика

Debian. Установка и настройка Jira + GreenHopper

Установка

Настройка

Установка GreenHopper

Ещё пару слов

Debian. Установка и настройка Gitweb + Nginx

Установка

Настройка

А какже git-instaweb?

Android и LG P500. Удаление предустановленных программ

Оффтопик

Если вы всётаки удалили LGHome.apk

Python и Git. Автоматическая проверка кода требованиям спецификации

Установка

Примеры

Python и Django. Отладка при помощи PuDB

Установка и настройка

Инструкция по применению

Основное:

Работа с брейкпоинтами:

Работа с панелями:

Работа с панелью переменных (Variables):

Интеграция с Django и IPython

Использование

Реализация установки брейкпоинтов для Emacs

FreeBSD и Debian. Установка и настройка Gitolite

Gitolite

Установка Gitolite

Настройка Gitolite

Пользователи, макросы и права с refex

Права на ветки, теги и файлы

Создание репозитория

FreeBSD и Debian. Установка и настройка Gitosis

Установка и настройка Git

Установка и настройка Gitosis

Установка Gitosis

Настройка Gitosis

Обрабатываем LESS «на лету» с помощью Nginx и Node.js

Установка

Настройка

Отконфигурируем Nginx

Теперь перейдем к node.js

jQuery. Написал плагин jquery-cleverfocus

А зачем вообще это?

Пример использования

Почему он так называется?

Python. Работаем с xls через xlwt/xlrd и python-uno

Python Excel: xlwt, xlrd, xlutils

PyUNO

Рекомендую почитать