avsej: developer's blog

Обновление rake-тасков

2011-05-08T00:00:00-07:00

Обновление rake-тасков

В одном проекте мне понадобился ragel для разбора формул из TeX и, так как проект является гемом с нативной библиотекой, он должен ещё компилироваться при установке. Для облегчения сборки я использую rake-compiler, который предоставляет набор тасков для сборки каждого расширения + таск compile, что бы собрать все сразу. Проблема была в том, чтобы встроить в эту цепочку ещё один мини-таск, который бы генерировал парсер из ragel-исходника.

Одни для этого создают отдельные таски как gherkin, а другие — используют gnu makefile как unicorn. Мне оба способа показались громоздкими, к тому же у меня уже есть таск compile и заводить ещё один, который будет вызывать ragel, а потом compile было бы слишком. В документации rake нашлась отличный метод Task#enhance, позволяющий добавить зависимости в уже существующий таск, но для меня этого было недостаточно, потому что, судя по коду, он добавляет таск в конец цепочки зависимостей, а мне нужно сгенерировать парсер перед компиляцией. Выход нашёлся сразу же: использовать Task#prerequisites (который ведёт себя как массив) и просто добавить мой мини-таск в самое начало. Ниже то, что получилось в итоге:

require 'rake/extensiontask'
Rake::ExtensionTask.new('expression_ext')
rule 'ext/expression_ext/parser.c' => 'ext/expression_ext/parser.c.rl' do |task|
  sh %{ragel -C -o #{task.name} #{task.source}}
end
Rake::Task['compile'].prerequisites.unshift('ext/expression_ext/parser.c')

Ссылки

RSpec metadata trick

2011-03-11T00:00:00-08:00

RSpec metadata trick

RSpec is absolutely flexible tool. One of its multitarget features is metadata. The main purpose of this feature is filtering and groupping examples by given attributes. You can found a lot of examples in article “Filtering examples in rspec-2”.

Recently I was faced with the need to test application behaviour depending on current subdomain. It was a group of examples so I need to use filters. Spec was similar to script below:

feature "On custom subdomain", :subdomain => 'custom' do
  scenario "homepage should change colorscheme to blue and use custom logo" do
    ...
  end

  scenario "about us page should show custom contact info" do
    ...
  end
  ...
end

It also need to configure that filter in spec_helper.rb:

RSpec.configure do |config|
  config.around(:each, :subdomain => 'custom') do |example|
    Capybara.default_host = "custom.example.com"
    Capybara.current_session.reset!
    example.run
    Capybara.default_host = nil
    Capybara.current_session.reset!
  end
end

But what if we need to take into account particular subdomain name wich could be changed for another group. Here is that litle trick: RSpec hook conditions accept not only plain values. To solve our problem we need to change only two lines:

  config.around(:each, :subdomain => /[\w-]+/) do |example|
    Capybara.default_host = "#{example.metadata[:subdomain]}.example.com"

This code means that we looking for examples or example groups with key :subdomain and value matching /[\w-]+/. To see how it works let see RSpec::Core::Metadata#apply_conditions. It has special handling for Hash, Regexp, Proc and Fixnum. So you can even use :dup.to_proc as a filter condition.

Калькулятор в XeLaTeX

2011-03-08T00:00:00-08:00

Калькулятор в XeLaTeX

В течении ближайших нескольких месяцев я готовлюсь к защите диломного проекта. Один из разделов пояснительной записки называется “Технико-экономическое обоснование бла-бла-бла”. Там очень много всяких экономических формул, которые достаточно сильно связаны, но в общем расчёт представляет собой последовательную подстановку исходных значений в формулы. Обычно расчёт делают отдельно с помощью электронных таблиц, а потом переписывают значения в пояснительную записку. В реальности, при объёме раздела примерно 20 страниц и неизбежных исправлениях, возникает много монотонной переписывания, при котором легко допустить ошибку.

Свою пояснительную записку я верстаю с помощью XeLaTeX, для которого существует просто огромное количество макропакетов. Xe(La)TeX полностью поддерживает синтаксис LaTeX плюс реализует очень хорошую поддержку системных шрифтов через fontspec.

Я решил, что среди этого огромного количества пакетов должен быть хотябы один для расчётов внутри документа. И я не ошибся, почти сразу нашел пакет fp. По ссылке можно прочитать достаточно подробное описание работы с ним, здесь я просто хочу показать минимальный рабочий пример, демонстрирующий его работу.

\documentclass{article}
\usepackage{xunicode}
\usepackage{xltxtra}
\usepackage{graphicx}
\defaultfontfeatures{Mapping=tex-text}
\usepackage{polyglossia}
\setdefaultlanguage{english}

\usepackage{fp}

\begin{document}

\FPeval{x}{round((4 * sin(3 * 3.14)):2)}
\FPupn{y}{x 5 / 2 round}

$$ x = 4 \cdot sin(3\pi) = \x $$
$$ y = \frac{5}{x} = \frac{5}{\x} = \y $$

\end{document}

Этот код сгенерирует вот такой документ.

Как видно из примера, пакет fp позволяет записывать вычисления как инфиксной, так и в постфиксной нотации. Надеюсь эта заметка вам пригодится.

Feature branch code reviews

2011-02-18T00:00:00-08:00

Feature branch code reviews

Great article about coding workflow from Thoughbot.

Here’s the flow. Read Josh Susser’s post. for the git commands.

Start a user story.

Code the feature.

Push the feature to a branch.

A Github hook starts a CI build.

A Github Campfire hook posts your work to Campfire.

Click the link that’s in Campfire.

Click the Github “Pull Request” button.

It will smartly select all commits in your branch that are not in master.

Create the pull request.

Ask your team in Campfire for a review of the pull request.

The team comments in-line, right on the code.

Make the suggested changes.

Merge into master.

Push to master.

CI runs again.

Deploy to staging.

ruby 1.9.2 and rails 2.3 bootstrap

2010-11-07T00:00:00-07:00

ruby 1.9.2 and rails 2.3 bootstrap

When I tried to launch console in rails 2.3.5 project with ruby 1.9.2 I’ve got nasty error:

# ruby1.9.2 script/console
<internal:lib/rubygems/custom_require>:29:in `require': no such file to load -- script/../config/boot (LoadError)
  from <internal:lib/rubygems/custom_require>:29:in `require'
  from script/console:2:in `<main>'

Lets look at this file:

#!/usr/bin/env ruby
require File.dirname(__FILE__) + '/../config/boot'
require 'commands/console'

As ruby 1.9.2 changelog states $: no longer includes the current directory, use require_relative I tried this command but it failed too:

# ruby1.9.2 script/console
script/console:2:in `require_relative': no such file to load -- /root/code/ruby/testproject/script/config/boot (LoadError)
  from script/console:2:in `<main>'

So the solution was to expand path manually and then require it in usual way

#!/usr/bin/env ruby
require File.expand_path(File.dirname(__FILE__) + '/../config/boot')
require 'commands/console'

This manipulations need to be applied for all scripts.

CI: integrity with resque

2010-09-30T00:00:00-07:00

CI: integrity with resque

Я думаю, что в каждой команде в процессе разработки рано или поздно встаёт вопрос о настройке continuous integration. Для руби-проектов существует много инструментов и по статистике ruby toolbox наибольшей популярностью пользуются cjoe, integrity и cruisecontrol.rb. Раньше мы использовали cruisecontrol.rb, но на текущем проекте решили попробовать что-нибуть альтернативное, отчасти потому, что cruisecontrol.rb достаточно достаточно сложно настраивать, там отсутствуют web-hooks для github, а так же он периодически у нас зависал. Сначала я решил попробовать cijoe, который достаточно прост, но не подошел тем, что для каждого бранча нужно было поднимать отдельный экземпляр приложения, а CI у нас планировалось запускать на одном из development серверов.

В итоге выбор пал на integrity. Посмотреть его в действии можно на http://builder.integrityapp.com. Это простой в установке и использовании сервис. Написан на sinatra и легко устанавливается в окружении, позволяющем запуск rack приложений. Внутри integrity очень простой, но в тоже время функциональный. Он предоставляет несколько механизмов уведомления: email, IRC, campfire, TCP, HTTP, notifo and AMQP.

Build можно запустить несколькими способами:

сделать HTTP POST request по адресу /:project/builds;
настроить github post receive hook на адрес /github/:token;
нажать кнопку “Fetch and build” на web-интерфейсе integrity;
создать собственный скрипт и запускать его через cron. Этот способ зависит от того, какой builder вы используете.

И, наконец, integrity позволяет механизм постановки в очередь и запуска заданий:

threaded — integrity создаёт пул потоков и запускает тесты параллельно. Я думаю тут нужно учитывать, что это зелёные потоки ruby, которые на самом деле запускаются в одном системном.
delayed — в этом случае, integrity использует delayed_job в качестве back-end. Для работы этого метода нужно включить дополнительные зависимости в Gemfile.
resque — этот метод я выбрал как наиболее безглючный и простой в настройке. Resque — это библиотека, написанная на ruby, для работы с фоновыми задачами. Resque использует redis в качестве хранилища, а так же предоставляет front-end на sinatra для мониторинга очередей. Очереди в resque могут быть распределены между несколькими хостами. Подробнее можно прочитать в файле README из репозитория.

Настройка

Так как мы используем ubuntu на сервере, некоторые команды ниже могут быть специфичны для этой системы, но я думаю будет не сложно найти аналогичные для вашей. Для начала нужно установить и настроить resque.

Устанавливаем redis. При этом redis должен создать стартовый скрипт в /etc/rc.*.

# apt-get install redis-server

Далее устанавливаем resque:

# gem install resque

Теперь настроим front-end для него. Мы используем nginx и passenger для запуска rack/rails приложений, так что дальше следует типичная настройка rack приложения для passenger (подробнее можно прочитать в официальной документации).

# mkdir -p /home/deploy/resque/public
# mkdir -p /home/deploy/resque/tmp

Пример файла /home/deploy/resque/config.ru можно взять в репозитории resque. Мы используем такой:

require 'logger'

$LOAD_PATH.unshift File.expand_path(File.dirname(__FILE__) + '/lib')
require 'resque/server'

use Rack::ShowExceptions

Resque::Server.use Rack::Auth::Basic do |username, password|
  password == 'secret' && username = 'admin'
end

run Resque::Server.new

Тут вы можете защитить паролем ваш сервер. В nginx нужно добавить еще одну секцию server:

server {
  listen   80;
  server_name  resque.example.com;
  root /home/deploy/resque/public;
  passenger_enabled on;
}

И после этого можно зайти на front-end в браузере и проверить, что всё ок.

Дальше установим и настроим integrity:

# cd /home/deploy
# git clone git://github.com/integrity/integrity.git
# cd integrity
# mkdir -p tmp/pids

Чтобы включить resque backend для integrity нужно раскоментировать соответствующую строку в Gemfile:

gem "resque"

Для nginx нужно добавить новую секцию server:

server {
  listen 80;
  error_log  logs/integrity.error.log info;
  server_name integrity.example.com;
  passenger_enabled on;
  root /home/deploy/integrity/public;
}

Мы используем следующий конфиг для integrity:

LOAD_PATH.unshift(File.join(File.dirname(__FILE__), "lib"))

require ".bundle/environment"
require "integrity"
require "integrity/notifier/email"

Integrity.configure do |c|
  c.database = "sqlite3:integrity.db"
  c.directory = "builds"
  c.base_url = "http://integrity.example.com"
  c.log = "integrity.log"
  c.github_token = "YOUR_SECRET_GITHUB_TOKEN"
  c.build_all = true
  c.builder = :resque
  c.auto_branch = false
  c.username = "admin"
  c.password = "secret"
end

Теперь осталось только запустить resque worker:

# rake resque:work

Только скорее всего эта команда у вас не запустится, потому что в integrity есть небольшой баг в Rakefile и, я надеюсь, что его скоро исправят. Если нет, то попробуйте вот этот патч:

diff --git a/Rakefile b/Rakefile
index e384f82..4af7479 100644
--- a/Rakefile
+++ b/Rakefile
@@ -53,11 +53,11 @@ end

begin
  namespace :resque do
+    require "init"
    require "resque/tasks"

    desc "Start a Resque worker for Integrity"
    task :work do
-      require "init"
      ENV["QUEUE"] = "integrity"
      Rake::Task["resque:resque:work"].invoke
    end

В github нужно добавить post-receive hook, чтобы тесты запускались каждый раз, когда кто-нибудь заливает новый код. Адрес должен быть в формате http://username:password@integrity.example.com/github/:github_token

Ещё можно настроить monit для мониторинга integrity workers. Пример конфигурации которую мы используем /etc/monit/conf.f/resque:

check process resque_worker_integrity
  with pidfile /home/deploy/integrity/tmp/pids/resque_worker_integrity.pid
  start program = "/bin/sh -c 'cd /home/deploy/integrity; COUNT=1 QUEUE=integrity VERBOSE=1 nohup /opt/ruby-enterprise/bin/rake resque:work& > log/resque_worker_integrity.log && echo $! > tmp/pids/resque_worker_integrity.pid'" as uid deploy and gid deploy
  stop program = "/bin/sh -c 'cd /home/deploy/integrity && kill -s QUIT `cat tmp/pids/resque_worker_integrity.pid` && rm -f tmp/pids/resque_worker_integrity.pid; exit 0;'"
  if totalmem is greater than 200 MB for 10 cycles then restart
  group resque_workers

Теперь monit будет следить чтобы было запущено не более одного workers и будет перезапускать их, если количество используемой памяти превышает 200 мегабайт. Если вы хотите использовать больше workers, то вам нужно позаботиться чтобы ваш тестовый rake task учитывал одновременный запуск нескольких копий проекта (использовал разные базы).

Вот и всё, теперь можно зайти на http://integrity.example.com и добавить ваш проект. Надеюсь эта статья поможет вам. Спасибо.

Open file with gpicker and mlocate

2010-09-08T00:00:00-07:00

Open file with gpicker and mlocate

gpicker is a convenient tool for selecting files. Yesterday I remembered that it supports the gathering of data from the mlocate database and decided to setup a convenient opening files from the mlocate database using gpicker and gnome-open. To start you need to know where the base mlocate in your system. The path can be found on the man page locate(1) or via a call locate -h:

$ locate -h | grep "\.db"
      /var/lib/mlocate/mlocate.db)

This is enough to bring all together:

$ gnome-open `gpicker -t mlocate --eat-prefix="" /var/lib/mlocate/mlocate.db`

Option --eat-prefix means strip prefix to make paths relative.

It remains only to set up a hotkey in metacity (e.g. via gconftool-2(1)):

$ gconftool-2 --search-key-regex run_command_\\d+
  /apps/metacity/global_keybindings/run_command_1 = <Super>c
  /apps/metacity/global_keybindings/run_command_2 = <Super>f
  /apps/metacity/global_keybindings/run_command_3 = <Super>s
  /apps/metacity/global_keybindings/run_command_4 = <Super>x
  /apps/metacity/global_keybindings/run_command_5 = <Super>d
  /apps/metacity/global_keybindings/run_command_6 = <Super>v
  /apps/metacity/global_keybindings/run_command_7 = <Super>a
  /apps/metacity/global_keybindings/run_command_8 = disabled
  /apps/metacity/global_keybindings/run_command_10 = disabled
  /apps/metacity/global_keybindings/run_command_11 = disabled
  /apps/metacity/global_keybindings/run_command_12 = disabled
  /apps/metacity/global_keybindings/run_command_9 = disabled

Choose free number and assign it to the command and hot-key.

$ gconftool-2 --type string --set /apps/metacity/global_keybindings/run_command_10 '<Super>g'
$ gconftool-2 --type string --set /apps/metacity/keybinding_commands/command_10 'sh -c "gnome-open `gpicker -t mlocate --eat-prefix="" /var/lib/mlocate/mlocate.db`"'

Also you can create local mlocate database for particular directory:

$ updatedb -o mlocate.db -U .
$ gpicker -t mlocate mlocate.db

To use mlocate you need to install gpicker 2.1 (tarball, deb-i386, deb-amd64)

github + jekyll = blog

2010-08-22T00:00:00-07:00

github + jekyll = blog

Пару месяцев назад я начал пользоваться сервисом github pages. Мне очень понравилась идея хранить сайт в репозитории. До последнего момента я использовал его только как визитку и для делегации OpenID. Тогда я узнал, что содержимое страницы парсится с помощью jekyll, но, к сожалению, тогда у меня не было достаточно времени чтобы посмотреть на него, да и задачи как-то не стояло. А вчера я прочитал в buzz анонс блога Виталика Куликова, который он открыл на tumblr. Если честно, он мне не очень понравился, наверное, из-за кривоватой темы, и я вспомнил про jekyll. Этот пост собственно посвящен моим экспериментам с ним.

Итак, для меня в блоге важно наличие всего нескольких вещей и полностью отсутствие всего остального:

удобный язык разметки. Jekyll поддерживает textile и markdown, кроме этого любой html-документ является валидным документом для jekyll.
подстветка синтаксиса. Jekyll реализует её с помощью pygments кроме того всегда можно использовать gist.
простое, надежное и удобное хранилище для статей. git для этого идеально подходит.
генерация atom/rss. С jekyll это делать достаточно легко благодаря liquid.
надёжный хостинг. Я считаю что github будет достаточно надежным хостингом для этого блога, тем более, что он полностью статический и его очень легко кешировать.
и, наконец, комментарии в блоге. Я думаю, что для этого я буду использовать disqus, как и Виталик. И, если там исправят наконец баг с OpenID, то будет вообще супер.

На последок несколько отрывков кода, чтобы проверить подстветку.

class GreaterClass
  def initialize(username)
    @username = username
  end

  def hello
    puts("Hello, #{@username}!")
  end
end
GreaterClass.new(ENV['USERNAME']).send(:hello)

$ USERNAME=world ruby hello.rb
Hello, world!

avsej: developer's blog

Обновление rake-тасков

Обновление rake-тасков

Ссылки

RSpec metadata trick

RSpec metadata trick

Калькулятор в XeLaTeX

Калькулятор в XeLaTeX

Feature branch code reviews

Feature branch code reviews

ruby 1.9.2 and rails 2.3 bootstrap

ruby 1.9.2 and rails 2.3 bootstrap

CI: integrity with resque

CI: integrity with resque

Настройка

Links

Open file with gpicker and mlocate

Open file with gpicker and mlocate

Links

github + jekyll = blog

github + jekyll = blog

Ссылки