Блог Дениса Малиновского

Мои впечатления о последнем CodeFest

2013-04-01T17:01:00.001+07:00

Организаторы и докладчики были на высоте, примерно на уровне прошлой конференции. В этот раз впервые были англоязычные докладчики, подробнее ниже. Как всегда, было много стендов разных компаний, ребята из JetBrains даже соблазнили меня попробовать PyCharm, но после пяти минут я плюнул и вернулся к старому доброму Vim — очень уж давно я с ним работаю, всё настроено под себя, и с клавиатурой работать гораздо быстрее, чем с мышкой.

Теперь немного о запомнившихся докладах.

День первый

Аксель Раушмайер выступил с докладом о будущем JavaScript — ECMAScript 6. Обещается много нового и полезного, большую часть из чего можно обеспечить уже сейчас в ECMAScript 5 с помощью CoffeeScript, underscore и CommonJS.

Майкл Палотас из eBay в Цюрихе (привет аборигенам!) рассказал о QA в его компании, как их развивают, холят и лелеют, ну хоть прям щас в eBay, менять специализацию.

Окончание докладов я пропустил, нужно было торопиться на ДР дочери. День вышел насыщенным.

День второй

Харизматичный Денис Шергин из томской компании Unigine заставил испытать гордость за отечественных программистов — команда из 25 человек успешно конкурирует с крупнейшими конторами из сотен и тысяч людей в области 3D-движков.

Интересно было послушать про опыт открытия нового офиса 2ГИС в Киеве. Ещё интереснее было бы услышать, в чём разница между украинскими и российскими разработчиками, докладчики упомянули об этом, но, к сожалению, без подробностей.

Вадим Макеев из Opera рассказал, почему же они бросили свой браузерный движок и переключились на Webkit. Вкратце — из-за проблем совместимости сайтов, игнорировании Оперы западными программистами и т.п. Теперь Опера тоже будет вносить патчи в код Webkit.

Никита Прокопов зажигательно поведал о Clojure, сразу захотелось попробовать ClojureScript в деле.

Денис Бесков рассказал о том, как создавать новый продукт. Доклад был интересным, но многое (если не всё) из этого освещено в знаменитой книжке 37signals «Getting Real».

И в заключение Глеб Кудрявцев весело и живо сделал доклад о том, как PM найти общий язык с программистами к взаимному удовлетворению.

Мораль

В очередной раз убедился, что не так важна тема доклада, как личность докладчика. Нужно тренироваться делать доклады, снимать себя на видео, смотреть, анализировать и учиться.

CodeFest очень вдохновляет. Я понял, как соскучился по работе с людьми offline, в одном офисе. Всё-таки два года удалёнки дают о себе знать. Погрел самооценку осознанием своей востребованности для многих компаний, в том числе интересных мне. Нужно больше общаться. :)

Типографика в Kindle

2012-11-11T19:46:00.002+07:00

Status quo

Давным-давно я работал верстальщиком, а последние 10 лет — программистом, но любовь к красиво оформленному тексту осталась. Ещё я заядлый библиофил, львиную долю книг поглощаю в электронном виде, последний год с помощью Amazon Kindle.

Kindle, к сожалению, не поддерживает переноса текста по слогам; при этом выравнивание у него не левое и даже не полное, а «недополное» (обратите внимание на предпоследнюю строчку первого абзаца):

Слева

Бесплатные или платные книги, скаченные с самого Amazon, можно привести к левому выравниванию. Правда, способ этот работает не для всех книг, а только для тех, где явно не указывается выравнивание текста. Для этого нужно закрыть текущую книгу, подключить Kindle через USB к компьютеру и отредактировать там скрытый файл system/com.amazon.ebook.booklet.reader/reader.pref, добавив строчку ALLOW_JUSTIFICATION_CHANGE=true. После чего файл сохраняем, книжку отключаем и перезагружаем её. Для этого нужно зайти в меню Settings, а там уже выбираем меню Restart. Вуаля! — появился новый элемент меню «Justification»:

Этот финт ушами, к сожалению, не работает с книжками, купленными в Литрес или скаченными в русскоязычных пиратских библиотеках — там выравнивание в файлах mobi указано явно. Нам поможет программа для конвертации форматов электронных книг Calibre. Она содержит набор программ для командной строки (для Mac OS их нужно дополнительно установить).

Скачиваем/покупаем нужную книгу в формате FB2 и обрабатываем с помощью простой команды:

ebook-convert book.fb2 book.mobi --change-justification left

PDF

Другой вариант — преобразовывать FB2 в PDF с помощью кросс-платформенного проекта на Java fb2pdf. Можно достаточно гибко настроить форматировать, текст будет поддерживать буквицы, переносы, висячие строки и прочие вкусности.

Минусы:

размер и тип шрифта нельзя менять после создания книги;
размер файла PDF в несколько раз больше аналогичного mobi;
аннотации не работают. Впрочем, поиск по файлу и просмотр слова в словаре доступны.

«Мягкие» переносы

В Kindle 3 (aka Keyboard) и новее в последних версиях прошивки появилась поддержка нового формата K8. Это значит, что доступны многие теги HTML5 и атрибуты CSS3, вдобавок к ним и мягкие переносы. Они предназначены для разбивки слов по слогам и становится видимы только на правой границе строки — программа использует их для переноса текста по слогам, т.е. то, что нам и нужно.

Минус: размер подготовленного файла незначительно больше «сырого»;

Зато все остальные плюсы в наличии — размер шрифта легко менять по ходу чтения, поиск и аннотации работают корректно, все счастливы.

Для создания таких книг я создал небольшую программку под *nix, расставляющую переносы в FB2-файле. Для конвертирования в AZW3 (это формат для Kindle, который собственно и поддерживает K8), можно использовать в качестве образца прилагаемый скрипт.

Для счастливых обладателей Windows есть более удобный вариант.

CodeFest

2012-04-01T17:42:00.000+07:00

Очень долго ничего не писал, а тут такой повод появился — CodeFest! Вообще это вторая IT-конференция в моём ленивом опыте, она же крупнейшая. Более 1300 человек, три зала, куча интересных людей, энергия так и пышет. Организаторы на высоте, единственный минус — душно. Но это, наверное, больше проблема помещения.

В первый день на web-секции больше всего запомнился полный харизмы и оптимизма доклад Ивана Евтуховича из «Evil Martians» «Как мы делали Групон». У такого человека я бы хотел работать. Автор — явно многосторонняя личность, первый дан по айкидо среди прочего.

Ещё отжёг весёлый матерщинник Андрей Аксёнов из Sphinx. Но у него я бы работать не хотел. :)

Во второй день в секции PM + HR блеснули Александр Орлов и Вячеслав Панкратов из Стратоплана. Тема доклада — конструктивная обратная связь в менеджменте — мне была не очень близка, но мастерство докладчиков позволяет красиво донести любую инфу, наверное.

Главный бонус посещения конференции — заряд энергии, желания двигаться и шевелиться. Полезно временами вылезать из своей раковины в большой живой мир.

Соглашение о вызовах

2011-04-25T10:17:00.001+07:00

Интересная статья о всевозможных вариантах вызова и использования функций: сопрограммы (coroutines), рекурсия, хвостовая рекурсия (tail call optimization), каррирование и многое другое.

http://jjinux.blogspot.com/2011/04/call-me-crazy-calling-conventions.html

Делимся Питоном с миром

2011-03-14T16:17:00.001+06:00

Когда питоновские скрипты приобретают какую-то готовую форму, и ими хочется поделиться с другими, возникает вопрос: как это правильно и красиво сделать?

Стандартом для распространения программ на Python является Python Package Index, своего рода центральный Python-репозиторий. О процессе публикации много написано, покажу, как это делается, на своём примере.

Есть известный сайт-библиотека Lib.ru с разделом для писателей — СамИздат, СИ. С помощью PyQt и pyquery я написал программку для слежения за новинками СИ.

Первая важная деталь — в отличие от поделок "для себя", настройки нельзя хранить в текущем каталоге, для Linux нужно использовать что-то вроде `$HOME/.si_news/`:

# Folder to store all configuration
HOMEDIR = os.path.expanduser(os.path.join('~', '.si_news'))
if not os.path.isdir(HOMEDIR):
    os.mkdir(HOMEDIR)

# File name with list of friends
CFG_FRIENDS = os.path.join(HOMEDIR, 'friends.cfg')

Для простоты весь код размещается в одном файле, si_news.py. Следующий этап — выкладывание упакованных исходников на сайте PyPI. Создаём setup.py с заполненными метаданными приложения:

from setuptools import setup

setup(
    name='si-news',
    version='0.1.1',
    description='Tracks updates for zhurnal.lib.ru authors',
    author='Denis Malinovsky',
    author_email='dmalinovsky@gmail.com',
    url='https://bitbucket.org/dmalinovsky/si-news/',
    py_modules=['si_news'],
    install_requires=['distribute', 'pyquery'],
    license='gpl',
    classifiers=[
        'Development Status :: 3 - Alpha',
        'Environment :: MacOS X',
        'Environment :: Win32 (MS Windows)',
        'Environment :: X11 Applications :: Qt',
        'Intended Audience :: End Users/Desktop',
        'License :: OSI Approved :: GNU General Public License (GPL)',
        'Natural Language :: Russian',
        'Operating System :: OS Independent',
        'Programming Language :: Python',
        'Topic :: Internet :: WWW/HTTP',
        'Topic :: Utilities',
        ],
    entry_points = {
        'gui_scripts': [
            'si_news = si_news',
            ]
        },
)

Встроенный в Python distutils не позволяет обрабатывать зависимости при установке, поэтому я использовал наследника брошенного setuptools, distribute. Метаданные в setup.py говорят сами за себя, два комментария — classifiers позволяет отнести программу к нужным категориям PyPI, а entry_points создаёт команды для запуска разных частей нашего приложения.

Затем запускаем `python setup.py register sdist upload` для регистрации на сайте PyPI, упаковки исходников в tar.gz и загрузки на сайт.

К сожалению, PyQt нельзя установить с помощью setuptools и т.п., приходится ставить по старинке, с помощью `apt-get install python-qt4`. Зато саму программу можно установить с помощью замечательного инсталлятора pip: `pip install si-news`.

Реанимация данных

2011-03-07T20:31:00.002+06:00

Жена с дочкой используют внешний USB-винт для хранения видео и всего такого. На днях прикупил новый, стал копировать данные со старого, и — бац! — I/O error! Битые сектора, они же бэд-блоки.

В итоге не удалось скопировать 4 видеофайла. Тут на помощь приходит старая добрая утилитка ddrescue — при ошибке ввода-вывода продолжает копировать посекторно, пропуская плохие участки, в итоге удаётся бóльшую часть данных вытащить; позволяет копировать как целое устройство, так и отдельный файл. Видео спасти получилось, благо небольшая доля мусора внутри файла не мешает его воспроизводить.

К сожалению, ddrescue не позволяет копировать целые директории рекурсивно. Тогда я написал простой скрипт на Python, rddr (Recursive DDRescue), копирующий каталог целиком с помощью того же ddrescue.

Но этот эпизод с винтом меня смутил — ведь есть же SMART, почему Ubuntu мне не сказал о непригодном состоянии диска? Оказалось, что состояние его "хорошее", но есть несколько плохих секторов. Есть у SMART такой атрибут, показывающий количество секторов, ожидающих замены из специальной дисковой зоны "хороших" секторов, причём замена происходит при попытке записи, а не чтения. Теперь на помощь приходит программа badblocks — она позволяет прогонять тесты чтения/записи по всему устройству. Тесты записи на винт заняли около одиннадцати часов, данные при этом затёрлись. 19 секторов из 20 восстановились из резервной области.

Вердикт: винчестер можно использовать для некритичных данных, видео хранить вполне годится.

P.S. Прекрасное руководство для восстановления данных с помощью Linux можно здесь почитать.

Скоро выйдет Django 1.3

2011-03-04T15:23:00.000+06:00

3 марта вышел кандидат в релизы Django 1.3. Я не вытерпел и полюбовался на внушительный список изменений будущей версии.
Что нового

Вьюхи (views, как это лучше перевести?), основанные на классах. Это значит, что view может состоять из набора методов, их можно переопределить в унаследованных вьюхах без особых затрат по написанию кода. Вот дока по миграции со старых вьюх на функциях в новые на классах.
Логирование — добавляется поддержка стандартного модуля logging на уровне фреймворка. Что важно, теперь письма об ошибках №500 обрабатываются как событие лога.
Расширенная обработка статических файлов — для этой цели добавляется новое приложение в contrib, 'django.contrib.staticfiles'.
Поддержка unittest2 — Django включает в себя эту библиотеку из Python 2.7, портировав под Python 2.4.
Контекстные менеджеры транзакций — пользователи Python версии >=2.5 могут использовать ключевое слово with. Что-то похожее я для MySQL использовал.
Настройка каскадного удаления — теперь можно указывать, в каких случаях связанный объект удаляется.
Контекстные маркеры и комментарии к строкам перевода.
TemplateResponse — теперь можно изменять ответ после его создания вьюхой, например, можно сменить шаблон или добавить контекстные данные.
Изменения в работе кэша.
Права доступа неактивных пользователей.
MEDIA_URL и STATIC_URL должны заканчиваться слэшом.
И множество более мелких правок.

Куча изменений, несовместимых с прежними версиями. Поддержка mod_python прекратится к версии 1.5. Да здравствует mod_wsgi!

Волшебная кнопка

2011-03-02T17:18:00.000+06:00

Несколько раз я сталкивался с тем, что запущенная в линуксе программа начинает отжирать всю доступную память, система сваливается в штопор, и закрыть виновницу удаётся с большим трудом... Простой пример для теста — откройте XML файл в несколько мегабайт в Firefox. ;)

Уже гораздо позже я узнал, что есть т.н. "волшебная кнопка" — "бесполезная" клавиша SysRq (она делит место жительства с PrintScreen). Это единственная прямая связь с ядром линукса, работающая всегда (конечно, если работает и ядро). Тест из первого абзаца проходится с помощью SysRq+Alt+f — вызывается обработчик ситуации нехватки памяти, который и завершает самый "тяжёлый" процесс. Из любимого ещё убиение X-сервера — SysRq+Alt+k.

Статический анализ кода в Python

2011-03-02T16:18:00.000+06:00

В статье на Хабре наткнулся на упоминание статических анализаторов кода для Python. Инструмент этот очень полезен при регулярном его использовании. Немножко подробнее расскажу о pep8, pylint и pyflakes.

pep8

Этот анализатор проверяет соответствие кода знаменитому PEP 8 — руководству по стилю кода Python. В больших и не очень командах хорошая штука, ибо "Readability counts"!

pylint

Самый придирчивый анализатор из всех трёх, хотя стиль кода проверяет немножко иначе, чем pep8 — акцент на "дурно пахнущем" и неоптимальном коде, выдаёт и предложения о рефакторинге. Бонусная опция — генерация UML-диаграмм с помощью команды pyreverse.
Угодить pylint весьма сложно, порой он ошибается — к счастью, настройки достаточно гибкие.

pyflakes

В отличие от pylint, проверяет только на логические ошибки в программе, стиль не учитывает.

На мой взгляд, золотая середина — pyflakes, поначалу можно использовать и pep8, дабы привить соблюдение стиля.

Бонус для пользователей Vim — вызов pyflakes или pylint после каждого сохранения редактируемого файла, сообщения об ошибках помещаются в окошко "quickfix":

command Pylint :call Pylint()
function! Pylint()
    setlocal makeprg=(echo\ '[%]';\ pylint\ %)
    setlocal efm=%+P[%f],%t:\ %#%l:%m
    silent make
    cwindow
endfunction

command Pyflakes :call Pyflakes()
function! Pyflakes()
    let tmpfile = tempname()
    execute "w" tmpfile
    execute "set makeprg=(pyflakes\\ " . tmpfile . "\\\\\\|sed\\ s@" . tmpfile ."@%@)"
    silent make
    cwindow
endfunction

autocmd BufWrite *.{py} :call Pyflakes()

Обработка ссылок mailto в Google Chrome

2011-02-25T17:23:00.000+06:00

Наконец нашёл решение давней несуразности: в отличие от Firefox, линуксовый Google Chrome при попытке открыть почтовую ссылку (протокола "mailto") запускает почтовую программу, а мне нужен Gmail. Замечательный superuser.com подсказал, что в Ubuntu для этого достаточно установить пакет desktop-webmail (плюс к этому я выбрал Desktop Webmail в настройках Preferred Applications/Mail Reader — возможно, это необязательно).

Репликация и устойчивое хэширование в memcached

2011-02-22T17:03:00.000+06:00

Memcached работает просто и быстро, как электровеник, и не поддерживает репликации, которая может понадобиться при горизонтальном масштабировании серверов memcached.

Есть как минимум два варианта решения этой задачи. Первый используется для репликации мастер-мастер и не зависит от языка программирования — repcached, патч к memcached, добавляющий репликацию между серверами. (Инструкция по установке.) Из минусов — устанавливать придётся, скорее всего, из исходников и поддерживается не самая последняя версия memcached (примерно полуторагодовалой давности).

Другой способ специфичен для PHP (впрочем, наверняка есть схожие решения и для других языков). Модуль php5-memcache позволяет реализовать подобие репликации с помощью хранения каждого ключа на N серверах. В случае, если один из серверов падает, ключ будет храниться на оставшемся и каком-то N+1 сервере. С помощью этого модуля можно хранить и сессии с избыточностью. Выдержка из readme:

# When enabled the client sends requests to N servers in parallel, resulting in

# a somewhat crude reduncancy or mirroring, suitable when used as a session 

# storage. 

#

# If data integrity is of greater importance a real replicating memcached 

# backend such as "repcached" (http://sourceforge.net/projects/repcached/) is 

# recommended



memcache.redundancy =                      # default 1

memcache.session_redundancy =              # default 2

Для большинства приложений такой надёжности достаточно.

Вдобавок этот модуль использует т.н. "устойчивое хэширование" ("consistent hashing"). Вкратце, этот алгоритм позволяет привязывать ключи к определённым серверам memcached и при удалении/добавлении серверов бóльшая часть ключей останется привязана к тем же серверам. Таким образом, для распределения нагрузки без использования репликации достаточно встроенных средств php5-memcache.

Для Python такую функциональность предоставляет модуль hash_ring.

Новое в PHP

2011-02-18T11:26:00.001+06:00

Господин Ilia Alshanetsky (судя по всему, выходец из СССР) опубликовал прекрасную презентацию о малоизвестных фичах в PHP, в частности, PHP 5.3: PDF (3 МБ). В свою очередь хочу упомянуть о появлении в PHP 5.3 анонимных функций, с помощью которых можно реализовывать и замыкания (closures). Не так удобно, как в других языках, но сам факт радует.

Чёрная магия Ruby

2011-02-09T16:34:00.000+06:00

На работе понадобилось поменять пару вещей в Redmine — написан он на Ruby on Rails. Случилось то, что так давно откладывал — я познакомился с Ruby и RoR.

Ruby произвёл неоднозначное впечатление большого хака, из которого к тому же торчат уши зубодробительного Perl. Но хак этот эффективный и в умелых руках работает со страшной силой. К RoR эти слова применимы в квадрате — это ещё бóльшая чёрная магия. Японское происхождение частично объясняет странность Ruby.

Избранные места из документации Ruby:

В Ruby всё — объекты. Даже числа. Чего стоит, например, такой код:
```
5.times { |i| print i, ' ' }
```
Этот кусочек иллюстрирует ещё одну странную, но мощную фишку — передача кусков кода в виде аргументов функции. Похоже на lambda-функции в Python, но мощнее и применяется повсеместно.
При записи числа допустима, например, следующая форма:
```
a = 1_000_000
```
Чтобы, значит, читабельность кода увеличить.
Ruby вообще любит использовать ASCII-таблицу по максимуму. Функция проверки валидности может называться valid?, а сортировка массива "in place" — sort!.
Как и многие языки, в Ruby объекты могут наследоваться лишь от одного родителя. Но можно включать в класс код из других модулей, при этом их функции становятся методами данного класса — это ж настоящий monkey patching!
Определение класса может состоять из несколько кусков. Т.е. мы начали определять класс A, потом пошло определение класса B, потом мы опять продолжили определить класс A. На практике это означает, что можно переопределить поведение даже базовых классов, того же String. Вот это действительно monkey patching.
И ещё для Ruby написано самое странное руководство из тех, что я встречал.

В заключение можно ещё раз повторить: Ruby — очень эффективный инструмент в умелых руках. В неумелых он вносит хаос в код и мозг программиста.

Лично мне ближе элегантность Python, замешанная на дзене. ;)

Новый старый PNG

2010-12-10T13:56:00.002+06:00

Оказывается, формат PNG не так уж и прост. Среди прочего он позволяет эффективно сжимать градиентную заливку внутри картинки, отсюда вывод — если требуется на градиентный фон что-то наложить, эффективнее будет сделать фон отдельной картинкой, а сверху наложить другую с объектами переднего плана и прозрачным фоном.
Есть несколько утилит для оптимизации размера PNG, одна из лучших открытых — OptiPNG, есть удобные обёртки под Windows, Mac и Linux. Но ещё лучше по степени сжатия — бесплатная утилитка PNGOUT.

Грабли в MySQL

2010-11-19T14:10:00.000+06:00

Сегодня, как обычно случайно, выяснил, что если подключиться к одной базе и начать там транзакцию с помощью START TRANSACTION/BEGIN, то любой запрос к другой базе приостанавливается — MySQL ждёт, когда вы закончите открытую транзакцию к первой базе.

Вся мощь Vim

2010-10-21T10:58:00.001+07:00

Я люблю Vim странной долгой любовью. :) Встречая такие мануалы, понимаю, что только начинаю изучать его. Осталось понять сей славный документ, и можно называться Vim-гуру. B-)

Server-side jQuery

2010-09-08T13:21:00.001+07:00

jQuery настолько прекрасен, что портируется и на серверные языки, дабы упростить написание всевозможных парсеров. Я использую два порта, pyquery и phpquery, соответственно — для Python и PHP. Весьма облегчают жизнь.

XtraDB и MariaDB

2010-06-25T12:46:00.000+07:00

Оказывается, правильные пацаны потихоньку переходят на XtraDB. Как пишет Википедия:

В последнее время из-за излишней закрытости разработки MySQL компанией Sun Microsystems появилось много сторонних (например, от компании Google) патчей с улучшениями производительности и исправлениями ошибок, большинство из которых были включены в форк InnoDB под названием XtraDB, созданный компанией Percona.

Percona была создана в 2006 году для консультирования и поддержки MySQL-пользователей. И основатели её имеют знакомо звучащие имена, как то Peter Zaitsev и Vadim Tkachenko. В общем, наши люди.

Как известно, InnoDB — это лучший движок для таблиц MySQL с нормальной поддержкой транзакций, внешних ключей и т.п. XtraDB, по заявлениям авторов, работает быстрее плюс позволяет осуществлять бэкап таблиц на лету. У InnoDB тоже есть такой инструмент, но он платный, в отличие от XtraDB. Формат таблиц используют они один и тот же, т.е. можно существующую базу пересадить с одного движка на другой без проблем.

А ещё есть форк MySQL под названием MariaDB. Это детище основателя MySQL Michael "Monty" Widenius. Формат БД, API, имена файлов и т.п. полностью совместимы с MySQL. Взамен обещается ускорение и новые фичи. Ну и движок XtraDB включён в комплект вместо InnoDB.

О MySQL в многопоточном Python'е

2010-06-09T18:21:00.000+07:00

В проекте возникла необходимость доступа к MySQL из разных потоков (threads). Я внимаааааааааательно прочитал официальную документацию библиотеки для доступа MySQL из Python, и она заявляет, что нельзя использовать одно и то же подключение к БД в разных потоках.

На помощь спешит PySQLPool, в нём есть методы для создания пула подключений к MySQL.

Я использую движок таблиц (table engine) InnoDB с нормальной поддержкой транзакций. Совсем неинтересно каждый раз писать BEGIN TRANSACTION/COMMIT, это ж Python! Должен быть способ! И он нашёлся.

В версии 2.5 добавили оператор with и контекстные менеджеры. Я написал простенький патч, и использование транзакций стало простым и красивым:

q = PySQLPool.getNewQuery(connection)
with q: # внутренние запросы обёрнуты в транзакцию
            q.Query('INSERT INTO peer SET PeerName=%s', (name,))

Есть и маленькая ложка дёгтя в виде заявленного автором бага при работе с транзакциями из нескольких тредов. В общем-то, ко времени релиза нашего проекта либо я исправлю этот баг, либо автор, либо вы. ;)

Сетевое программирование в Python

2010-05-14T16:52:00.000+07:00

Нашёл хороший туториал (PDF) на английском про сетевое программирование в Python — чётко изложена сама теория, кое-чего я и сам не знал, и даны хорошие базовые примеры на Python.
На сайте автора есть и другие неплохие туториалы про Python.

UDP-траспорт

2010-05-05T14:25:00.005+07:00

В проекте, над которым я работаю, понадобилось использовать асинхронный UDP-траспорт. Как выяснилось, есть в этой задаче несколько подводных камней — о них и пойдёт речь.

Хотелось что-то максимально простое с помощью встроенных в Python средств.

Первый вариант — класс SocketServer.UDPServer. Минус его в том, что он использует блокирующие сокеты; для обхода этого в том же пакете есть и неблокирующие версии, реализованные с помощью тредов или даже отдельных процессов на каждого клиента. Но это не совсем асинхронность.

Второй способ — пакет asyncore, который как раз для асинхронных сообщений и предназначен. Правда, только для TCP. Создать нужный класс несложно, но есть несколько тонкостей:

class UdpTransport(asyncore.dispatcher, object):
    def __init__(self, addr=None):
        super(UdpTransport, self).__init__()
        self.ignore_log_types = set() # Для вывода дополнительных ошибок в asyncore, подсмотрел в исходниках asyncore :)
        self.create_socket(socket.AF_INET, socket.SOCK_DGRAM)
        # Размер этого буфера очень важен
        # Если входящий пакет будет больше него, остаток отбрасывается
        self.ReadBufferSize = self.socket.getsockopt(socket.SOL_SOCKET, socket.SO_RCVBUF)
        if addr:
            self.bind(addr) # Единственное отличие серверного сокета в использовании bind()
        
    def handle_close(self):
        self.close()

    def writable(self):
        return False

    def handle_read(self):
        try:
            data, addr = self.recvfrom(self.ReadBufferSize) 
        except socket.error: # Исключение возникает при чтении данных из сокета: когда они заканчиваются, следующая попытка вылетает
            pass
        # обработка данных

    def send(self, msg, toaddr):
        self.socket.sendto(msg, toaddr)

    handle_connect = handle_read # Нарыл где-то на просторах инета
    # Без этого asyncore не работает с UDP, первую порцию данных он интерпретирует как инициализацию подключения

Наследуемся и от object для использования super и отладки с помощью метакласса.

Вот, собственно, и всё, все хитрости прокомментированы в коде. Естественно, нам не требуется connect() для серверных сокетов, а вместо socket.send/recv нужно использовать методы sendto/recvfrom. Сперва я путался, в каких случаях что нужно применять — документация лаконична — но нашёл хороший источник с примерами, это наш родной `man`. ;) Например, `man bind` (или `man 2 bind`, если быть точным) показывает документацию С-шного сетевого API, обёрткой вокруг которого socket, собственно, и является. Если на вашем *nix такой странички нет, нужно установить пакет manpages-dev (в Debian и Ubuntu, по крайней мере).

Мощь Python

2010-04-28T17:53:00.000+07:00

Я не так давно читал про метаклассы в Питоне, и тут представился случай их использовать.
Задача: нужно отладить код сетевого приложения, дебаггером по нему не пройдёшь — при пошаговой отладке состояние сокетов теряется. Я решил печатать имя и аргументы каждого вызванного метода сетевых классов. Вариант со вставкой print в каждый метод — это явно не наш метод. :)

Получился вот такой метакласс:

class DebugMetaclass(type):
    '''Вывод вызова каждого метода объекта с параметрами, удобно при отладке
    сетевых приложений. ;)'''
    def __new__(cls, name, bases, attrs):
        cls.last_signature = None
        for elem in attrs:
            if inspect.isfunction(attrs[elem]):
                attrs[elem] = DebugMetaclass.decorator(attrs[elem])
        return super(DebugMetaclass, cls).__new__(cls, name, bases, attrs)
    
    @classmethod
    def decorator(cls, func):
        '''Возвращает обёрнутую функцию.'''
        @wraps(func)
        def wrapper(*args, **kwargs):
            signature = '%s.%s(%s, %s)' % (args[0].__class__.__name__, 
                                           func.__name__, ', '.join([str(a) for a in args]), 
                                           kwargs)
            if cls.last_signature != signature: # Добавлено для подавления повторяющихся сообщений
                print signature
                cls.last_signature = signature
            return func(*args, **kwargs)
        return wrapper

Класс, который будет использовать этот метакласс, должен наследоваться от object. В моём случае выглядит примерно так:

class UdpTransport(asyncore.dispatcher, object):
    __metaclass__ = DebugMetaclass

Сам dispatcher — это old-style class, поэтому я добавляю ещё одного родителя, но если поместить его первым, лезут баги.

Прекрасные материалы о метаклассах, new-style классах и прочей магии Питона есть на Хабре.
Про обёртки, сиречь декораторы, можно почитать в блоге Романа Ворушина.

В поисках утраченных исходников

2010-04-23T16:14:00.001+07:00

Сегодня я работал над модульными тестами для своего Python-проекта. Для простоты файлы тестов называю так же, как и файлы тестируемых модулей. Я решил перенести тесты в другой каталог и мимодумно скопировал их в каталог модулей. Исходники модулей, конечно, затёрлись.
"А-а-а-а!!!" — подумал я. К счастью, остались оригинальные *.pyc-файлы — скомпилированный байт-код Python, который, по идее, можно превратить обратно в исходник.
Быстрый поиск выдал замечательный пост на не менее замечательном StackOverflow. Бесплатная утилита UnPyc помогла почти полностью восстановить один из файлов, но споткнулась на другом, с list comprehensions. Тогда я решил воспользоваться онлайн-сервисом DePython, но у него два ограничения:

размер файла должен быть меньше 5 КБ;
версия Python <= 2.5.

У меня была 2.6. В том же замечательном посте привели программку для конвертирования pyc-файла в версию 2.3 — вся идея в том, чтобы заменить первые 4 байта файла на соответствующие версии Python. Ещё немножко поиска помогло узнать magic-строку для версии 2.5.
К счастью, модулей было всего два :), осталась последняя закавыка — текст на русском раскодировался в виде \xx-последовательностей. Тогда я обернул текст исходников в такой код:

print """
<здесь перекодированный код>
"""

При запуске скрипта в консоли с локалью UTF-8 вывелись строчки с чистым русским текстом. Ура!

Мораль сего такова: будьте внимательны, чаще коммитьте и не отчаивайтесь.

Ретуширование картинок

2010-04-04T10:26:00.001+07:00

Недавно наткнулся на видео с показом тестовой фишки в PhotoShop — Content-Aware Fill (заливка, зависимая от содержимого картинки):

Open source уже ~~два года~~ восемь лет (спасибо, prokoudine!) как имеет в своём распоряжении такой же плагин для Gimp. :)


До	После (убрал собачку и дома)

Ну разве это не красота?

Delete your account

2010-02-05T14:41:00.002+06:00

С ростом популярности соцсетей появляются и такие сервисы, как Delete Your Account. :)