vlan

Мой блог переехал на http://blog.pirx.ru/

2011-02-09T09:30:00-08:00

Мой блог переехал в мой домен: http://blog.pirx.ru/. Теперь он статически генерируемый, так что я смогу вводить новые вещи или оформление по желанию.

В новом блоге будут материалы двух видов:

Красивые фотографии (северная природа, искусство)
Заметки по разработке ПО и технологиям

Пожалуйста, подпишитесь на новую новостную ленту!

м. Обводный канал

2011-01-06T12:17:34-08:00

м. Обводный канал

Photo

2010-12-25T02:11:30-08:00

Author: MarcoB. Licensed under the terms of a Creative Commons...

2010-11-30T02:32:00-08:00

Author: MarcoB. Licensed under the terms of a Creative Commons License.

Моноид в категории эндофункторов

2010-11-23T23:27:00-08:00

Монада является моноидом, если заменить декартово произведение множеств композицией функторов (монада является функтором), умножение — функцией join, а единицу — pure. Законы моноида при этом выполняются.

Mac Lane S. Categories for the Working Mathematician. — Springer, 1998:

A monad T = < T, η, μ > in a category X consists of a functor T: X → X and two natural transformations η: I_X → T, μ: T^2 → T, which make the following diagrams commute <…>^*.

Formally, the definition of a monad is like that of a monoid M in sets <…>. The set M of elements of the monoid is replaced by the endofunctor T: X → X, while the cartesian product ⨯ of two sets is replaced by composite of two functors, the binary operation μ: M ⨯ M → M of multiplication by the transformation μ: T^2 → T and the unit (identity) element η: 1 → M by η: I_X → T. We shall thus call η the unit and μ the multiplication of the monad T; the first commutative diagram <…> is then the associative law for the monad, while the second and third diagrams express the left and right unit laws, respectively. All told, a monad in X is just a monoid in the category of endofunctors of X, with product ⨯ replaced by composition of endofunctors and unit set by the identity endofunctor.

^* Диаграммы, на которые ссылается текст, описывают известные законы монад.

Свяжем это с монадами в Haskell. T — это Monad m ⇒ m a, η — это pure :: Monad m ⇒ a → m a, а μ — join :: Monad m ⇒ m (m a) → m a.

Напомню, что эта категория называется Hask. В ней объектами являются типы Haskell, а морфизмами — функции. Композиция морфизмов — это (.), единичный морфизм — id.

Функторы Haskell Functor являются функторами из Hask в подкатегорию Hask, состоящую из типов, образованных приписыванием конструктора. То есть типу a ставится в соответствие тип m a, а функции a → b — функция m a → m b.

Author: mwri. Licensed under the terms of a Creative Commons...

2010-09-14T06:18:00-07:00

Author: mwri. Licensed under the terms of a Creative Commons License.

Разбор аргументов командной строки в opster

2010-09-11T09:09:00-07:00

Попробовал библиотеку @asolovyov для разбора аргументов командной строки в Python, которая называется opster (вот доки, исходники). Это ещё одна библиотека, решающая те же задачи, что и стандартные getopt, optparse и argparse.

Впечатления приятные. Кода действительно надо писать меньше. Самая главная идея — отделить код обработки опций от кода функции, которой они нужны как аргументы. То есть если у меня есть функция:

def test(arg1, arg2, include=[], exclude=[], verbose=False):
    '''A test command.'''
    ...

то для превращения её в утилиту командной строки мне не надо её менять, только снабдить декоратором @command или обернуть её в этот декоратор непосредственно в main:

@command(usage='%name [hIXv] arg1 arg2',
         options=[
             ('I', 'include', [], 'include names'),
             ('X', 'exclude', [], 'exclude names'),
             ('v', 'verbose', False, 'be more verbose')])
def test(arg1, arg2, include=[], exclude=[], verbose=False):
    '''A test command.'''
    ...

Получилось 5 строк. Этот же пример на getopt занимает где-то 30 строк.

Затем можно вызвать функцию, передав аргументы командной строки:

if __name__ == '__main__':
    test(argv=sys.argv[1:])

либо вызывать как обычную функцию:

test('foo', 'bar', include=['path1', 'path2'], verbose=True)

При этом у программы появится автоматическая справка по -h:

$ ./test -h
test [hIXv] arg1 arg2

A test command.

options:

 -I --include  include names
 -X --exclude  exclude names
 -v --verbose  be more verbose
 -h --help     show help

Ещё несколько слов об особенностях. Есть поддержка подкоманд (в духе Mercurial, Git). Нет обязательных опций, но это даже хорошо. Какой смысл в обязательных опциях? Есть поддержка задания одной опции несколько раз (значений типа [str]), а также значений bool, str, int и интересных значений str -> a, то есть функций по преобразованию значения во что угодно.

Из минусов можно назвать не всегда корректную работу с Unicode, stack trace при указании неверных значений опций вместо красивых сообщений об ошибках, невозможность задать только короткое имя опции и ещё несколько мелочей.

Библиотека opster определённо заслуживает внимания.

См. также:

Original opster announcement

Жилой дом и ресторан. 1920-е. Приозерск, Ленинградская область....

2010-09-06T01:38:01-07:00

Жилой дом и ресторан. 1920-е. Приозерск, Ленинградская область. Функционализм.

См. также другие здания в стиле функционализм в Приозерске.

"f x = x. I don’t do very much but at least I’m unique."

2010-09-01T07:38:40-07:00

“f x = x. I don’t do very much but at least I’m unique.”

- James Chapman (via annayudi)

Правила краткого кода

2010-08-31T08:35:32-07:00

Есть известные правила программирования в Unix. Мы решили обратить внимание на схожие правила, помогающие создавать краткий программный код:

Код должен быть читаемым текстом, но не на естественном языке
Абстракции должны браться из спеки, а не из воздуха
Плохо абстрагировать пост-фактум повторяющиеся куски
Много строк — плохо, но много обозначений — тоже плохо
Зло кроется в особых случаях
Нужно локализовывать оптимизации любого уровня
Не знаешь точно, пригодится ли код, — не пиши

Водонапорная башня. 1920-е. Сортавала, Карелия....

2010-08-29T08:06:00-07:00

Водонапорная башня. 1920-е. Сортавала, Карелия. Функционализм.

См. также другие здания в стиле функционализм в Сортавале.

"I admire people who understand complicated programs or whatever. But I’m not that into tunes..."

2010-08-28T13:28:00-07:00

“I admire people who understand complicated programs or whatever. But I’m not that into tunes that are so sequenced that all you can hear is the perfect grid, even on the echoes. With those kind of tunes, sometimes I just hear Tetris music, I always know where I am in the tune so I can’t get lost in it, no rough edges in some tunes even when they try hard to sound rough. I want to learn one day how to make tunes properly, but I wanted to do a tribute to my rubbish, dying computer. It starts smoking sometimes and the screen flickers like a strobelight, it mashes your eyes. The tunes are made where they’re made, somewhere in my building, the roof or wherever, but not in some airtight studio. Loads of the album was made with the TV on. I wish I could make technical proper music one day but people who want technical music maybe won’t like my new tunes but its not for them.”

- Burial

xkcd #571: Can’t Sleep

2010-07-25T07:08:51-07:00

xkcd #571: Can’t Sleep

Вид со стены крепости Копорье на Финский залив. Автор: Андрей...

2010-07-04T00:16:00-07:00

Вид со стены крепости Копорье на Финский залив. Автор: Андрей Власовских.

Author: Incubos. Licensed under the terms of a Creative Commons...

2010-05-25T12:09:34-07:00

Author: Incubos. Licensed under the terms of a Creative Commons License.

Отчёт о DevConf

2010-05-24T03:08:38-07:00

2010-05-17 в Москве прошла конференция DevConf. Я на ней выступал с докладом Внешние языки DSL на funcparserlib (см. интервью со мной).

Я хочу поделиться впечатлениями о потоке Python этой конференции. Я также собрал немного ссылок по конференции, привожу их в конце поста.

Мы ехали в Москву из Петербурга в компании с @andreypopp, @hdima и @dimasmz. Приехали вечером в воскресенье, остановились у @barbuza. Он с @semenov и @andreypopp продолжили готовить свои доклады, обсуждая при этом Django. Мне, как и @otkds, поэтому казалось, что выступление @barbuza на конфе должно было быть более резким :)

Мне, слава богу, проблемы Django были достаточно далеки. Мой доклад о funcparserlib был готов за неделю до конфы и я мог просто повеселиться и отдохнуть :)

Организация конференции была на весьма среднем уровне. Не буду подробно на этом останавливаться.

Теперь о самих докладах. Многие темы докладов были интересными. Но сами доклады отличались, к сожалению, значительной монотонностью. Так что когда я ниже говорю, что доклад был интересный, я оставляю монотонность за скобками ;)

@andreypopp выступал с двумя докладами. Первый доклад о gevent был для меня более интересным. Есть разные решения для IO-bound parallelism на Python. gevent — одно из них. Я бы хотел узнать более подробно о том, насколько gevent применима для actor-based concurrency. Разработчик одной из альтернатив, eventlet, показал, как можно создавать акторов на основе его библиотеки. Про gevent пока не ясно. Хотелось бы ещё узнать подробнее о различиях между Stackless Python, gevent и eventlet.

Доклад Андрея Светлова про import hooks также затронул интересную тему. Я как раз какое-то время назад жаловался, что Python грузится слишком долго, импортируя слишком много модулей при начальной загрузке. Так что узнать подробнее о том, как работают механизмы импорта, было хорошей идеей. К сожалению, Андрей включил в доклад слишком много деталей, из-за которых потерялись ключевые моменты. Думаю, что доклад выполнил свою задачу в том смысле, что теперь мне интересно почитать об импорте подробнее.

Дальше были два более коротких доклада, один мой про funcparserlib и создание DSL на Python и ещё один доклад @intelliyole об IDE PyCharm для Python от JetBrains. Про свой доклад я рассказывать не буду :) Про IDE лучше смотреть, чем рассказывать. Для поклонников Eclipse, NetBeans и IntelliJ IDEA эта новая IDE PyCharm наверняка будет хорошим выбором. Я использую vim, так что для меня это не очень актуально.

Александр Шигин рассказывал в своём докладе о Cython, расширении языка Python для более удобного создания расширений на C для Python. Опять же интересная вещь, но у меня до неё ещё не доходили руки. Я обычно взаимодействую с C из Python при помощи Unix IPC: запуска процессов, обмена через неименованные каналы, сокеты. Более тесная интеграция независимых программ — обычно плохая идея. Когда это всё же нужно, то я использовал модуль стандартной библиотеки ctypes для вызова функций на C из разделяемых библиотек. Cython — это ещё один возможный вариант. Более того, если нужно ускорить код на Python, а не взаимодействовать с кодом на C, то он, видимо, должен хорошо решать эту задачу. Возможно, на нём можно намного быстрее делать различные рекурсивные обходы. На Python это часто слишком медленно.

@isagalaev проводил мастер-класс, а не читал доклад. Его мастер-класс был посвящён созданию библиотеки потоковой генерации XML. Было любопытно понаблюдать за процессом создания библиотеки (опять же не принимая в расчёт монотонность изложения). О чём хотелось бы услышать подробнее — об альтернативах разных решений и о том, почему было выбрано то или иное решение.

На мой взгляд, для подобных задач (генерация больших списков записей в XML) лучше подошёл бы другой подход, очень частный, но простой. Нужен генератор XML-деревьев отдельных небольших записей списка и функция сериализации этого списка внутри тэгов-контейнеров. Так проще работать с XML, не надо везде подстраивать свой код под потоковость. Только на уровне одного очень большого списка тэгов. Вот на уровне псевдокода:

def get_entries(...) -> Iterable(etree.Element):
    'Вернуть итератор по XML-документам всех записей в БД.'
    return (to_xml_etree(e) for e in get_db_entries(...))

def dump_entries(entries: Iterable(etree.Element)) -> Iterable(str):
    'Вернуть сериализованный поток записей.'
    return itertools.chain([''],
                           (etree.tostring(e) for e in entries),
                           [''])

Второй доклад @andreypopp был посвящён веб-фреймворку repoze.bfg. У меня создалось впечатление, что это очередная Java. Проблемы, которые он решает, выглядят надуманными, а решения — слишком unpythonic, в стиле Java. Может быть, для каких-нибудь крупных enterprise приложений это и имеет смысл, но я вообще-то сомневаюсь :) Simple is better than complex. Complex is better than complicated. Фреймворк repoze.bfg показался как раз complicated. Если нельзя даже объяснить кратко, зачем нужны какие-то решения, значит вряд ли они по-настоящему нужны.

Совместный доклад @barbuza и @semenov был о минусах Django, из-за которых временами бывает очень неудобно с ней работать. Со многими из перечисленных минусов я сталкивался сам, некоторые ещё не встречал. Доклад был очень полезный. В некоторых областях, например в ORM, стоит явно посмотреть на альтернативы Django. Одна из плохих вещей про Django, о которой упомянули докладчики, это снижение среднего уровня программистов на Python. Сейчас многие начинают использовать Django, даже не зная толком сам язык. Это грозит сообществу PHP-культурой кодирования. С этой точки зрения Django — это зло.

@asolovyov рассказал как раз об одной из альтернатив Django, которую он создаёт вместе с несколькими open-source разработчиками. Их фреймворк называется Svarga. Команда у них очень маленькая и они уделяют проекту довольно мало времени. Зато и кода там на порядок меньше, чем в Django. Надеюсь, меньше за счёт лишнего и ненужного кода в Django :)

Это вообще настоящая беда — раздувать код проектов. Это объясняется, как мне кажется, неумением всех нас программировать. Насколько я знаю, ни в каком другом виде деятельности не создаётся таких огромных текстов, как в программировании. С этим точно надо что-то делать. Один из подходов к этой проблеме — работы Viewpoints Research Institute. У них есть несколько интересных публикаций и видео докладов, стоит посмотреть.

Вот такие доклады были в потоке Python. В перерывах между докладами удалось немного пообщаться с друзьями-питонистами, познакомиться с новыми людьми и увидеться с теми, с кем общался раньше только в Инете. @otkds уже отмечал, что общались достаточно дружно, во время обеда и по окончании конференции все садились вместе, продолжали обсуждение.

У меня получилось побывать только на первом дне конференции, вечером надо было торопиться на поезд в Петербург. В целом впечатления от конференции положительные. Спасибо всем, с кем удалось пообщаться и кого удалось послушать :)

Ниже приведено несколько собранных мной ссылок по потоку Python.

Фотки:

@riffm: Альбом devconf_ru 2010
@barbuza: #devconf_ru начало @andreypopp @dimasmz
@hdima: @andreypopp и котэ
@sharifulin: Питонисты на #devconf_ru (участник задаёт @vlasovskikh вопрос)

Отчёты:

@otkds: Впечатления от DevConf::Python()

Другое:

Author: Suomi2005. Licensed under the terms of a Creative...

2010-05-21T11:32:56-07:00

Author: Suomi2005. Licensed under the terms of a Creative Commons License.

Интервью со мной перед DevConf

2010-05-11T06:52:00-07:00

Я выступлю с докладом об использовании внешних языков DSL и моей библиотеке funcparserlib на DevConf в секции Python. Конференция пройдёт в Москве 2010-05-17.

Перед конференцией организаторы взяли у меня небольшое интервью. В нём я упоминаю мои текущие проекты, рассказываю о теме предстоящего доклада.

Супрематизм на улицах Петербурга. Автор неизвестен. Фото: Андрей...

2010-04-29T10:29:37-07:00

Супрематизм на улицах Петербурга. Автор неизвестен. Фото: Андрей Власовских. Можно встретить искусство в неожиданных местах. Например, в подземном переходе у вокзала.

vlan

Мой блог переехал на http://blog.pirx.ru/

м. Обводный канал

Photo

Author: MarcoB. Licensed under the terms of a Creative Commons...

Моноид в категории эндофункторов

Author: mwri. Licensed under the terms of a Creative Commons...

Разбор аргументов командной строки в opster

Жилой дом и ресторан. 1920-е. Приозерск, Ленинградская область....

Популярные лекции Фейнмана по квантовой механике

"f x = x. I don’t do very much but at least I’m unique."

Правила краткого кода

Водонапорная башня. 1920-е. Сортавала, Карелия....

"I admire people who understand complicated programs or whatever. But I’m not that into tunes..."

xkcd #571: Can’t Sleep

Вид со стены крепости Копорье на Финский залив. Автор: Андрей...

Author: Incubos. Licensed under the terms of a Creative Commons...

Отчёт о DevConf

Author: Suomi2005. Licensed under the terms of a Creative...

Интервью со мной перед DevConf

Супрематизм на улицах Петербурга. Автор неизвестен. Фото: Андрей...