TONY.SU

Чего мне не хватает

2014-07-15T12:03:36Z

Стандартизированности:

Единого протокола вроде SphinxQL для всех поисковых движков, при том настолько же расширяемого как xmpp, и чтобы мог работать как через сокеты так и через http. Хотя для начала и http достаточно
Стандартизированного API для внешнего общения с web-браузерами, вплоть до элементов html
Полного стандарта для формата метаданных к пакетам slackware

Альтернативности:

Достойной альтернативы SQLAlchemy
Банк-клиентов работающие без java и IE.
Не "замыленную", кириллическую альтернативу Terminus
Альтернативу ЕР в парламенте (нынче модно и я напишу)

В Google App Engine:

Python 2.7
Полноценных вебсокетов без всяких channel api
NumPy и SciPy на борту

Ну и вообще:

mercurial на github
Мержа всех мелких и достающих багов в основную ветку twisted
Возможности подмены на лету contrib.auth.User в django без манкипатчей
Открытого xmpp в vk, а не в режиме "резервации" как сейчас
Хорошего выбора старых добрых мониторов 4:3 и разрешением более 1280x1024
Достойного АИ-98 на заправках
Возможности делать асинхронный вызов в tornado так же легко как deferToThread в twisted
Пива "Тогучинсоке" - было раньше такое

switch-case и if-elif-else в python

2014-07-15T12:03:36Z

Многие кидают камень в огород python за то, что там нет полноценного блока switch-case. Некоторые из огорода python кидают ответный камень говоря про замену в виду if-elif-else

Я не одобряю не тех не других и матерю оба лагеря, ибо считаю что блоки подобные switch-case просто не нужны в большинстве случаев. И в свою очередь if-elif-else как эмуляция именно switch-case тоже бесполезна.

Типичный блок кода с if-elif-else и эмуляцией switch-case:

if token == 1:
    do_something1()
elif token == 2:
    do_something2()
elif token == 3:
    do_something3()
elif token == 4:
    do_something4()
elif token == 5:
    do_something5()
else:
    raise ValueError('unknown token %s' % token)

Это убого и некрасиво.

Теперь красиво:

tokens = (do_something1, do_something2, do_something3,
          do_something4, do_something5)
if token < 1 or token > len(tokens):
    raise ValueError('unkown token %s' % token)

tokens[int(token)-1]()

Аналогично с dict, в случае если token может быть произвольной строкой. Пример сложнее, если в do_something[0-9] передаются произвольные аргументы.

from functools import partial as p
tokens = (p(do_something1, 123), p(do_something2, mykwarg=666),
          p(do_something3, 'arg', mykwarg=777, mykwarg2=888),
          do_something4, p(do_something5, args),)

Далее в точности как в примере выше. Можно обойтись и без functools, и сделать все руками, никаких проблем.

Однако, if-elif-else может быть полезен, но только в том случае, когда он не используется как замена для swtich-case. Пример из cyrax:

def parse_line(line):
    key, value = strip(line.split(':', 1))
    s, e = value.startswith, value.endswith
    if s('[') and e(']'):
        value = strip(value[1:-1].split(','))
    elif s('{') and e('}'):
        value = dict(strip(x.split(':')) for x in value[1:-1].split(','))
    elif s('date:'):
        value = parse_date(value[len('date:'):].strip())
    elif key.strip() == 'date':
        try:
            value = parse_date(value)
        except ValueError:
            pass
    elif value.lower() in 'true yes on'.split():
        value = True
    elif value.lower() in 'false no off'.split():
        value = False
    return key, value

with - заблуждения об управлении контекстом в python

2014-07-15T12:03:36Z

Информация в этом посте быть может очевидна для многих, но все же может быть полезной тем, кто не уверен в знаниях об управлении контекстом. Про управление контекстом и with написано очень много и с очень давних времен. Однако, почему-то не все понимают казалось-бы очевидные вещи, например за последний месяц мне пришлось двум разным людям объяснить элементарные вещи о работе с with. Во многих примерах есть уопмянание класса с методами __enter__ и __exit__ например первая ссылка в гугле, или даже без примера, и так неплохо объяснено в официальной документации.

Еще раз копирую пример здесь:

class Logger(object):
    def __init__(self, val):
        self.val = val
        print "%d :: __init__" % self.val

    def __enter__(self):
        print "%d :: __enter__" % self.val

    def __exit__(self, exc_type, exc_val, exc_tb):
        print "%d :: __exit__ " % self.val

for i in xrange(5):
    with  Logger(i) as log:
        pass

Почти ни у кого не возникает вопросов в какой момент срабатывает __enter__, а в какой __exit__ однако, далеко не все понимают что эти два метода НЕ являются деструкторами и конструкторами класса (в данном случае Logger), и соответственно не являются заменой методов __new__ и __del__, а значит оператор with может быть применен к экземпляру класса Logger более одного раза.

Вот так:

logger = Logger(0)

for i in xrange(5):
    logger.val += 1
    with logger as log:
        pass

Есть еще одно заблуждение, и оно в принципе обосновано ибо тут уже начинают немного пудрить мозги примеры. Многие думают, что внутрь контекста идет обязательно инстанс того объекта, который был передан в with, то есть в переменной log обязательно будет инстанс класса Logger. Однако, это не так. В контекст попадает любой объект который возвращает __enter__, и в примере выше переменная log будет равна None, более подробный пример можете посмотреть по ссылке выше, хоть он и бесполезен в python 2.7.

Далее, где можно применить управление контекстом кроме банального открытия файлов:

Больше всего мне понравился пример с concurrent

Отличный пример - управление транзакциями в Django

assertNumQueries в django.test

Давно валялся в закладках пример отслеживания времени бенчмарков

elementflow

Примеров очень много, и применение зависит только от фантазии программиста.

Loxun - потоковая генерация xml в python

2014-07-15T12:03:36Z

Loxun - отличная замена для XMLGenerator из xml.sax. В чем его плюсы перед последним:

SAX:

xml = XMLGenerator(out)
xml.startDocument()
xml.startElement('root')
xml.startElement('body')
xml.startElement('item')
xml.characters('some data')
xml.endElement('item')
xml.endElement('body')
xml.endElement('root')
xml.endDocument()

Loxun:

xml = XmlWriter(out)
xml.startTag('root')
xml.startTag('body')
xml.startTag('item')
xml.text('somedata')
xml.endTag()
xml.endTag()
xml.endTag()

Либо еще короче вместо трех вызовов endTag можно сделать xml.endTags() и все открытые элементы закроются автоматически.

Пойдем далее, необходимо добавить элемент вида:

<addr host="127.0.0.1" port="8080" />

SAX:

xml.startElement('addr', {'host': '127.0.0.1', 'port': 8000})
xml.endElement('addr')

Loxun:

xml.tag('addr', {'host': '127.0.0.1', 'port': 8080})

Работа с xmlns

SAX:

xml = XMLGenerator(out)
xml.startDocument()
xml.startElement('root', {'xmlns:g': '/some/url/to/xmlns'})
xml.startElement('item')
xml.startElementNS('image', 'g')
xml.characters('some data')
xml.endElementNS('image', 'g')
# ....

Loxun:

xml = XmlWriter(out)
xml.addNamespace('xmlns:g', '/some/url/to/xmlns')
xml.startTag('root')
xml.startTag('item')
xml.startTag('g:image')
xml.text('somedata')
xml.endTags()

Преимущество такого подхода в том, что значительно упрощается автоматизация, ниже будет пример. Но есть и другие полезные вещи loxun которых нет в SAX:

Никаких UnicodeDecodeError loxun конвертирует в unicode сам.

XmlWriter сам по себе является context-manager'ом, а значит можно использовать with.

Полезная функция сделанная мной - возможно использовать method chaining.

pretty-print из коробки.

И так, пример генерации google merchant feed.

from loxun import ChainXmlWriter

SITE_TITLE = 'tony.su'
SITE_LINK = 'tony.su'
SITE_DESCRIPTION = "tony's blog"

def export_merchant_xml(file, products):
    with ChainXmlWriter(file) as xml:
        xml.addNamespace('g', 'http://base.google.com/ns/1.0')
        xml.startTag('rss', {'version': '2.0'}).startTag('channel')
        xml.startTag('title').text(SITE_TITLE).endTag()
        xml.startTag('link').text(SITE_LINK).endTag()
        xml.startTag('description').cdata(SITE_DESCRIPTION).endTag()
        xml_fields = (
                    ('title', 'title'),
                    ('link', 'get_absolute_url'),
                    ('description', 'descr_short'),
                    ('g:image_link', 'get_pic_url'),
                    ('g:price', 'price'),
                    ('g:condition', 'condition'),
                    ('g:id', 'get_merchant_id'),
                )

        for product in products:
            xml.startTag('item')
            for xml_field, attr_name in xml_fields:
                xml.startTag(xml_field)
                attr = getattr(product, attr_name)
                xml.text(unicode(attr if not callable(attr) else attr()))
                xml.endTag()
            xml.endTag()
        xml.endTags()

def main():
    with open('merchant.xml', 'w') as f:
        products = [] # итератор с объектами загруженными из базы данных
        export_merchant_xml(f, products)

if __name__ == '__main__':
    main()

Twisted + SqlAlchemy

2014-07-15T12:03:36Z

Так уж получается, что пишу посты исключительно по просьбе знакомых, либо когда меня много раз просят объяснить или показать одну и ту же вещь. На сей раз описываю вариант взаимодействия twisted и sqlalchemy. Сразу говорю что изначально авторство не моё, мне подсказали подобный вариант использования на IRC канале #python в сети freenode.net, к сожалению ника подсказавшего уже не помню.

Для начала немного теории, как можно использовать реляционную базу данных асинхронно с применением twisted:

Можно использовать twisted.enterprise.adbapi однако подружить с SqlAlchemy его достаточно сложно. Конечно, можно использовать только конструктор запросов из SqlAlchemy и запускать их напрямую в adbapi.

Драйвер psycopg2 поддерживает неблокируемые запросы.

Когда-то существовал проект SaSync который на данный момент находится в неживом состоянии.

Использовать свою обертку для SqlAlchemy и Twisted.

Больше чем уверен, есть еще много других способов, но здесь я опишу последний.

Перед тем как начать, я опишу значение декоратора toThread, использование которого будет ниже:

from twisted.internet import threads

def toThread(f):
    def wrapper(*args, **kwargs):
        return threads.deferToThread(f, *args, **kwargs)
    return wrapper

Декоратор оборачивает функцию в deferToThread и делает её неблокируемой, соответственно возвращает Deferred.

Теперь сама функция-декоратор которая позволяет делать неблокируемые запросы к базе данных:

from sqlalchemy import create_engine, pool
from sqlalchemy.orm import sessionmaker

from twisted_decorators import toThread

class DBDefer(object):
    def __init__(self, dsn, poolclass=pool.SingletonThreadPool):
        self.engine = create_engine(dsn, poolclass=poolclass)

    def __call__(self, func):
        @toThread
        def wrapper(*args, **kwargs):
            session = sessionmaker(bind=self.engine)()
            try:
                return func(session=session, *args, **kwargs)
            except:
                session.rollback()
                raise
            finally:
                session.close()
        return wrapper

Пример использования:

from twisted.web import xmlrpc, server
from twisted.internet import reactor
from twisted.internet.defer import Deferred

import sqlalchemy as sa

from sa_decorators import DBDefer

dbdefer = DBDefer('postgres://postgres@localhost/mytestdb')
metadata = sa.MetaData(dbdefer.engine)

userTable = sa.Table('user', metadata,
        sa.Column('user_id', sa.Integer(11), primary_key=True),
        sa.Column('login', sa.String(30), unique=True),
        sa.Column('first_name', sa.String(30), nullable=True),
        sa.Column('last_name', sa.String(30), nullable=True),
)

class User(object):
    def __init__(self, login, first_name, last_name):
        self.login = login
        self.first_name = first_name
        self.last_name = last_name

    def __iter__(self):
        return (t for t in self.__dict__.iteritems() if not t[0].startswith('_'))

sa.orm.mapper(User, userTable)

@dbdefer
def createUser(login, first_name, last_name, session=None):
    user = User(login=login, first_name=first_name, last_name=last_name)
    session.add(user)
    session.commit()
    new_user = session.query(User).filter_by(user_id=user.user_id).first()
    session.flush()
    return new_user

@dbdefer
def getUser(user_id, session=None):
    return session.query(User).filter_by(user_id=user_id).first()

class UserService(xmlrpc.XMLRPC):
    def xmlrpc_create_user(self, login, first_name, last_name):
        return createUser(login, first_name, last_name).addCallback(dict)

    def xmlrpc_get_user(self, user_id):
        d = Deferred()
        def _gotResult(_user):
            if _user is None:
                d.errback('No such user')
            else:
                d.callback(dict(_user))
            return _user
        getUser(user_id).addCallbacks(_gotResult, d.errback)
        return d

def main():
    userService = UserService()
    reactor.listenTCP(8000, server.Site(userService))
    reactor.run()

if __name__ == '__main__':
    main()

Исходные коды доступны в репозитарии bitbucket.

Django - глубоко в i18n

2014-07-15T12:03:36Z

Казалось-бы обычная ситуация, есть поддержка 2 разных языков в проекте. Как получить перевод разных слов на разных языках в django. На первый взгляд звучит просто, но в официальной документации на этот счет не было ничего. Пришлось руками залесть в код (спасибо twisted за такой скилл), и найти нормальный способ сделать это.

from django.utils.translation.trans_real import translation

trans_en = translation('en')
trans_es = translation('es')

print trans_en.ugettext('word')
print trans_es.ugettext('word')

Теперь в деталях. Функция-шоткат translation возвращает экземпляр объекта DjangoTranslation который в свою очередь является наследником объекта GNUTranslations. Чтоыб собрать нужный DjangoTranslation функция language собирает все django.mo файлы доступные в проекте.

Единственный, на мой взгляд минус такого подхода - скорее всего не будет работать при USE_I18N=False, пока не проверял.

Перевод Twisted Introduction на Русский.

2014-07-15T12:03:36Z

Некто Нина Евсеенко опубликовала перевод на Русский документации Twisted Introduction, о которой я писал ранее. Перевод. Оригинал.

Как поменять bind address в solr

2014-07-15T12:03:36Z

Для меня, как для человека не из мира Java, такой вопрос достоин отдельного поста. И так, как же сменить bind address в solr.

Открываем /etc/jetty.xml, ищем ноду <Call name="addConnector"></Call>, и добавляем в Arg > New такую строку:

<Set name="host">
    <SystemProperty name="jetty.host" default="127.0.0.1"/>
</Set>

В итоге, вся нода Call у меня выглядит так:

<Call name="addConnector">
<Arg>
    <New class="org.mortbay.jetty.bio.SocketConnector">
        <Set name="port"><SystemProperty name="jetty.port" default="8983"/></Set>
        <Set name="host"><SystemProperty name="jetty.host" default="127.0.0.1"/></Set>
        <Set name="maxIdleTime">50000</Set>
        <Set name="lowResourceMaxIdleTime">1500</Set>
    </New>
</Arg>
</Call>

twisted.web и таймаут

2014-07-15T12:03:36Z

Потрясающий баг. В первые столкнулся с ним еще несколько месяцев назад, при возрастании нагрузок на сервер. Стало достаточно быстро понятно что сервер twisted.web очень долго не отпускает клиентские соединения. После 5 минут в коде самого twisted'а наткнулся на такой хардкод. Кстати говоря когда нашел баг использовал 8.2.0 так что косяк похоже древний. Есть даже тикет с патчами, но пока не в транке, абсолютно не понятно почему. Будте осторожны.

An Introduction to Asynchronous Programming and Twisted

2014-07-15T12:03:36Z

Наткнулся на серию статей на английском языке о введении в асинхронное программирование на twisted, очень рекомендую.

Django Error Messages

2014-07-15T12:03:36Z

Кинулся было собирать список неинформативных сообщений ошибок в Django, как обнаружил что в 1.2 их много подправили, да еще и наткнулся на такую ссылку.

Deferred + Threads

2014-07-15T12:03:36Z

В последнее время много знакомых пытаются писать какие-то сетевые вещи на twisted, и волей не волей все рано или поздно наталкиваются на такую вещь как Deferred. Deferred наверное самое сложное с чем стакливается новичек в twisted. Почти каждый человек открывая официальную документацию спрашивает себя (а то и меня) зачем же нужен Deferred если он сам по себе не делает код асинхронным. Вот здесь антипаттерн официальной документации twisted касаемо Deferred - попытка объяснить как работает Deferred совершенно забывая о потоках как таковых.

Для примера рассмотрим реализацию сервиса-краулера предоставляющий доступ к своему API по протоколу xmlrpc. Практический функционал краулера глубоко эзотерический, и я взял его для примера только потому что это была одна из первых моих программ на twisted с использованием Deferred и потоков. Краулер написан специально для сайта ozon.ru и предоставляет по id товара урл до изображения с обложкой этого товара.

Для сервера используется реализация xmlrpc в twisted.

Отбросим возможность использования twisted.web.client и html-парсеров, так будет более очевидна разница между блокируемым и неблокируемым кодом.

Начнем первый, очевидный вариант который думаю напишет каждый кто только начинает работать с twisted:

import re
from urllib import urlopen

from twisted.internet import reactor
from twisted.web import xmlrpc, server
# Объект регулярного выражения для поиска ссылки на обложку в пределах всей страницы.
cover_regex = re.compile(r'(/multimedia/audio_cd_covers/(?:\d+)\.jpg)')

class CoverCrawler(xmlrpc.XMLRPC):

    def xmlrpc_get_cover(self, content_id):
        """
        Метод XMLRPC который позволяет вытащить одну обложку.
        """
        # получаем контент страницы средствами urllib
        content = urlopen('http://www.ozon.ru/context/detail/id/%s' % content_id).read()
        # ищем по regexp урл изображения и отправляем клиенту в xmlrpc
        return cover_regex.search(content).group()

def main():
    crawler = CoverCrawler()
    reactor.listenTCP(8080, server.Site(crawler))
    reactor.run()

if __name__ == '__main__':
    main()

Вот пример краулера который вытаскивает один урл обложки с сайта. И он даже работает. Однако с точки зрения потоков этот код написан неправильно, ибо вызов функции urllib блокирует выполнение приложения и краулер будет ждать когда каждая из обложек будет скачана с сайта, естественно за это время не будет скачана никакая другая обложка, и никакой другой запрос от клиентов xmlrpc не будет обработан. Почему так получается, каждое приложение twisted работает в режиме глобального селектора, тоесть каждый из запросов серверу, ответов клиенту, запросов на сторонний ресурс или обращение к файлу фактически проходят через глобальную очередь которая называется reactor. Фактически все объекты Deferred, все их callback'ки выполняются тоже в реакторе. Для выхода из этой ситуации в twisted есть функционал для запуска опрпделенных функций в отдельном потоке, например для этого есть функция deferToThread которая тоже возвращает Deferred в котором будет результат выполнения переданной в него функции. По хорошему любую функцию которая будет блокировать выполнение программы можно и нужно оборачивать в deferToThread. Перепишем скачивание страницы с использованием deferToThread.

import re
from urllib import urlopen

from twisted.internet import reactor, defer
from twisted.internet.threads import deferToThread

from twisted.web import xmlrpc, server

cover_regex = re.compile(r'(/multimedia/audio_cd_covers/(?:\d+)\.jpg)')

def getUrlContent(url):
    """
    создаем отдельную функцию которая всегда будет неблокируемо получать
    контент страницы и возвращать Deferred с ним
    """
    return deferToThread(lambda : urlopen(url).read())

class CoverCrawler(xmlrpc.XMLRPC):

    def xmlrpc_get_cover(self, content_id):
        imageUrlDeferred = defer.Deferred()
        def _gotContent(content):
            imageUrlDeferred.callback(cover_regex.search(content).group())
        getUrlContent('http://www.ozon.ru/context/detail/id/%s' % content_id
                     ).addCallbacks(_gotContent, imageUrlDeferred.errback)
        return imageUrlDeferred

def main():
    crawler = CoverCrawler()
    reactor.listenTCP(8080, server.Site(crawler))
    reactor.run()

if __name__ == '__main__':
    main()

Код выше работает неблокируемо. Однако вспоминая мои первые эксперементы, вспоминаю и момент, когда в процессе анализа логов обнаружилось что большинство id запрашиваемых через xmlrpc совпадают между собой. Тогда встал вопрос о кэшировании обложек по id-товара. Далеее реализация класса CoverCrawler с учетом кэширования:

class CoverCrawler(xmlrpc.XMLRPC):
    _linkCache = {} # dict в котором храним id_товара => url обложки

    def xmlrpc_get_cover(self, content_id):
        if content_id in self._linkCache:
            # Краткий reference:
            # twisted.internet.defer.succeed это шоткат, и код будет аналогичен
            # d = Deferred()
            # d.callback()
            # return d
            return succeed(self._linkCache[content_id])
        imageUrlDeferred = Deferred()

        def _gotContent(content):
            image_link = cover_regex.search(content).group()
            self._linkCache[content_id] = image_link
            imageUrlDeferred.callback(image_link)

        getUrlContent('http://www.ozon.ru/context/detail/id/%s' % content_id
                ).addCallback(_gotContent, imageUrlDeferred.errback)
        return imageUrlDeferred

Теперь один не совсем очевидный момент. В самом первом варианте метод xmlrpc_get_cover возвращал строку, во втором и третьем варианте Deferred, при том первый и второй вариант остаются рабочими. Как это происходит, существует функция twisted.internet.defer.maybeDeferred, которая конвертирует результат выполнения функции в Deferred, если он таковым не является.

Vkontakte IFrame-приложение на локальной машине

2014-07-15T12:03:36Z

Этот костыль пришлось применить т.к в iframe-приложении vkontakte невозможно поставить урл http://127.0.0.1, урл без зоны, либо работающее на нестандартном порту. Ниже выход в случае если необходимо запустить iframe-приложение работающее на локальной машине, но запущеное через оболочку vkontakte.

Открываем /etc/hosts добавляем строчку:

127.0.0.1 my-application-local.com

Если приложение запущено не на 80-м порту, выполняем:

iptables -t nat -A OUTPUT -p tcp -d 127.0.0.1 --dport 80 -j REDIRECT --to-ports 8000

Где 8000 - локальный порт сервера.

Заходим в настройки приложения, в строке адреса приложения пишем:

http://my-application-local.com/

Рефрешим страницу, проверяем в firebug что приложение загрузилось с локальной машины.

StrictDeferredList

2014-07-15T12:03:36Z

Основное что меня раздражало при использовании DeferredList это list со статусом выполнения каждого вложенного Deferred. При условии что 90% всех DeferredList которые я использовал по логике вещей должны валиться при первой ошибке. Из коробки twisted дает возможность убрать статус завершения каждого вложенного Deferred путем использования twisted.internet.defer.gatherResults, но такой вариант мне не нравился, получается очень некрасивая запись и лишний import.

В итоге я сделал класс который имеет почти такой-же интерфейс как и у DeferredList, но автоматически закидывает в callback только результаты выполнения вложенных Deferred.

from twisted.internet.defer import DeferredList, _parseDListResult

class StrictDeferredList(DeferredList):
    def __init__(self, deferredList, fireOnOneCallback=0):
        DeferredList.__init__(self, deferredList, fireOnOneCallback, 1, 1)

    def callback(self, result):
        return DeferredList.callback(self, _parseDListResult(result))

использование:

from lib.twstd import StrictDeferredList
StrictDeferredList(deferreds)

против

from twisted.internet.defer import DeferredList, gatherResults
gatherResults(DeferredList(deferreds, 0, 1, 1))

конечно можно было легко написать функцию-обертку которая использует gatherResults

from twisted.internet.defer import DeferredList, gatherResults

def strictDeferredList(deferreds, fireOnOneCallback=0)
    return gatherResults(DeferredList(deferreds, fireOnOneCallback, 1, 1))

Однако меня смутил тот факт что сам gatherResults оборачивает DeferredList в еще один DeferredList, что немного сказывается на производительности и немного ухудшает дебаг.

Первый пост

2014-07-15T12:03:36Z

Первый пост!