Иван Маркеев

Парсинг позиций в выдаче google и яндекс на python / grab

noreply@blogger.com (Ivan Markeyev) — Thu, 19 Apr 2012 04:33:00 PDT

Ниже грубый, но работающий код парсинга результатов поисковой выдачи с использование python, grab. Здорово, что pyquery запросы к DOM можно выполнять прямо из grab объекта.

from grab import Grab
from django.utils.http import urlquote_plus




def google_position(query, url, start=False):
    if start > 240:  # 10 * 24
        return None
    google_url = 'http://www.google.com/search?q=%s' % urlquote_plus(query)
    if start:
        google_url += '&start=%d' % start
    g = Grab()
    g.go(google_url)
    for i, r in enumerate(g.pyquery('li.g cite')):
        if url in r.text_content():
            if start:
                return start + i + 1
            return i + 1
    if start:
        return google_position(query, url, start=start + 10)
    return google_position(query, url, start=10)

def yandex_position(query, url, page=False):
    if page > 24:
        return None
    yandex_url = 'http://yandex.ru/yandsearch?text=%s' % urlquote_plus(query)
    if page:
        yandex_url += '?p=%d' % page
    g = Grab()
    g.go(yandex_url)
    for i, r in enumerate(g.pyquery('.b-body-items .b-serp-item__title-link')):
        if url in r.get('href'):
            if page:
                return page * 20 - 10 + i + 1
            return i + 1
    if page:
        return yandex_position(query, url, page=page + 1)
    return yandex_position(query, url, page=1)

Второй Moscow Django Meetup

noreply@blogger.com (Ivan Markeyev) — Sun, 08 Apr 2012 12:49:00 PDT

Засветился на фотках в отчете Future Colors http://blog.futurecolors.ru/2012/04/moscow-django-meetup-2.html.

Первая - самая ржачная (фото твиттер ленты с экрана). На встрече было дико душно, т.к. в аудитории было дофига народу. Мы сидели почти в конце аудитории в дальней от окон части. 70 мужиков выдышали весь воздух к концу первого доклада, а твиттер никто из организаторов не читал :). Мне пришлось помимо вежлевого твита ещё голосом попросить открыть окно.

Палю годноту - cmsplugin-nivoslider.

noreply@blogger.com (Ivan Markeyev) — Mon, 02 Apr 2012 05:51:00 PDT

Годный плагин для Django-cms, с поддержкой красивого слайдера:
http://pypi.python.org/pypi/cmsplugin-nivoslider.

Moscow calling

noreply@blogger.com (Ivan Markeyev) — Wed, 28 Mar 2012 05:27:00 PDT

Работу нашел. Подписанный трудовой договор на руках. Мой номер в Москве +7 926 663 40 80.

Благодарность

noreply@blogger.com (Ivan Markeyev) — Fri, 16 Mar 2012 07:43:00 PDT

Активно ищу работу через социальные сети. Обнаружил, что в МоемКруге есть несколько рекомендации этого блога. Спасибо этим прекрасным людям: http://moikrug.ru/circles/530265091/.

Python virtualenv on mac os

noreply@blogger.com (Ivan Markeyev) — Fri, 02 Mar 2012 02:48:00 PST

Да, я купил mac и теперь буду писать в блоге о том, что все уже давным-давно прошли. Грабля номер раз, на которую я наступил:

$ virtualenv myenvfor27
New python executable in myenvfor27/bin/python
Error [Errno 2] No such file or directory while executing command install_name_tool -change /System/Library/Fram.../Versions/2.7/Python @executable_path/../.Python myenvfor27/bin/python
Could not call install_name_tool -- you must have Apple's development tools installed
Traceback (most recent call last):
File "/usr/local/bin/virtualenv", line 8, in <module>
load_entry_point('virtualenv==1.7.1.2', 'console_scripts', 'virtualenv')()
File "/Library/Python/2.7/site-packages/virtualenv-1.7.1.2-py2.7.egg/virtualenv.py", line 928, in main
never_download=options.never_download)
File "/Library/Python/2.7/site-packages/virtualenv-1.7.1.2-py2.7.egg/virtualenv.py", line 1029, in create_environment
site_packages=site_packages, clear=clear))
File "/Library/Python/2.7/site-packages/virtualenv-1.7.1.2-py2.7.egg/virtualenv.py", line 1347, in install_python
py_executable])
File "/Library/Python/2.7/site-packages/virtualenv-1.7.1.2-py2.7.egg/virtualenv.py", line 966, in call_subprocess
cwd=cwd, env=env)
File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/subprocess.py", line 672, in __init__
File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/subprocess.py", line 1202, in _execute_child
OSError: [Errno 2] No such file or directory

install_name_tool входит в Command Line Tools из Xcode. Чтоб заработало нужно:
1. Поставить Xcode через App Store
2. Зайти в системное меню Xcode->Prefences->Downloads
3. Нажать кнопку инсталл напротив Command Line Tools, убить 10 минут на регистрацию в developer.apple.com (мне пришлось заполнять пункт "компания" всякой ерундой, т.к. в данную секунду я не отношусь ни к компаниям, ни к университетам).

Парсинг сайтов на python

noreply@blogger.com (Ivan Markeyev) — Tue, 28 Feb 2012 04:39:00 PST

Привет, друзья!
Нужен ваш профессиональный совет: чем современный питонист должен парсить сайты?
Поводом для обращения к аудитории для меня послужило открытие либы pyquery, которая позволяет делать jqurey-style запросы по xml-документам. Я вдруг осознал, что есть много нетрадиционных, но весьма удобных подходов к проблемме.
А какие интересные и удобные способы парсинга известны вам?

Ekbpy видео

noreply@blogger.com (Ivan Markeyev) — Mon, 13 Feb 2012 22:39:00 PST

http://video.yandex.ru/#search?text=ekbpy (почему-то, у меня каждое видео по 2 раза в списке).

Я успел побывать на докладах:

Оказывается, kmike играет на бас-гитаре в банде АлоэВера (пруф).

Ещё разок здесь напишу: конференция была организована великолепно. Не успевал я подумать о том, что не хило было бы выпить кофе - услужливые ребята вкатывали столики с кофе, чаем и бутербродами. Накладок не было вообще никаких. Мы вышли на обед перед мастер-классом по celery, а когда вернулись, аудитория со стульями превратилась в аудиторию с партами.

Открытый бесплатный wifi, розетки для ноутов - все по взрослому.

Огромное спасибо организаторам, надеюсь такие конференции будут регулярными.

UPD. Пара моих фоток с конференции:

Едем на ekb.py

noreply@blogger.com (Ivan Markeyev) — Fri, 03 Feb 2012 06:24:00 PST

10го февраля группой единомышленников едем на http://www.ekbpy.ru/ (Конференция для настоящих и будущих разработчиков на Python). Участие в коференции платное - 1500 рублей.

Тюменцы, все кому не безразличен питон и приятна хорошая компания, милости просим с нами!
Едем на машинке. В машинке из 5 мест, свободны пока 2. Если народу наберется много, едем на двух машинках. Места при таком раскладе в два раза больше ;).

Пока партийный список такой:
Я, Дима Scailer и Андрей З.

Думаю, мы найдем способ скинутся на бензин. Возьмем с собой в дорогу какую-нибудь еду. Я и Андрей идем на мастер-класс для опытных, который ведут Антон Патрушев (Naumen), Роман Иманкулов (NetAngels), Илья Шабалин (Exadel). Очень хотелось послушать Мишу Коробова по больше (его доклад есть в основоной программе конференции), но 3ий питон пока не очень востребован в наших широтах.

UPD. Точно на двух машинах едем, т.к. добавились ещё 3 пассажира: Иван Ш., Сашка и моя мама (тоже едет в Екб, оказывается, в этот же день. Позвоните родителям! :) ). Ещё 2-4 места в машинах вакантны. Милости просим!

UPD. Добавились ещё двое - Илья и Ильнур.

Прошлое рабочее место

noreply@blogger.com (Ivan Markeyev) — Thu, 01 Dec 2011 03:20:00 PST

Фото требует комментариев, я думаю. Слева на право: ноут с 16ой федорой - рабочее место, которое можно унести домой, под ним бумажки с делами, которые нужно было сделать давным давно (привет, ClubLux!). Длаее кружка для кофе, шейкер для воды, монитор подключенный к ноуту, с которого осуществляется удаленная работа с серверами - ноут слабый, потому использовать его можно только как терминальный клиент. На нем, к слову, 14ая федора.
Вот в данный конкретный момент монитор подлючен не к ноуту (тоже 16ая федора), как обычно, а к системнику, краешек которого заметен на фото справа. Этот системник используется как сервер промежуточной сборки и тестирования.
Вдалеке Пашкин комп, на котором запущена программа просмотра камер наблюдения. Я один в здании и хочу знать, что там происходит снаружи.

Геолог Георгий герой гей оргий

noreply@blogger.com (Ivan Markeyev) — Wed, 23 Nov 2011 22:41:00 PST

Вот вам современная скороговорка с объявленной котировочной стоимостью 117 тысяч рублей:

«Доля среднесписочной численности работников (без внешних совместителей) малых и средних предприятий в среднесписочной численности работников (без внешних совместителей) всех предприятий».

Худший грех - уныние

noreply@blogger.com (Ivan Markeyev) — Thu, 17 Nov 2011 10:21:00 PST

Грех уныния является одним из семи смертных грехов. За этим грехом или, лучше сказать, страстью стоит один из трех сильных демонов-исполинов, не допускающих человека к истинному покаянию и примирению с Богом. Два других демона-исполина - это НЕВЕДЕНИЕ и ЗАБВЕНИЕ. Уныние иначе именуется злым разленением. При действии этой страсти, которая в русском языке называется хандрой, человек ленится (т.е. удерживается по состоянию) к молитве и ко всякому спасительному и богоугодному делу. Человеком овладевает некая безысходность, безразличие и равнодушие ко всему. Ничто не радует и не утешает человека. В таком состоянии он действительно часто не хочет видеть никого.
http://www.ateism.ru/articles/moiseenko22.htm

Grand Theft Auto 5

noreply@blogger.com (Ivan Markeyev) — Tue, 08 Nov 2011 21:45:00 PST

Весёлые ребята - Люди встречаются

noreply@blogger.com (Ivan Markeyev) — Tue, 08 Nov 2011 00:49:00 PST

Весёлые ребята - Люди встречаются:

Django-программисты

noreply@blogger.com (Ivan Markeyev) — Sat, 05 Nov 2011 11:17:00 PDT

Двум погибающим из-за сроков проектам срочно нужны django-программисты. Ставка 250 рублей в час, задачи не сложные. Ключевой момент сроки. Пишите markeev@gmail.com.

Рекламных комментов псто

noreply@blogger.com (Ivan Markeyev) — Tue, 18 Oct 2011 10:27:00 PDT

Друзья, если вы читаете это блог регулярно и при этом ещё и ведете бизнес в интернете или оффлайново, но с применением информационных технологий, милости просим в комментах к этому посту написать что и как. Ссылки и любая контактная информация рекламного (и не очень) характера всячески приветствуется!

Новый проект

noreply@blogger.com (Ivan Markeyev) — Tue, 27 Sep 2011 03:02:00 PDT

С сегодняшнего дня начинаю работать над новым интересным и очень перспективным проектом. Буду заниматься серверной частью на джанго. В проекте будет все - высокие нагрузки, богатая и потрясающе красивая клиентская часть, много-много интерактива, куча заинтересованных посетителей и даже звезда, от которой я тащусь, но все это секрет. Я вам ничего не говорил ;). Тссс....

Великолепно. Рэпак

noreply@blogger.com (Ivan Markeyev) — Mon, 19 Sep 2011 19:54:00 PDT

Рэпак:

С 2012 года российские студенты будут учиться за границей за счёт государства

noreply@blogger.com (Ivan Markeyev) — Tue, 13 Sep 2011 05:08:00 PDT

За стеклом: студентка в Чехии: С 2012 года российские студенты будут учиться за г...: Немало удивилась, когда прочитала в прохоровском комьюнити для топ-менеджеров , что со следующего года Россия будет оплачивать всем желающим...

С днем программиста в России!

noreply@blogger.com (Ivan Markeyev) — Mon, 12 Sep 2011 22:28:00 PDT

Поздравляю своих читателей с праздником программиста в России! День программиста празднуется в России на 256-й день года — 13 сентября, а если год високосный — 12 сентября. Число 256 выбрано потому, что это количество целых чисел, которое можно выразить с помощью одного восьмиразрядного байта, а также это максимальная степень числа 2, которая меньше количества дней в году — 365.

Сколько стоит python-программист?

noreply@blogger.com (Ivan Markeyev) — Sun, 11 Sep 2011 20:30:00 PDT

По результатам прошлого поста на эту же тему python-программисту совсем не обязательно заниматься версткой и javascript'ом, чтобы получать около 60000 рублей в месяц. Кончено, точная сумма сильно зависит от географического положения, и скорей всего, когда мы говорим о 60 т.р. имеется в виду действующая или Северная столица нашей необъятной.

При этом подряд на разовые работы, в целом, стоит дороже и сравнивать его с месячной зарплатой не правильно.

Далее будем плясать от этих выводов, т.к. умирать в очередном проекта за 5 т.р. в неделю (чисто по заМКАДовским ценам) - надоело.

Django-cms 2.2

noreply@blogger.com (Ivan Markeyev) — Sun, 11 Sep 2011 07:43:00 PDT

Тихо и без лишнего пафоса вышел очередной релиз django-cms. У нового релиза номер 2.2, хоть изменения и носят, в основном, косметико-исправленческий характер.

Список основных изменений:

django-mptt вытянули из пакета поставки - теперь нет конфликта версий (можно использовать >=0.4.2).
заявлена поддержка django 1.3 (в частности, использован staticfiles, чего лично мне очень не хватало)
тулбар для фронтального редактирования теперь объявляется в шаблоне, а значит его легче отключить (тупо не подключать)
теперь с проектами на django-cms можно легко использовать django-filer - файл менеджер такой (подробности по подключению тут: http://docs.django-cms.org/en/2.2/getting_started/tutorial.html)
теперь cms использует sekizai (сразу оговорюсь, что я вообще не имею пока представления о том, что же такое sekizai) - либа для позднего связывания расширяемых шаблонов со стилями и javascript richmedia из листовых шаблонов. Смотрите тут, чтобы понять о чем я https://github.com/ojii/django-sekizai/blob/master/docs/usage.rst.

Поставил, попробовал - отличненько. У меня в виртуальном окружении настроен и установлен максимум из tutorial, кроме reversion, который отказался работать с 1.3.1 django (возможно и на 1.3.0 не заведется). Первое, что бросается в глаза в новой версии - нет необходимости париться с подключение media файлов. В остальном пока только минусы:

нужно понять почему django-filer не хочет работать ссылаясь на отсутствие темлейттага thumbnail (требуемый им easy_thumbnail уже установлен).
нужно убирать дублирование плагинов cmsplugin_filer'ом, который ещё и руссифицировать нужно (в отличии от плагинов из коробки, которые все на русском).
ну и, как я писал ранее, reversion не работает.

После установки и просмотра сложилось впечатление, что разработчиков кто-то сильно подгонял, и в пешке они выпустили недоотлаженный, недооттестированный продукт. Что ж, нам не привыкать - предыдущие версии тоже требовали находчивости и смекалки.

UPD1. Пост в блоге разработчиков о релизе https://www.django-cms.org/en/blog/2011/09/10/django-cms-22-released/.

UPD2. Скорей всего вам будет полезно руководство по обновлению до версии 2.2 http://docs.django-cms.org/en/2.2/upgrade/2.2.html.

Volkswagen Polo Седан

noreply@blogger.com (Ivan Markeyev) — Sat, 10 Sep 2011 11:32:00 PDT

Фото с офф. сайта, но моя ласточка выглядит точно также.

С четверга имею удовольствие ездить на Volkswagen Polo седан. Машинка классная, с ней я стал успевать на много больше и день стал заметно длинней.

Есть одна тонкость - она ездит сама, мое участие минимально. Не нужно переключать скорости (автомат), париться с набором оборотов на перекрестке, или боятся "вязкой" и "длинной" педали тормоза. Все происходит мгновенно и само, и это меня слегка страшит. Есть не хилая вероятность, что благодаря достоинствам немецкой конструкторской мысли я могу внезапно решить, что уже хорошо вожу. Будем надеяться, что этого не произойдет.

В комментариях принимаю поздравления.

Тихо и незаметно вышел секури фикс для Django.

noreply@blogger.com (Ivan Markeyev) — Sat, 10 Sep 2011 10:50:00 PDT

Django 1.3.1 - версия, в которой отключили по умолчанию проверку ссылок из URLField и сессии теперь не хранятся в пространстве имен кэша. На офф. сайте длинная портянка разъяснений к релизу о том, как правильно блюсти безопасность в Django-проектах, советую прочесть.

Локализация названия

noreply@blogger.com (Ivan Markeyev) — Thu, 08 Sep 2011 00:22:00 PDT

Мне одному кажется, что надо было оставить:

Просто фраза "сосьете женераль" выглядит как обращение к какому-то генералу :).