Чёрная дыра

Про бессмертных мастеров

noreply@blogger.com (Imbolc) — Sat, 03 Apr 2010 00:02:00 +0000

Собрались как-то бессмертные мастера на полянке поспорить
И давай своих питонов мучать, сотрясая древо мира
Мощными раскатами оргазмов от корней до кончиков листвы

И каждый новый оргазм был сильнее прежнего
Только Просроченный Пророк не дрочил
И взирали на него как на лоха, кто с презрением, а кто и с жалостью

И когда все вымотавшись лежали без сил, растворяясь в облаках
Пророк достал своего замученного любимца
И дёрнув пару раз, обкончал их лица

Понравилось

noreply@blogger.com (Imbolc) — Sun, 21 Mar 2010 07:57:00 +0000

про внимание, примерно тоже, качество хуже

про мозг и язык

Дымов (колбасник) о себе

про память

Выпрыгнуть из подносного поезда и умчаться в ноздрю, рассекая воздух темноты.

Полезные декораторы

noreply@blogger.com (Imbolc) — Wed, 17 Mar 2010 11:19:00 +0000

очень быстрое кэширующее property

подавление исключений с логированием

n-кратный перезапуск при ошибке

[fixed] Унитаз

noreply@blogger.com (Imbolc) — Thu, 11 Mar 2010 12:25:00 +0000

Эта заметка заинтересует всех несчастных, страдающих от дерьма на жопе.

В последние годы распространение получили непривычные для советских жоп унитазы. Под анусом в них располагается дырка с водой, а вовсе не привычная ванночка для говна. Результат печален. Падая, дерьмо взрывает водную гладь фонтанами брызг. Многие из которых несут в себе частицы этого или упавшего раньше говна. И часть из них благополучно доносят это самое говно назад к породившей его жопе.

Экономические причины появления таких унитазов очевидны. Унитазы со ступенькой в нужном месте на рынке тоже есть. И стоят, конечно, дороже. Либо плати, либо йожся на унитазе, выгибая жопу в немыслимых асанах, лишь бы попасть на заветную ступеньку. Либо твоя жопа регулярно будет в дерьме. Я бы с радостью заплатил. Но это не решает проблемы. Всё равно натыкаешься на эти унитазы в путешествиях или в гостях.

Так вот, решение всё же есть. Перед тем как сесть срать, накрываем поверхность воды туалетной бумажкой. Брызг не будет.

Python debug-progressbar

noreply@blogger.com (Imbolc) — Sun, 24 Jan 2010 05:14:00 +0000

Поддержу тему прогресс-баров начатую на Хабре. Описанный там бар можно назвать "продакшн-баром". В свою очередь, поделюсь давно и удачно написанным "дебаг-баром". Основные его отличия в:

возможности вывода дополнительной дебаг-инфы
выводе времени обработки каждого шага
поддержке стандартного питоньего logging-а

Используется он так:

from random import randint
from debugbar import cnt

data = range(10)  # некоторые данные для обработки

cnt = Cnt(len(data), 2)  # указываем размер данных и шаг счётчика
for d in data:
    cnt.put('дополнительная инфа %s' % d)  # выводим бар
    time.sleep(randint(1, 3))

В результате получится что-то типа:

 2 / 10 |  1.00 s. | дополнительная инфа 1
 4 / 10 |  5.00 s. | дополнительная инфа 3
 6 / 10 |  4.00 s. | дополнительная инфа 5
 8 / 10 |  3.00 s. | дополнительная инфа 7
10 / 10 |  4.00 s. | дополнительная инфа 9

Вариант с использованием логгинга:

import logging
from random import randint
from debugbar import cnt

log = logging.getLogger(__name__)
logging.basicConfig(level=logging.DEBUG,
    format='%(levelname)-8s %(message)s')

data = range(10)  # некоторые данные для обработки

cnt = Cnt(len(data), 2)
for d in data:
    cnt.put('дополнительная инфа %s' % d, log.info)
    time.sleep(randint(1, 3))

Результат:

INFO      2 / 10 |  2.00 s. | дополнительная инфа 1
INFO      4 / 10 |  4.00 s. | дополнительная инфа 3
INFO      6 / 10 |  4.00 s. | дополнительная инфа 5
INFO      8 / 10 |  3.00 s. | дополнительная инфа 7
INFO     10 / 10 |  2.00 s. | дополнительная инфа 9

Ну и код самого модуля debugbar.py:

# -*- coding: utf-8 -*-
import sys
import time
from datetime import datetime, timedelta    


class T:
    '''Таймер'''
    def __init__(self):
        self.start = time.time()

    def __str__(self):
        sec = int(time.time() - self.start)
        return '%2.2f s.' % sec if sec < 60 else str(timedelta(seconds=sec))


class Cnt:
    '''Счётчик'''
    timer_tpl = ' | %8s'

    def __init__(self, limit, step=None, start=1, timer=True):
        self.limit = limit
        self.step = step if step else int(limit / 100) or 1
        self.cnt = start
        self.timer = timer
        self.cnt_tpl = '%%%(cnt_len)si / %%%(cnt_len)si' % {
            'cnt_len' : len(str(limit))}
        if timer:
            self.tm = T()

    def put(self, msg='', log=None):
        if not self.cnt % self.step or self.cnt == self.limit:
            m = self.cnt_tpl % (self.cnt, self.limit)
            if self.timer:
                m += self.timer_tpl % self.tm
                self.tm = T()
            if msg:
                m += ' | %s' % msg
            if log:
                log(m)
            else:
                print m
            sys.stdout.flush()
        if self.cnt < self.limit:
            self.cnt += 1

Говорящий python

noreply@blogger.com (Imbolc) — Fri, 22 Jan 2010 07:37:00 +0000

Разговорить змия по русски оказалось совсем несложно.

1. Ставим festival:

sudo aptitude install festival festvox-ru

2. Учим его болтать со включенной музыкой. Добавляем в конфиг ~/.festivalrc

;use ALSA
(Parameter.set 'Audio_Method 'Audio_Command)
(Parameter.set 'Audio_Command "aplay -q -c 1 -t raw -f s16 -r $SR $FILE")

3. Ну и, собственно, модуль pystival состоящий из единственной функции:

import subprocess

def pysti(text):
    p = subprocess.Popen(
        ['festival', "--tts", "--language", "russian"], 
        stdin=subprocess.PIPE, stdout=subprocess.PIPE,
        stderr=subprocess.PIPE, close_fds=True)
    stdout, stderr = p.communicate(text.encode('utf-8'))     


if __name__ == "__main__":
    # тестим
    pysti(u'Шар шипящий, шар говнящий за моим грустил окном. ' +
        u'Я открыл окно тихонько и пустил бедняжку в дом.')

noreply@blogger.com (Imbolc) — Wed, 06 Jan 2010 11:47:00 +0000

Видишь, вспыхнула зарница
Небо заревом смеётся
Видишь вспыхнуло знаменье
Небо вспыхнуло знаменьем

Всё вокруг как будто вместе
Только ты один как будто
Только ты один как будтно
Отделённый разделеньем

Как застрять в кусочке мяса
Удалось застрять в животном
Ты как будто не от сюда
Удивляться не отучен

Ты опять проснулся голый
Отряхнув клочки надежды
И на сонные одежды
Натянул ещё одежды

Ты как будто был уже здесь
Всё как будто бы знакомо
Только сам ты незнакомый
Хоть и в зеркале знакомый

Ты в себя суёшь кого-то
И потом жуёшь кого-то
И глотаешь эту кашу
Удивляясь ощущеньям

А вокруг ни удивленья
Все как будто бы отсюда
И ты тоже надеваешь
Вид который все узнают

Вид который все узнают
И конечно не обидят
Удивляясь что есть дело
До того кого обидят

Удивляясь тем границам
Что внутри тебя проснулись
Удивляясь удивленью
И кого-то забывая

Так кого-то забывая
Словно что-то вспоминая
Словно что-то вспоминая
И при этом уставая

noreply@blogger.com (Imbolc) — Tue, 05 Jan 2010 00:30:00 +0000

Он делал доры неспроста
Дрочить на статы был мастак
Но вдруг упал его доход
И хуй упал и не встаёт

Узнав, любовница ушла
И нахуй посланый женой
Сидит и шамкает в слезах
Размягший хуй одной рукой

Другой привычно жмёт f5
И прямо рвётся из горла
Крик: бля, ну что за хуета
Быть может проклят я во век

Быть может чёрный гугла-маг
В астрале дор мой разглядел
И чакры все мои забанил
Лишил удачи и потенции меня

И чувство рифмы отобрал
Лиши меня памяти,
Чтобы я не страдал,
Вовеки проклинаю статсы!

Ты пишешь в блог

noreply@blogger.com (Imbolc) — Sat, 26 Dec 2009 17:33:00 +0000

Ты пишешь в блог какую-то хуйню
Но я твою хуйню читать не буду
Я лучше напишу свою хуйню
И сразу же о ней забуду

noreply@blogger.com (Imbolc) — Sat, 26 Dec 2009 15:18:00 +0000

Абстрактный смысл, меняющий обличья
Вдруг там возникнет,
Что воскликнешь: Нихуя!

Тепень уж точно
Ни про что на свете
Я не скажу: попсня, хуйня

Все фильтры брошены в пизду
Я здесь!
И врядли снова в понимание уйду

noreply@blogger.com (Imbolc) — Sat, 26 Dec 2009 14:46:00 +0000

Каплями снова небо плачет
Почему не сложилось иначе?
Почему на дворе не лето?
И зачем же я помню про лето?

Снова эти холодные игры
Почему я сейчас без тебя?
Почему между нами так много?
И зачем же я помню тебя?

Взгляд

noreply@blogger.com (Imbolc) — Sat, 26 Dec 2009 14:30:00 +0000

Ну скажи, что меня ещё любишь
Ты же знаешь, чего я хочу
Только слово, всего-то лишь слово
Искренности давно не ищу

Я не скряга, и слова довольно
Мои мысли допишут картину
Только слово с тебя, ну а мне
Дверь, рождение в новом мире

Почему в твоём взгляде презренье?
Почему не протянешь руки?
Вот и слово для нас уже роскошь
Вновь искать обходные пути

Взгляд, и я растворяюсь в мечтаньях
Взгляд, и я уплываю туда
Где мы вместе, где счастливы вместе
Где тебе не бывать никогда

В попытках достать до смысла

noreply@blogger.com (Imbolc) — Sat, 26 Dec 2009 11:09:00 +0000

В попытках достать до смысла
А вдруг этот мир живой?
Умом ли живое постигнуть?
Пади на колени и вой

К пределу глаза закатывая
Гортани рви сухожилия
Кто знает, а может силой
Твоё обернётся бессилие

Как знать, чем наполнит Вечность
Умом забытое логово
Быть может ему в этом мире
Судьба отыскать дорогу

Свою. Что и ты когда-то
Смог разглядеть сквозь время
Да только нагрёб ты много
И шагу ступить это бремя

Не даст. Чтож застывшим древом
Пустить в землю гроба корни?
И вечность вернутся в саване
Изгнившего мяса клочья

Неужто намертво челюсти
Вцепились в чужое счастье
В попытках всё заарканить
Постигнув умом Настоящее?

Большой список строк

noreply@blogger.com (Imbolc) — Fri, 25 Dec 2009 19:32:00 +0000

Стоит задача построчных манипуляций с большим файлом. Пробовал разные подходы. Оказалось, что попытки работы напрямую с файлом упираются в кэш файловой системы. Все эти tell-ы и seek-и выполняются быстро только если файл целиком влазит в этот самый кэш.

Поразмыслив я решил не увеличивать размер кэша. Во первых, память нужна не только этому скрипту. Во вторых работа с даже полностью закэшированным файлом всё же на порядок медленнее, чем с памятью напрямую. В общем, решил загонять весь файл в память.

Первое, что по этому поводу выяснилось, стандартный list питона кушает памяти в 2 раза больше, чем содержит данных. Я тестил на строчках требуемой длины (27 байт).

Вообще, мне хотелось бы даже сжать данные. Потому попробовал я записать bz2 файлик в tmpfs. Это ведь тоже работа с памятью. А потом считывать из него нужные строчки, там тоже можно сики делать. Это оказалось просто невероятно медленно.

Потом посмотрел в сторону mmap. Даже если просто в память через неё писать, работает раза в два дольше, чем с закэшированным файлом. Либо кто-то из нас тормоз, либо одно из двух :)

Остановился на array. То, что получилось работает на скорости сравнимой с стандартным list-ом. Вот оно, собственно:

#!/usr/bin/python
# -*- coding: utf-8 -*-
import array


def main():
    # тестим
    import random

    a = StringList()
    a.append(u'Утол')
    a.append(u'Мар')
    print len(a)
    print a[1].encode('utf-8')
    print random.choice(a).encode('utf-8')


class StringList(object):
    '''
    Экономичный к памяти список строк
    '''
    def __init__(self, encoding='cp1251'):
        self.data = array.array('c')
        self.index = array.array('L')
        self.encoding = encoding

    def append(self, s):
        self.index.append(len(self.data))
        self.data.fromstring(s.encode(self.encoding))

    def __getitem__(self, id):
        start = self.index[id]
        try:
            end = self.index[id + 1]
        except IndexError:
            end = len(self.data)
        return self.data[start:end].tostring().decode(self.encoding)

    def __len__(self):
        return len(self.index)


if __name__ == "__main__":
    main()

noreply@blogger.com (Imbolc) — Thu, 24 Dec 2009 06:28:00 +0000

Найдя причины пиздецов
Ты радуешься очень сильно
Порою, радость так обильна
Что привлекает пиздецов

Python + YAML

noreply@blogger.com (Imbolc) — Wed, 23 Dec 2009 06:58:00 +0000

Зачем это, собственно?

Для конфигов. Писать конфиги на питоне и импортить, на мой взгляд, лучший вариант. Но это не всегда удобно. Типичный пример: нужно загрузить конфиг из родительской папки. Вариант решения - не импортить, хранить в текстовом формате, читать и парсить.

Конечно, хочется парсить автоматом. Да ещё, чтобы сам конфиг был читабельным. Варианты:

XML: избыточный синтаксис, неудобный парсинг
INI: ConfigParser - это просто пиздец, наследие винды, не иначе
CSV: удобно, но требует специального редактора
JSON: почти хорошо, но кое-чего нет и синтаксис немного избыточен
YAML: наш победитель :)

По сути yaml - это расширение json. Или json подмножество yaml :)

Как это работает

Для начала ставим пакет. Я подобные простенькие вещи ставлю глобально. Например, так:

sudo aptitude install python-yaml

А дальше всё стандартно:

>>> import yaml
>>> yaml.load('[1, a, false]')  # парсим yaml-строку
[1, 'a', False]
>>> yaml.dump([2, 'b', None])  # дампим в yaml-строку
'[2, b, null]\n'

Можно парсить данные прямо из файла:

cfg = yaml.load(open('test.yaml'))

Например, из такого файла test.yaml:

# Простые типы, а это камент, кстати :)
word: Строка    # без кавычек удобно
num: 2009       # число
none: null      # None
bool: true      # Bool

# Список одной строкой
lst1: [буквы, 123, null]

# Многострочный вариант списка
lst2:
    - буквы   # тут возможны каменты
    # и тут тоже
    - 123
    - null

# Словарь в одну строку
dic1: {word : буквы, num : 123, none : null}

# Многострочный словарь
dic2:
    word: буквы
    num: 123
    none: null

# Длинная строка, переносы удаляются
big_str1: >
    Тру
    лю
    лю

# Длинная строка, переносы сохраняются
big_str2: |
    Тра
    ля
    ля

# Вложенности
langs:
    - XML:
        читабельность: никакая
        использование: мерзкие парсеры
        назначение: обмен данными
    - YAML:
        читабельность: высокая
        использование: святая простота
        назначение: конфиги

Получится такая структура данных:

{
    'word' : u'Строка',
    'num'  : 2009,
    'none' : None,
    'bool' : True,

    'lst1' : [u'Строка', 123, None],
    'lst2' : [u'Строка', 123, None],

    'dic1' : {'none' : None, 'num': 123, 'word' : u'буквы'},
    'dic2' : {'none' : None, 'num': 123, 'word' : u'буквы'},

    'big_str1' : u'Тра ля ля\n',
    'big_str2' : u'Тру\nля\nля\n',

    'langs': {
        'XML': {
            u'читабельность' : u'никакая',
            u'использование' : u'мерзкие парсеры',
            u'назначение'    : u'обмен данными',
        },
        'YAML': {
            u'читабельность' : u'высокая',
            u'использование' : u'святая простота',
            u'назначение'    : u'конфиги',
        }
    },
}

Вот, собственно, и всё чем сам пользуюсь. Но это не все возможности yaml, и желающие изъебнуться и здесь найдут чем позабавиться :)

Ось жизни

noreply@blogger.com (Imbolc) — Tue, 22 Dec 2009 07:33:00 +0000

Недавно И. обратил внимание, что протекающие во времени процессы имеют волновую природу. Дальше результаты моих наблюдений в этом ракурсе.

Про равновесие

Наверное, всем в голову приходила идея равновесия. Если совсем грубо, хорошего в жизни столько же, сколько и плохого. Очень простая и логичная идея. Ум очень любит подобные идеи и крепко цепляется за них. А для этой идеи куча подтверждений на поверхности валяется. Сегодня выпил(выкурил, съел) что-то энергетическое - завтра как минимум слабость, или откровенно хуёво. Сегодня отдохнул, завтра энергии больше.

Такая вот демотивирующая идея. Какой смысл напрягаться в поисках хорошего, если потом будет откат? Или какой смысл истязать себя аскезами, если последующий кайф лишь уравновесит страдания?

Про ноль

Так вот, все эти хорошо и плохо измеряются относительно некоторого нуля. Причём, этот ноль у всех разный. Твой привычный завтрак (ноль) для какого-нибудь бомжа будет большой радостью. Аналогично то, к чему ты сейчас стремишься у кого-то не вызывает никаких эмоций, а то и вызывает отвращение.

Про ось

Итак, этот самый ноль вовсе не абсолютен. Он меняется в течении жизни. Для волн "хорошо-плохо" изменение нуля является осью.

Если эта ось направлена вверх, на фоне локальных успехов-неудач, мы ощущаем улучшение жизни. Если вниз, наоборот.

Вверх относительно чего, спросит математик? Относительно отношения за некоторый период прошлого, думаю. Дело в том, что психика более инертна по сравнению с умом. Ты можешь изменить отношение на противоположное, но подсознательный кайф будет идти в прошлых координатах какое-то время. Он может гаситься осознанным отношением, но он будет.

Обычно же, отношение резко не меняется. Поэтому, я просто буду говорить: вверх и вниз.

Ещё раз: если ось направлена под углом некоторой величины вверх или вниз, мы ощущаем глобальное улучшение или ухудшение жизни на фоне локальных плюсов и минусов. Если же угол невелик, мы не замечаем этих изменений. Они гасятся локальными волнами.

Про отношение

Дальше я собираюсь использовать термин "Отношение". Под Отношением я буду понимать сумму отношение + действия. На мой взгляд есть только Отношение. На физический уровень оно отражается как действие, а на ментальный как отношение.

Я не представляю, как можно изменить отношение не меняя действий. Разум не поверит в такой фокус и не даст по настоящему измениться отношению.

Управление осью жизни

Непродолжительные эксперименты показывают, что направление оси регулируется Отношением. И оно инертно. Т.е. при изменении Отношения, ось _постепенно_ меняет направление.

Отследить это можно, если придерживаться определённого отношения некоторое время. Делать это мешают локальные волны. Разум говорит: о, неудача - значит действия неправильные, давай менять. Но это локальная волна. Сколько раз я попадался в эту ловушку. Я менял отношение и этот локальный спад оборачивался глобальным.

Картинка

Картинка, иллюстрирующая изменение оси на фоне локальных волн при поддержании неизменного отношения. Это реальная статистика отражающая успешность одного проекта.

[django] Как поиметь юзера везде

noreply@blogger.com (Imbolc) — Sun, 20 Dec 2009 19:25:00 +0000

Часто текущего юзера хочется иметь там, где его по умолчанию нету. Например, в формах. Для этого нужно засунуть этого юзера в тред-локалс, а потом оттуда доставать в нужном месте.

Я уже давно стырил откуда-то такой вот код для этого самого всовывания/высовывания:

# -*- coding: utf-8 -*-
try:
    from threading import local
except ImportError:
    from django.utils._threading_local import local

_thread_locals = local()

def set_current_user(user):
    setattr(_thread_locals, 'user', user)

def get_current_user():
    return getattr(_thread_locals, 'user', None)

Положим этот код, например в common.user, тогда прослойка для засовывания будет такой:

from common.user import set_current_user

class CurrentUserMiddleware(object):
    def process_request(self, request):
        set_current_user(getattr(request, 'user', None))

Вот и всё. Теперь в любом месте имеем текущего юзера:

from common.user import get_current_user

user = get_current_user()
...

Запасные варианты

noreply@blogger.com (Imbolc) — Sun, 20 Dec 2009 06:29:00 +0000

Пофиксил очередной баг в сознании.

Вводная. Очевидно, что мысли влияют на мир. Споры ведутся о том непосредственное ли это влияние или опосредованное. Я не знаю ни одного сторонника первого подхода, непосредственно материализующего предметы. И в то же время вижу страдания сторонников второго, в процессе нахождения всё новых и новых путей этого самого влияния. Всякие там феромоны :)

Поэтому, я забил. Бесполезный спор. Если знаешь путь влияния, им можно надёжно пользоваться, это практично. Если не знаешь, но очень хочется результатов, идея о непосредственном влиянии даст силы попытаться. И иногда попытки срабатывают. Не важно было ли влияние через ещё не известные пути, или непосредственное. Важно то, что идея непосредственности помогла достичь результата. Она тоже практична.

Не понял, зачем отвлёкся. Итак, влияние есть. Теперь, про баг сознания. Очевидно, что материальные предметы вызывают определённые мысли. А мысли в свою очередь вызывают определённые изменения. Такой пример: я замечаю повышение активности отморозков на улице. Естественное желание - купить наган. Но наган постоянно будет напоминать мне о том, зачем он куплен и таким образом притягивать не интересную мне ситуацию. Раньше в принятии решения участвовали две переменные: вероятность того, что вещь потребуется (-) ненужные мысли, которые она вызывает.

Чуть подробнее. Раньше я решал однозначно: если конкретной причины покупать нет - не покупаю. Конкретная причина - это когда я уже попал в неприятную ситуацию и уже вижу пути её развития. Рост преступности - причина абстрактная. Наезды на кого-нибудь из близких - конкретная. Именно такое поведение мне казалось оптимальным с точки зрения влияния мыслей. Но при этом было подсознательное чувство недопонимания.

Так вот, происходило примерно следующее. Я не покупаю наган. И этот наган не вызывает ненужных мыслей. Однако, каждый раз выходя на улицу, эти мысли вызывают отморозки. И я занимаюсь тем, что фильтрую мысли. Чтобы бороться нужно помнить о том, с чем борешься. Т.е. в некотором объёме эти мысли должны-таки присутствовать для продолжения борьбы.

Итак, три несовершенства налицо:
1. негативные мысли всё же присутствуют
2. постоянно тратятся силы на поддержание их на низком уровне
3. снижается восприятие настоящего, как следствие п.2

Так вот, в своих рассуждениях я не учитывал влияние нагана как "запасного варианта". Помимо полезности в определённой ситуации, он так же успокаивает разум. Если в кармане наган, я спокоен естественным образом. Я знаю, если неприятная ситуация сложится, выход есть. Разум больше не мечется в попытках придумать этот самый выход. Он не засоряет мою голову мыслями п.1, при этом не нужен п.2 и естественно исчезает п.3.

Ну да, я утрирую, конечно. Правильнее сказать "засоряет меньше", насколько уж он верит в запасной вариант. А верит тем больше, чем вариант рациональнее.

Т.е. в вопросе покупать или не покупать наган я теперь учитываю его влияния как "запасного варианта". Итого: насколько он может пригодиться физически (+) насколько успокоит как запасной вариант (-) насколько сам будет вызывать ненужные мысли.

Эмуляция key-value хранилища в django orm

noreply@blogger.com (Imbolc) — Tue, 15 Dec 2009 14:57:00 +0000

Это может пригодиться в нескольких случаях. Например, при разработки проекта который может в будущем поиметь нагрузку. Чтобы на этапе разработки всем участникам не возиться с установкой кв-бд можно использовать эту заглушку. При этом структура проекта будет изначально строиться соответственно и заменой пары строк вы подключите реальное key-value хранилище.

Ещё один вариант использования - хранение настроек. Допустим заранее не известно, сколько их будет и какие. Вот, используя эту штукенцию можно избежать постоянного перекраивания модели.


class KV(models.Model):
    key = models.CharField(u'Key', max_length=50, unique=True)
    val = PickledObjectField(u'Value')

    @classmethod
    def get(cls, key, default=None):
        try:
            return cls.objects.get(key=key).val
        except cls.DoesNotExist:
            return default

    @classmethod
    def put(cls, key, val):
        obj, new = cls.objects.get_or_create(key=key)
        obj.val = val
        obj.save()

    @classmethod
    def rm(cls, key):
        try:
            cls.objects.get(key=key).delete()
        except cls.DoesNotExist:
            pass

Работает, соответственно, так:


KV.put('updated', datetime.now())
print KV.get('updated')
KV.rm('updated')

А dict-style интерфейс я так и не написал. Пока думал как лучше сделать, текущую задачу уже решил :)

Django ORM без Джанги

noreply@blogger.com (Imbolc) — Tue, 15 Dec 2009 14:27:00 +0000

Я так и не смог себя заставить изучить Алхимию. Не лезет в голову то, что разум трактует как избыточное. А использование Django-orm в не веб проектах раздражало. Пишешь какой-нибудь парсер приходится захламлять папку целиковой джанга-структурой.

Так вот, наконец-то я выделил время и разобрался-таки, как засунуть всю конфигурацию django orm в один файлик. Делюсь сей радостью :)

Всего один файлик models.py:


#!/usr/bin/python
# -*- coding: utf-8 -*-

from django.conf import settings
settings.configure(
    DATABASE_ENGINE = 'sqlite3',
    DATABASE_NAME = 'var/db.sqlite',
)
from django.db import models


class Person(models.Model):
    nick = models.CharField(max_length=100, unique=True)
    email = models.EmailField(max_length=100, unique=True)

    def __unicode__(self):
        return self.nick

    class Meta:
        app_label = ''


def create_table(cls):
    from django.db import connection
    from django.core.management.color import no_style
    
    sql, references = connection.creation.sql_create_model(cls, no_style())
    cursor = connection.cursor()
    for q in sql:
        try:
            cursor.execute(q)
        except:
            pass
    

def main():
    create_table(Person)


if __name__ == "__main__":
    main()

Для создания таблиц просто запускайте этот файлик. Ну а использовать как обычно


from models import Person

Person.objects.....

TDS

noreply@blogger.com (Imbolc) — Tue, 15 Dec 2009 14:06:00 +0000

Недавно вернулся в доры :) Пошёл трафик, писал тдс-ку. Она поумнее аналогов, например, биды кеев умеет мнговенно определять с незначительной погрешностью. Так вот, дошли руки до анализа уникальности. Задумался над структурой, кв-бд в голову полезли всякие.

Стоп, думаю, надо отвлечься, в ванной поваляться, чувствую есть решение проще. И оно, действительно, пришло. Куки. Прямо в куках и храню историю посещении тдс-ки. Когда и куда отправлял сёрфера.

Решение помимо лёгкости реализации и устойчивости к нагрузкам может и на конверте сказаться в лучшую сторону. В случае всевозможных cpa и шопов, везде, где платят процент в той или иной форме. В таких случаях по ипу вы можете отсеять реальный уник, а это потенциальный покупатель. А если продавать траф, то конечно лучше по ипам уникализировать, а то как неуник засчитают частично.

Т.е. я назвал бы такой способ уникализации более точным. Но использовать эту точность можно только самому, т.к. доказать её невозможно.

Tokyo Cabinet

noreply@blogger.com (Imbolc) — Tue, 15 Dec 2009 13:48:00 +0000

Это такая key-value бд, кто не знает. Возможно, самая быстрая из имеющихся. Я до этого юзал gdbm, потому и сравнивал только с оной. Так вот, tc по всем параметрам её превосходит. И размер файла меньше, и скорость больше. И ещё приятная мелочь, в gdbm len(db) первый раз тратил время. Т.е. она не хранит количество записей, а пересчитывает каждый раз. В tc в этом смысле всё отлично.

Ну и ещё плюшки, которые пока не юзал. Есть серверный вариант. Кроме индекса по ключу есть бТри индексы, некая симпл-дб и поля фиксированной длины, последние должны быть мега-быстрыми на изменение.

Ещё она может работать с таблицами в памяти, видел сравнение с мемКешд, чуточку уступает.

Ссылки:
- сам кабинет
- питон-обёртка которую юзаю. В ней, кстати не всё есть и это может оказаться не кстати. Например, тех же фиксед-лен-филдов нету. Но она не единственная.
- оодб на её основе написанная на питоне. Код приятный. Но под 2.6 к сожалению. В общем, только взял на заметку пока.

Жизнь рождает порядок, но порядок не рождает жизни

noreply@blogger.com (Imbolc) — Tue, 15 Dec 2009 13:34:00 +0000

"Жизнь рождает порядок, но порядок не рождает жизни" - некоторое время назад прочитал и всплывает в голове регулярно. Уж сколько раз я пытался сделать что-то идеально. Тужился, тужился и вытужиива херь мертворожденную. А сделанное спонтанно живёт себе, само-структурируется со временем.

Нет, не хочу я абсолютизировать. Конечно, бывает, и потуги проектирования приносят хороший результат. Но всё же, проявления озвученной мысли я вижу чаще. И ещё забавно, все поисковики обыскал, не могу найти, где прочитал это. Приснилось, что ли :)

noreply@blogger.com (Imbolc) — Tue, 15 Dec 2009 12:19:00 +0000

Из пизды вприпрыг бежал
Чтоб в могилке полежать
Больше силится сожрать
Но из жопы вылезает
А потом опять бежал
Но уже не убежать
Это выглядит смешно
Только он ещё не знает