MiCHiLU Life.

決済システム

2008-02-15T14:46:13Z

[memo]: 決済システム

決済システムのすべて読了につきメモ。

決済: 債権・債務関係を解消すること。資金決済、外為決済、証券決済。
決済システムの要件: 堅実かつ効率的な運営。リスク管理。流動性の供給と配分。

決済のプロセス:

payment

支払指図の送付と受取
clearing

決済尻の算出
settlement

決済尻の受払

ファイナリティ: 決済完了性。決済の取り消しがないこと。現金またはセントラルバンクマネーの受渡が完了し、債権・債務が消滅している状態。
決済リスクとエクスポージャー: 決済が実行されないために損失を被るリスク。金額×期間。外為決済では時差も要因になる。
決済リスクの削減: 決済金額の削減には、当事者間での債権・債務を相殺した差額分のみとするネッティング、取引枠を設定し未決済残高を監視する。期間の短縮には、リコンサイル(決済結果の照合・確認)の早期化、決済時点の繰上げ(Real-Time Gross Settlement)、同時決済により価値交換の時差をゼロにする。
ロスシェア・ルール: ネット決済システムでは、支払不能参加者(defaulter)の発生により、決済が完了しない支払指図が残るが、影響を最小限に抑えるために、参加者が未決済残高分を負担する。破綻行支払(defaulters pay)、生存者負担(survivors pay)、第三者負担(third parties pay)。
流動性: RTGSシステムでは、十分な資金源がないと決済が実行されない。お互いに支払を待つ、すくみ状態になりやすい。
ハイブリッド型決済: ネット決済システムとRTGSシステムとの混合
インテグレイテッド・システム: ネット決済機能とRTGS機能の両方を備えたシステム

ランファルシー基準:

1. ネッティング・システムが法的根拠をもつこと。 4. ネット負債額が最大の参加者が決済不能になった場合にも、タイムリーに決済を完了できること。

Lamfalussy-Plus: 支払不能となる参加者の数に関わらず、どのような状況下でも確実に決済を完了できる
S.W.I.F.T.: Society for Worldwide Interbank Financial Telecommunication. 共通ネットワークの構築と通信フォーマットを統一し、インターバンク取引を効率化するため、1973年にベルギーに設立された協同組合。

metaclass memo

2008-01-17T16:12:35Z

[Python]: metaclass memo

全くよく解らないので、ソースを見てみる

http://www-06.ibm.com/jp/developerworks/linux/030425/j_l-pymeta.html

Versionは2.5.1 http://svn.python.org/view/python/tags/r251/ から落としてくる

__metaclass__ でgrepすると

Modules/_ctypes/_ctypes.c
Python/ceval.c

などが見つかる

Python/ceval.c:4060

static PyObject *
build_class(PyObject *methods, PyObject *bases, PyObject *name)
{

build_class はPythonバイトコード命令の BUILD_CLASS に対応している http://www.python.jp/doc/2.4/lib/bytecodes.html

BUILD_CLASS

新しいクラスオブジェクトを作成します。TOSはメソッド辞書、TOS1は基底クラスの名前のタプル、TOS2はクラス名です。

  PyObject *metaclass = NULL, *result, *base;

  if (PyDict_Check(methods))
    metaclass = PyDict_GetItemString(methods, "__metaclass__");
  if (metaclass != NULL)
    Py_INCREF(metaclass);
  else if (PyTuple_Check(bases) && PyTuple_GET_SIZE(bases) > 0) {
    base = PyTuple_GET_ITEM(bases, 0);
    metaclass = PyObject_GetAttrString(base, "__class__");
    if (metaclass == NULL) {
      PyErr_Clear();
      metaclass = (PyObject *)base->ob_type;
      Py_INCREF(metaclass);
    }
  }
  else {
    PyObject *g = PyEval_GetGlobals();
    if (g != NULL && PyDict_Check(g))
      metaclass = PyDict_GetItemString(g, "__metaclass__");
    if (metaclass == NULL)
      metaclass = (PyObject *) &PyClass_Type;
    Py_INCREF(metaclass);
  }
  result = PyObject_CallFunctionObjArgs(metaclass, name, bases, methods, NULL);
  Py_DECREF(metaclass);
  if (result == NULL && PyErr_ExceptionMatches(PyExc_TypeError)) {
    ...
  }
  return result;
}

metaclass は

クラスの __metaclass__ を代入
スーパークラス( __bases__ )がある

1つ目のスパークラスの __class__ を代入なければ、1つ目のスパークラスの ob_type を代入
Global(module)の __metaclass__ を代入
PyClass_Type を代入

が入る。 __metaclass__ を記述するということは、このステップを操作すること。

Py_INCREF, Py_DECREF は参照カウンタのインクリメント/デクリメント。 http://www.python.jp/doc/2.4/ext/refcountsInPython.html

ob_type

http://www.python.jp/doc/2.4/api/type-structs.html

PyTypeObject* ob_type

型自体の型、別の言い方をするとメタタイプです。 PyObject_HEAD_INIT マクロで初期化され、通常は &PyType_Type になります。 Python 2.2.1 およびそれ以降では基底クラスの ob_type フィールドに初期化します。 ob_type が非ゼロの場合、PyType_Ready() はこのフィールドを変更しません。 2.2.1 と 2.3 以降では、サブタイプはこのフィールドを継承します。

PyClass_Type

Objects/classobject.c:423

PyTypeObject PyClass_Type = {
  PyObject_HEAD_INIT(&PyType_Type)
  ...
};

PyObject_HEAD_INIT

http://www.python.jp/doc/2.4/ext/dnt-basics.html

PyObject_HEAD_INIT(&PyType_Type)

この場合、タイプオブジェクトの型は「type」という名前になります

GnuPG (GNU Privacy Guard)

2007-12-30T07:24:55Z

GnuPG (GNU Privacy Guard)

公開鍵方式の暗号化と著名に使われる PGP (Pretty Good Privacy) のGNU実装。

GnuPG

http://www.gnupg.org/
OpenPGP

http://www.openpgp.org/

暗号に関する歴史は分厚い本が書けるほどの人間物語。普段なにげに使っている暗号が、その昔にはこんなことになっていたとは。

ジマーマン氏が語る、PGP誕生から10年の軌跡 2001/06/08

http://wiredvision.jp/archives/200106/2001060806.html

もっと詳しい内容はオライリーのPGPで読むことができる

PGP―暗号メールと電子署名

http://www.amazon.co.jp/dp/4900900028/

以下、PGPがどういう理論の上に成り立っているのかの資料。

公開鍵暗号

http://ja.wikipedia.org/wiki/公開鍵暗号
Diffie-Hellman

http://ja.wikipedia.org/wiki/Diffie-Hellman鍵共有
RSA暗号

http://ja.wikipedia.org/wiki/RSA暗号

Mac 版の GnuPG をさくっと落として使ってみる

Mac GnuPG Downloads

http://macgpg.sourceforge.net/#files

まず Version

$ gpg --version
gpg (GnuPG) 1.4.8
Copyright (C) 2007 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html>
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

Home: ~/.gnupg
サポートしているアルゴリズム:
公開鍵: RSA, RSA-E, RSA-S, ELG-E, DSA
暗号法: 3DES, CAST5, BLOWFISH, AES, AES192, AES256, TWOFISH
ハッシュ: MD5, SHA1, RIPEMD160, SHA256, SHA384, SHA512, SHA224
圧縮: 無圧縮, ZIP, ZLIB, BZIP2

秘密鍵と公開鍵のセットを作成する

$ ls .gnupg
ls: .gnupg: No such file or directory
$ gpg --gen-key
gpg (GnuPG) 1.4.8; Copyright (C) 2007 Free Software Foundation, Inc.
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

gpg: ディレクトリー「<$HOME>/.gnupg」ができました
gpg: 新しい構成ファイル「<$HOME>/.gnupg/gpg.conf」ができました
gpg: 警告: 「<$HOME>/.gnupg/gpg.conf」のオプションは起動している間、有効になりません
gpg: 鍵輪「<$HOME>/.gnupg/secring.gpg」ができました
gpg: 鍵輪「<$HOME>/.gnupg/pubring.gpg」ができました
ご希望の鍵の種類を選択してください:
   (1) DSAとElgamal (既定)
   (2) DSA (署名のみ)
   (5) RSA (署名のみ)
選択は?
DSA keypair will have 1024 bits.
ELG-E keys may be between 1024 and 4096 bits long.
What keysize do you want? (2048) 4096
要求された鍵長は4096ビット
鍵の有効期限を指定してください。
         0 = 鍵は無期限
      <n>  = 鍵は n 日間で満了
      <n>w = 鍵は n 週間で満了
      <n>m = 鍵は n か月間で満了
      <n>y = 鍵は n 年間で満了
鍵の有効期間は? (0)
Key does not expire at all
これで正しいですか? (y/N) y

あなたの鍵を同定するためにユーザーIDが必要です。
このソフトは本名、コメント、電子メール・アドレスから
次の書式でユーザーIDを構成します:
    "Heinrich Heine (Der Dichter) <heinrichh@duesseldorf.de>"

本名: Takanao Endoh
電子メール・アドレス: takanao@endoh.tk
コメント:
次のユーザーIDを選択しました:
    “Takanao Endoh <takanao@endoh.tk>”

名前(N)、コメント(C)、電子メール(E)の変更、またはOK(O)か終了(Q)? O

秘密鍵を保護するためにパスフレーズがいります。

パスフレーズを入力:
パスフレーズを再入力:
今から長い乱数を生成します。キーボードを打つとか、マウスを動かす
とか、ディスクにアクセスするとかの他のことをすると、乱数生成子で
乱雑さの大きないい乱数を生成しやすくなるので、お勧めいたします。
.+++++++++++++++.++++++++++++++++++++++++++++++..++++++++++.++++
.+++++++++++++++.++++++++++++++++++++++++++++++..++++++++++.++++

gpg: <$HOME>/.gnupg/trustdb.gpg: 信用データベースができました
gpg: 鍵238BFAE5を絶対的に信用するよう記録しました
公開鍵と秘密鍵を作成し、署名しました。

gpg: 信用データベースの検査
gpg: 最小の「ある程度の信用」3、最小の「全面的信用」1、PGP信用モデル
gpg: 深さ: 0  有効性:   1  署名:   0  信用: 0-, 0q, 0n, 0m, 0f, 1u
pub   1024D/238BFAE5 2007-12-23
                 指紋 = 057E 2DEC AF85 95A4 41BA  6BC1 B537 0A4A 238B FAE5
uid                  Takanao Endoh <takanao@endoh.tk>
sub   4096g/******** 2007-12-23

でき上がった鍵の情報を見る。 fingerprint は公開鍵の digest hash

$ gpg --fingerprint
<$HOME>/.gnupg/pubring.gpg
-------------------------------
pub   1024D/238BFAE5 2007-12-23
                 指紋 = 057E 2DEC AF85 95A4 41BA  6BC1 B537 0A4A 238B FAE5
uid                  Takanao Endoh <takanao@endoh.tk>
sub   4096g/******** 2007-12-23

公開鍵にIDを追加する。最後に追加したIDが primary になるので、変更して保存しておく

$ gpg --edit-key 238bfae5
gpg (GnuPG) 1.4.8; Copyright (C) 2007 Free Software Foundation, Inc.
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

秘密鍵が使用できます。

pub  1024D/238BFAE5  作成: 2007-12-23  満了: 無期限      利用法: SC
                     信用: 絶対的     有効性: 絶対的
sub  4096g/********  作成: 2007-12-23  満了: 無期限      利用法: E
[ultimate] (1). Takanao Endoh <takanao@endoh.tk>

コマンド> help
...
コマンド> adduid
本名: MiCHiLU
電子メール・アドレス: dj@michilu.com
コメント:
次のユーザーIDを選択しました:
    “MiCHiLU <dj@michilu.com>”

名前(N)、コメント(C)、電子メール(E)の変更、またはOK(O)か終了(Q)? O

次のユーザーの秘密鍵のロックを解除するには
パスフレーズがいります:“Takanao Endoh <takanao@endoh.tk>”
1024ビットDSA鍵, ID 238BFAE5作成日付は2007-12-23

pub  1024D/238BFAE5  作成: 2007-12-23  満了: 無期限      利用法: SC
                     信用: 絶対的     有効性: 絶対的
sub  4096g/********  作成: 2007-12-23  満了: 無期限      利用法: E
[ultimate] (1). Takanao Endoh <takanao@endoh.tk>
[ unknown] (2)  MiCHiLU <dj@michilu.com>

コマンド> uid 1

pub  1024D/238BFAE5  作成: 2007-12-23  満了: 無期限      利用法: SC
                     信用: 絶対的     有効性: 絶対的
sub  4096g/********  作成: 2007-12-23  満了: 無期限      利用法: E
[ultimate] (1)* Takanao Endoh <takanao@endoh.tk>
[ unknown] (2)  MiCHiLU <dj@michilu.com>

コマンド> primary
コマンド> save

鍵のIDリストを表示して確認する

$ gpg --list-sigs
<$HOME>/.gnupg/pubring.gpg
-------------------------------
pub   1024D/238BFAE5 2007-12-23
uid                  Takanao Endoh <takanao@endoh.tk>
sig 3        238BFAE5 2007-12-23  Takanao Endoh <takanao@endoh.tk>
uid                  MiCHiLU <dj@michilu.com>
sig 3        238BFAE5 2007-12-23  Takanao Endoh <takanao@endoh.tk>
sub   4096g/******** 2007-12-23
sig          238BFAE5 2007-12-23  Takanao Endoh <takanao@endoh.tk>

鍵は binary なのでTEXT形式で貼付けたい場合は、exportして ASCII形式に変換する

$ gpg -a --export
-----BEGIN PGP PUBLIC KEY BLOCK-----
Version: GnuPG v1.4.8 (Darwin)

mQGiBEduPoERBACTFOxoGDSsF7LDcMW48rOVEdl151aNj/bG+nl5ZSOfyKfp3U2e
cXJk4Y5JSwsatbnlkFZSyntjXmBfeDYmu5lcgU4y8v+NWyW7laF60Dj4+HzulyAR
...
BQJHbj6BAhsMAAoJELU3Ckoji/rlJ88Aniy2UH6dtxxgxdB6zlGx4/K8amEIAJ0Z
xkQCthPdsUV6TNEPLx+xuVRZOg==
=cuST
-----END PGP PUBLIC KEY BLOCK-----

さて、公開鍵はどのようにして配布するのか。

公開鍵は公に晒されても無問題なので、どのようにして配布してもよい。しかし、その公開鍵が意図する人物によって作成されたという保証はない。 fingerprint を当人から直接聞いて確認するのが、もっとも確か。これを補助する仕組みとして、「信用の和」 (Web of trust) がある。

公開鍵を登録できるサーバが公開されている

NIC-SE PGP Keyserver

http://subkeys.pgp.net/

公開鍵を鍵サーバに送信する

$ gpg --send-keys 238BFAE5
gpg: 鍵238BFAE5をhkpサーバーsubkeys.pgp.netへ送信

登録した公開鍵を鍵サーバから検索する

$ gpg --search-keys 238BFAE5
gpg: “238BFAE5”をhkpサーバーsubkeys.pgp.netから検索
(1)     MiCHiLU <dj@michilu.com>
        Takanao Endoh <takanao@endoh.tk>
          1024 bit DSA key 238BFAE5, 作成: 2007-12-23
Keys 1-1 of 1 for "238BFAE5".  番号(s)、N)次、またはQ)中止を入力してください >1
gpg: 鍵238BFAE5をhkpからサーバーsubkeys.pgp.netに要求
gpg: 鍵238BFAE5:“Takanao Endoh <takanao@endoh.tk>”変更なし
gpg:     処理数の合計: 1
gpg:         変更なし: 1

PGPの作者 Philip R. Zimmermann の鍵ももちろんある

$ gpg --search-keys c7a966dd
gpg: “c7a966dd”をhkpサーバーsubkeys.pgp.netから検索
(1)     Philip R. Zimmermann <prz@acm.org>
          1024 bit RSA key C7A966DD, 作成: 1993-05-21
Keys 1-1 of 1 for "c7a966dd".  番号(s)、N)次、またはQ)中止を入力してください >Q

Google Gears

2007-12-15T13:20:46Z

[Django][s6]: Google Gears

2007/12/12 翔泳社さんにて開催の Python Workshop the Edge 2007 でLTを発表させていただきました。資料を掲載します。当日は持ち時間ちょうどでしたので触れませんでしたがDjangoついての情報も載せています。

自己紹介

Django オンラインドキュメント和訳

http://michilu.com/django/doc-ja/index/

Google Code

http://code.google.com/u/Takanao.Endoh/

Google Gears

http://gears.google.com/ http://code.google.com/p/google-gears/

Google Gears is

an open source browser extension that lets developers create web applications that can run offline.

Google Reader (en)
Django オンラインドキュメント和訳

Require

Firefox 1.5+, IE 6+ (Safari)
JavaScript

Features

LocalServer
Databese
WorkerPool

LocalServer

Cache and serve application resources locally (HTML, JavaScript, images, etc.)

Database

Store data locally in a fully-searchable relational database (SQLite)

WorkerPool

Run asynchronous Javascript to improve application responsiveness (threading)

DEMO

Django オンラインドキュメント和訳 http://michilu.com/django/doc-ja/index/

Sample Code

Django Views

def doc_index_json(request, target_dir, base_url, callback=None):
    result = dict()
    timestamp_dict = util.get_timestamp(target_dir, extension=".txt")
    for key, value in timestamp_dict.items():
        key = base_url % key[:key.rindex(".")]
        result[key] = dateformat.DateFormat(value).format("r")
    result = "[%s]" % simplejson.dumps(result)
    if callback:
        result = to_jsonp(callback, result)
    return HttpResponse(result, mimetype=mimetype("json"))

Django Views

詳しくは

http://michilu.googlecode.com /svn/trunk/doc/views.py

JavaScript

function updating (JSON) { count.reset();
    for (var key in JSON){
        if ( localServer.isCaptured(url) &&
            Date.parse(JSON[key]) <= Date.parse(
                localServer.getHeader(url, "Last-Modified"))) {
        } else { count.up();
            localServer.capture(url, function(){count.down();});
        };
    };
};

JavaScript

詳しくは

http://michilu.com/static/doc-ja/js/site.js

Google Gears Databese

SQL on JavaScript

Google Gears ORM

http://www.urielkatz.com/archive/tag/GearsORM/

with Django

Django Offline

http://code.google.com/p/django-offline/

＞＜

ソースはまだないよ (はぁと)

Architecture

UI
 |
jQuery
 |
Switcher  <-- (Online) -->  Django  <-->  Database
 ^
 |
 +- (Online? Offline?) -->  Google Gears (Database)

Architecture

via apexdevnet.com

まとめ

Google Gears は便利

Django なら

「オフラインドキュメント和訳」

があるよ！

ご清聴ありがとうございました

Extras

Django-ja 絶賛募集中!!!

和訳してくれる人も募集中!!!

Django-ja at lingr

http://www.lingr.com/room/django-ja

Django 紹介

MVC vs MVT, TESTツール付属, バッテリ付属, スケーラビリティ, SQLArchemy, Cache, クールなAdmin画面, Middleware, Generic Views

and more Google Code

Documents

本家Wiki
日本語Wiki hosted by ueblog

The END

hatena.api.auth

2007-11-08T18:35:22Z

[Python]: hatena.api.auth

見つからなかったので書きました。 Google code に python-hatena-api を登録。 http://python-hatena-api.googlecode.com/svn/trunk/hatena/api/auth.py

http://search.cpan.org/src/NAOYA/Hatena-API-Auth-0.05/t/01-methods.t を参考に、 api_sig と uri_to_login まで。

import md5


class Auth(object):
    host = "auth.hatena.ne.jp"
    path = "auth"
    schema = "http"

    def __init__(self, api_key, secret):
        self.api_key = api_key
        self.secret = secret

    def api_sig(self, api_key=None, **kwargv):
        api_key = api_key or self.api_key

        sig_dict = dict(
            api_key = api_key,
        )
        sig_dict.update(**kwargv)
        sig_keys = sig_dict.keys()
        sig_keys.sort()

        sig_list = list()
        for key in sig_keys:
            sig_list.extend((
                key,
                sig_dict[key],
            ))
        sig_string = "".join(sig_list)

        m = md5.new()
        m.update("%s%s" % (
            self.secret,
            sig_string,
        ))
        return m.hexdigest()

    def uri_to_login(self, **kwargv):
        query = dict(
            api_key = self.api_key,
            api_sig = self.api_sig(**kwargv),
            secret = self.secret,
        )
        query.update(**kwargv)
        query_string = "&".join(["%s=%s" % (key, value)
            for key, value in query.items()])
        return "%s://%s/%s?%s" % \
            (self.schema, self.host, self.path, query_string)

Python チュートリアルメモ2

2007-11-01T18:01:11Z

[Python]: Python チュートリアルメモ2

Guidoのメモ書きのメモ書き。(6章〜最終章まで。ほか)

format strings は vars() を使うと楽。

>>> spam = "SPAM!"
>>> egg = "EGG!!"
>>> bacon = "BACON!!!"
>>> "%(spam)s, %(egg)s, %(bacon)s" % vars()
'SPAM!, EGG!!, BACON!!!'

ファイルライクオブジェクトは、そのままループにかけられる。

>>> from StringIO import StringIO
>>> s
'SPAM!\nEGG!!\nBACON!!!'
>>> s = StringIO(s)
>>> for i in s:
...     print i
...
SPAM!

EGG!!

BACON!!!

例外はインスタンス化して送出する(されている)。

import os と書くのは、os.open が built-in の open を上書きしないようにするため。

対話モードのインタプリタを起動するときに PYTHONSTARTUP に指定されたファイルが実行される。

module を生成する。

>>> d = dict()
>>> exec "x = 1" in d
>>> import imp
>>> imp.new_module("foo")
<module 'foo' (built-in)>
>>> foo = _
>>> foo.__dict__.update(d)
>>> foo.x
1

Via nishio.

リストの範囲外を取得する。

>>> l = range(4)
>>> dict(enumerate(l)).get(4, "nothing")
'nothing'

Via http://d.hatena.ne.jp/morchin/20070914#p1

generator をコピーしたら元の generator を操作してはいけない。

>>> import itertools
>>> def foo():
...     yield 1
...     yield 2
...
>>> f = foo()
>>> f1, f2 = itertools.tee(f)
>>> f.next()
1
>>> f1.next()
2
>>> f2.next()
2
>>> f.next()
------------------------------------------------------------
Traceback (most recent call last):
  File "<ipython console>", line 1, in ?
StopIteration

Via [Python] ジェネレータのコピー http://d.hatena.ne.jp/morchin/20070829#p1

逆ポーランド記法

def _calc(calc):
    def func(string):
        if " " in string:
            string = string.split()
        filter(calc, string)
    return func

@_calc
def calc(val, stack=list()):
    if val == "=":
        print "  result %d" % stack.pop()
    else:
        func = {
            "+": lambda x, y: y + x,
            "-": lambda x, y: y - x,
            "*": lambda x, y: y * x,
            "/": lambda x, y: y / x,
        }.get(val)
        if func:
            val = func(stack.pop(), stack.pop())
        stack.append(int(val))
        print stack

if __name__ == "__main__":
    calc("53+2*4-3/=")
    calc("12+34+*=")
    calc("0 53 + 2 * 4 - 3 / =")
    calc("0 12 + 3 4 + * =")

pyhabu global.cfgをオプションで渡すpatch

2007-10-25T07:10:58Z

[Python]: pyhabu global.cfgをオプションで渡すpatch

開発用とプロダクション用とで、globalセクションを簡単に分けられるので便利。 includeに渡されたYAMLでupdateします。

#プロダクション用
$ runhabu.py config/spam.cfg
...
#debug用
$ runhabu.py config/spam.cfg --include=config/debug.cfg
...

config/spam.cfg

global:
  timezone: Asia/Tokyo
  log: log/pyhabu_log
  loglevel: CRITICAL

pipeline:
  rss_fetcher:
    - module: subscription.config
      config:
        feed:
          - http://d.hatena.ne.jp/johzan/rss2
        file:
    - module: filter.grep
      config:
        str:
          title: 巡回
    - module: filter.select_anchor
    - module: publisher.rssfeeder
      config:
        title: 常山日記 - 巡回
        link: http://d.hatena.ne.jp/johzan/searchdiary?word=%BD%E4%B2%F3
        file: published/feeds/johzan_junkai.xml

config/debug.cfg

global:
  timezone: Asia/Tokyo
  log: stdout
  loglevel: DEBUG

include_option.diff

Index: habu/__init__.py
===================================================================
--- habu/__init__.py        (revision 87)
+++ habu/__init__.py        (working copy)
@@ -166,8 +166,10 @@
         self.scheduler = None
         self.servers = []

-    def load(self, yamlStream):
+    def load(self, yamlStream, includeStream=None):
         config = yaml.load(yamlStream)
+        if includeStream:
+            config.update(yaml.load(includeStream))
         self.environ = config.setdefault("global", None)
         self.lineConfigs = config.setdefault("pipeline", [])
         self._loadAfter(config)
Index: runhabu.py
===================================================================
--- runhabu.py      (revision 87)
+++ runhabu.py      (working copy)
@@ -1,3 +1,5 @@
+#! /usr/bin/env python
+
 from twisted.internet import reactor, defer
 import habu
 import habu.log as log
@@ -42,7 +44,7 @@
                                          "download-module=", "download-url=",
                                          "log-level=", "log-file=",
                                          "proxy-host=", "proxy-port=",
-                                         "pid-file="])
+                                         "pid-file=", "include="])
     except:
         printUsage(args[0])

@@ -88,12 +90,19 @@
             bag["url"] = arg
         elif opt == "--pid-file":
             bag["pid-file"] = arg
+        elif opt == "--include":
+            bag["include"] = arg
+            if not os.path.exists(bag["include"]):
+                printUsage(args[0])

     return cfgFile, bag

 def prepare(cfgFile, bag):
     mgr = habu.Habu()
-    mgr.load(open(cfgFile).read())
+    cfg = (open(cfgFile).read(),)
+    if bag.get("include"):
+        cfg = cfg + (open(bag.get("include")).read(),)
+    mgr.load(*cfg)
     mgr.addPluginPath(bag.get("plugin-path", None))
     mgr.setProxy(bag.get("proxy-host", None), bag.get("proxy-port", 0))
     if not mgr.getPipelines():

LDRにはてスタをつけるGreasemonkey

2007-10-25T07:07:23Z

[ECMAScript]: LDRにはてスタをつけるGreasemonkey

livedoor readerにはてなスターをつける。Safariで動くのが見つからなかったので。何を監視すればいいのかわからず、てけとうに3秒待って表示。便利だね、Greasemonkeyって。

ldr_with_hatenaster.user.js

// ==UserScript==
// @name        LDR with Hatena Star
// @namespace   http://michilu.com/
// @include     http://reader.livedoor.com/reader/*
// @version     0.1
// ==/UserScript==

// based on http://la.ma.la/blog/diary_200707121316.htm
// based on http://d.hatena.ne.jp/KGA/20070929/1190993663
// based on http://michilu.com/blog/posts/123/

(function(){
    var j = document.createElement('script');
    j.src = 'http://s.hatena.ne.jp/js/HatenaStar.js';
    j.charset = 'utf-8';
    document.body.appendChild(j);
    var w = typeof unsafeWindow != "undefined" ? unsafeWindow : window;
    var i = setInterval(function(){
            if (w.Hatena) {
                    clearInterval(i); i = null;
                    var s = w.Hatena.Star;
                    (function(){
                            s.SiteConfig = {
                                    entryNodes: {
                                            'div.item': {
                                                    uri: 'h2.item_title a',
                                                    title: 'h2.item_title',
                                                    container: 'h2.item_title'
                                            }
                                    }
                            };
                            w.channel_widgets.add('hatena_star', function(){
                                    var t = setTimeout(function(){
                                            clearTimeout(t); t = null;
                                            var e = s.EntryLoader;
                                            var entries = e.entries;
                                            e.entries = null;
                                            new e();
                                            if (entries) {
                                                    e.entries = Array.concat(entries, e.entries);
                                            };
                                    }, 3000);
                            });
                    })();
            };
    }, 100);
})();

livedoor readerにいろいろつける http://la.ma.la/blog/diary_200703221812.htm

Python版Plagger pyhabuのpluginを作ってみる

2007-10-15T18:00:01Z

[Python]: Python版Plagger pyhabuのpluginを作ってみる

pyhabu のpluginsを作ってみる。常山フィードを1リンクにつき1エントリへ分解する。

まず、XML parserを用意します。処理速度重視の lxml と、インストールがらくちんな BeautifulSoup を。

lxmlを使ってみる

>>> from lxml import etree
>>> from StringIO import StringIO
>>> parser = etree.HTMLParser()
>>> html = '<html><head><title>test<body><h1>page title<a href="url">TEST</a></h3>'
>>> tree = etree.parse(StringIO(html), parser)
>>> anchor = tree.xpath("//*[@href]")
>>> anchor[0].attrib.get("href")
'url'
>>> anchor[0].text
'TEST'

HTMLParser を使うと多少いい加減なHTMLでもそれなりに解釈します。 tree.xpath("//*[@href]") ではXPath指定で href 属性を持つ要素を抜き出しています。

BeautifulSoupを使ってみる

>>> from BeautifulSoup import BeautifulSoup
>>> html = '<html><head><title>test<body><h1>page title<a href="url">TEST</a></h3>'
>>> anchor = BeautifulSoup(html).findAll("a")
>>> anchor[0].get("href")
u'url'
>>> anchor[0].string
u'TEST'

BeautifulSoupは素でいい加減なHTMLを解釈できます。いまのところXPathが使えないので findAll で<a>タグを検索します。

ここまででXMLの調理方法はOK :-) 次にpyhabuのレシピを考えます。付属の habu.cfg をカスタマイズしてベースを作ってみます。

johzan_feed.cfg

global:
  timezone: Asia/Tokyo
  log: stdout

pipeline:
  rss_fetcher:
    - module: subscription.config
      config:
        feed:
          - http://d.hatena.ne.jp/johzan/rss2
    - module: publisher.rssfeeder
      config:
        file: "johzan_feed.rss"

余分なものをそぎ落とし subscription.config のソースに http://d.hatena.ne.jp/johzan/rss2 を、出力のファイル名を johzan_feed.rss にしました。これで http://d.hatena.ne.jp/johzan/rss2 をダウンロードして johzan_feed.rss というファイル名で保存するレシピの完成です。

http://d.hatena.ne.jp/johzan/rss2 には、いわゆる常山フィードだけでなく、すばらしいエントリも含まれています。タイトルに「巡回」が含まれているいわゆる常山フィードだけを抜き出すには filter.grep を使います。

johzan_feed.cfg

global:
  timezone: Asia/Tokyo
  log: stdout

pipeline:
  rss_fetcher:
    - module: subscription.config
      config:
        feed:
          - http://d.hatena.ne.jp/johzan/rss2
    - module: filter.grep
      config:
        str:
          title: 巡回
    - module: publisher.rssfeeder
      config:
        file: "johzan_feed.rss"

さて、ここからが本番。いわゆる常山フィードからアンカーを抜き出して個別のエントリに仕立てます。この処理ができるpluginは、pyhabuパッケージに含まれていないので自分で作ります。エントリからアンカーを抜き出す処理なので filter.select_anchor と命名します。

pluginの要件は現在(pyhabu 0.3)のところ、

実際の処理を行うクラス
- config(プラグイン固有の設定の辞書), environ(habuの環境全体にわたる設定情報の辞書) を引数に取るコンストラクタ
- context(feedparserがパースしたオブジェクト) を引数に取り、何らかの処理を施した context を返す execute メソッド
実際の処理を行うクラスのインスタンスを返す create 関数

を1つのモジュールに納めます。何もしない最小のpluginは↓になります。

class Main(object):
    def __init__(self, config, environ):
        pass

    def execute(self, context):
        return context

def create(*argv, **kwargv):
    return Main(*argv, **kwargv)

ということで filter.select_anchor はこんな感じになりました。ファイル名を select_anchor.py として filter ディレクトリに入れます。

レシピのYAMLは module: filter.select_anchor を差し込んで、仕上げにtitleとlinkを追加したfeedを出力するように設定して完成です。結果は http://michilu.com/feeds/others/johzan_junkai.xml で取得できます。

johzan_feed.cfg

global:
  timezone: Asia/Tokyo
  log: stdout

pipeline:
  rss_fetcher:
    - module: subscription.config
      config:
        feed:
          - http://d.hatena.ne.jp/johzan/rss2
    - module: filter.grep
      config:
        str:
          title: 巡回
    - module: filter.select_anchor
    - module: publisher.rssfeeder
      config:
        title: 常山日記 - 巡回
        link: http://d.hatena.ne.jp/johzan/searchdiary?word=%BD%E4%B2%F3
        file: "johzan_feed.rss"

こんな感じでpluginが増えていくとバリエーションも増えていきます。夢が広がりんぐってやつですね。

plugin共有プロジェクト( pyhabu-plugins )を作ったので、ジョインしてがんがんコミットしてくださいまし :-)

Python版Plagger pyhabuを使ってみる

2007-10-15T17:59:42Z

[Python]: Python版Plagger pyhabuを使ってみる

Python版の Plagger ともいえる pyhabu を使ってみます。レシピに沿って小さなplugin scriptをUNIX pipeのように連結させ、多様な仕事をさせるものです。例えば、いろんなものをダウンロードしたりとか。 Twisted , feedparser , PyYAML が必要です。

Twisted

http://twistedmatrix.com/trac/wiki/Downloads

詳細を忘れたので割愛。詳しくは他の文献を参照してください。

feedparser

$ svn co http://feedparser.googlecode.com/svn/trunk feedparser

PyYAML

$ svn co http://svn.pyyaml.org/pyyaml/trunk pyyaml

feedparser, PyYAML は PYTHONPATH を通せばOKです。

pyhabu

$ svn co http://svn.sourceforge.jp/svnroot/pyhabu/trunk pyhabu
$ cd pyhabu

$ python runhabu.py -h
Usage : runhabu.py [options] [config_file_path]
Valid Options:
  -h, --help: Show this message.
  -v, --version: Show Version
  -t, --target=TARGET_PIPELINE: Run specific pipeline.
  -a, --plugin-path=PLUGIN_PATH: Append plugin paht.
  --download-module=PLUGIN_NAME: download specified plugin.
  --download-url=DOWNLOAD_URL: download from specified urln.
  -e, --enable-netinstall: enable to install module from net.
  -d, --disable-server: disable server functions
  -l, --log-level=LOG_LEVEL: set log level.
  --log-file=LOG_FILE: set log files. if stdout, ouput to stdout.
  --proxy-host=PROXY_HOST_NAME: Proxy Host Name.
  --proxy-port=PROXY_HOST_NUMBER: Proxy Host Port Number.
  --pid-file=PID_FILE_PATH
$ python runhabu.py -V
habu 0.3.0

オプションなしで実行すると、付属のレシピ(habu.cfg)が実行されます。レシピは YAML 形式で書きます。

habu.cfg

global:
  timezone: Asia/Tokyo
  log: stdout

pipeline:
  rss_fetcher:
    - module: subscription.config
      config:
        feed:
          - http://www.liris.org/blog/RSS
          - http://dev.ariel-networks.com/Members/blog_update/RSS
    - module: filter.join
    - module: filter.sort
      config:
        reverse: True
    - module: publisher.rssfeeder
      config:
        file: "out.rss"

このレシピでは、

global セクションで、 timezoneをAsia/Tokyoに、logの出力を標準出力に設定しています。
pipeline セクションでは、実際の処理の流れを記述しています。

modules: subscription.config

http://www.liris.org/blog/RSS と http://dev.ariel-networks.com/Members/blog_update/RSS のfeedを取得する

modules: filter.join

前項のfeed取得は並列に実行されています feed取得後の動作を1本にまとめるプラグイン

modules: filter.sort

取得した2つのfeedに含まれるentryを、更新日時順に並べ替える reverse: True オプションは逆順(降順)

modules: publisher.rssfeeder

Atom feedとしてファイル(out.rss)に書き出します

というように動作します。

$ python runhabu.py
2007/10/11 23:59 +0900 [-] Log opened.
2007/10/11 23:59 +0900 [-] Started habu with Task Mode
2007/10/11 23:59 +0900 [-] habu.webutils.getPage : http://dev.ariel-networks.com/Members/blog_update/RSS
2007/10/11 23:59 +0900 [-] Starting factory <HTTPClientFactory: http://dev.ariel-networks.com/Members/blog_update/RSS>
2007/10/11 23:59 +0900 [-] habu.webutils.getPage : http://www.liris.org/blog/RSS
2007/10/11 23:59 +0900 [-] Starting factory <HTTPClientFactory: http://www.liris.org/blog/RSS>
2007/10/11 23:59 +0900 [HTTPPageGetter,client] Stopping factory <HTTPClientFactory: http://dev.ariel-networks.com/Members/blog_update/RSS>
2007/10/11 23:59 +0900 [HTTPPageGetter,client] Thread Joined
2007/10/11 23:59 +0900 [-] Stopping reactor
2007/10/11 23:59 +0900 [HTTPPageGetter,client] Stopping factory <HTTPClientFactory: http://www.liris.org/blog/RSS>
2007/10/11 23:59 +0900 [-] Main loop terminated.
$ ls out.rss
out.rss

どのpathからでも実行できるように runhabu.py にpathを通しておきます。

Python チュートリアルメモ1

2007-10-07T18:40:17Z

[Python]: Python チュートリアルメモ1

Guidoのメモ書きのメモ書き。(5章まで)

演算子はなくても、文字列リテラルは連結する

>>> "spam" + "bacon"
'spambacon'
>>> "spam" "bacon"
'spambacon'
>>> spam, bacon = "spam", "bacon"
>>> spam bacon
------------------------------------------------------------
   File "<ipython console>", line 1
     spam bacon
              ^
SyntaxError: invalid syntax

スライスに代入できる

>>> L = range(5)
>>> L
[0, 1, 2, 3, 4]
>>> L[2:5] = L[:3]
>>> L
[0, 1, 0, 1, 2]
>>> L[2:] = L[:4]
>>> L
[0, 1, 0, 1, 0, 1]
>>> L[:] = dict()
>>> L
[]

削除され、その位置に追加される

>>> L = range(5)
>>> L[2:4] = L[:3]
>>> L
[0, 1, 0, 1, 2, 4]
>>> L = range(5)
>>> L[2:3] = L[:3]
>>> L
[0, 1, 0, 1, 2, 3, 4]

デフォルトの引数に可変オブジェクトを使う

>>> def f(x, y=list()):
...     y.append(x)
...     return y
...
>>> f(1)
[1]
>>> f(2)
[1, 2]
>>> f(3)
[1, 2, 3]

>>> log = lambda x=None, y=list(): x and y.append(x) or y
>>> f = lambda x: log(x) and None
>>> f(1)
>>> f(2)
>>> f(3)
>>> log()
[1, 2, 3]

関係ないけど、instanceに属性ができるのではなく継承。 namespaceは別。コンストラクタで生成する。というのを再認識。

>>> class F(object):
...     class_value = list()
...     def __init__(self):
...         self.instance_value = list()
...
>>> f = F()
>>> F.class_value.append(1)
>>> f.class_value
[1]
>>> g = F()
>>> g.class_value
[1]
>>> f.class_value.append(2)
>>> g.class_value
[1, 2]
>>> F.class_value
[1, 2]
>>> f.instance_value.append(1)
>>> f.instance_value
[1]
>>> g.instance_value
[]

>>> id(F.class_value)
18434808
>>> id(F().class_value)
18434808
>>> id(f.class_value)
18434808
>>> id(g.class_value)
18434808

>>> id(F().instance_value)
19339984
>>> id(f.instance_value)
19341144
>>> id(g.instance_value)
19358464

>>> f.class_value = "f"
>>> g.class_value
[1, 2]
>>> F.class_value = "F"
>>> g.class_value
'F'


>>> f = F()
>>> g = F()
>>> del f.class_value
------------------------------------------------------------
Traceback (most recent call last):
  File "<ipython console>", line 1, in ?
AttributeError: class_value

>>> del F.class_value
>>> g.class_value
------------------------------------------------------------
Traceback (most recent call last):
  File "<ipython console>", line 1, in ?
AttributeError: 'F' object has no attribute 'class_value'


>>> F.instance_value
------------------------------------------------------------
Traceback (most recent call last):
  File "<ipython console>", line 1, in ?
AttributeError: type object 'F' has no attribute 'instance_value'

>>> f.instance_value
[1]
>>> del f.instance_value
>>> g.instance_value
[]

weakref なんてあるんだなぁ Python ライブラリリファレンスリリース 2.4 より

あるリファレントに対する参照が弱参照しか残っていない場合、ガベレージコレクション機構は自由にリファレントを破壊し、そのメモリを別の用途に再利用できます。

.keys は呼ばなくてもいい

>>> "a" in dict(a=2,b=3).keys()
True
>>> "b" in dict(a=2,b=3)
True
>>> "c" in dict(a=2,b=3)
False

Subversion repositoryの一部をGoogle codeにsyncする

2007-09-30T13:47:08Z

Subversion repositoryの一部をGoogle codeにsyncする

プライベートなリポジトリの公開したくないコードを除いて、公開したいツリーだけコミットログごとコピーするメモ。 (要svk)

1.まっさらなsvkローカルミラーを作る:

$ svk depotmap --init

2.ベースのディレクトリを作って、svkローカルミラーにimportする:

$ mkdir project
$ cd project
$ mkdir trunk tags branches
$ svk import . //

3.コピー元のリポジトリの公開したいツリーを、svkローカルミラーにsyncする:

$ svk mirror http://myrepository/project //trunk/project
$ svk sync //trunk/project

4.svnsyncでコピー先リポジトリを所期化して、syncする:

$ svnsync init https://helpdoc.googlecode.com/svn file:///path/to/.svk/local
Copied properties for revision 0.
$ svnsync sync https://helpdoc.googlecode.com/svn
Committed revision 1.
Copied properties for revision 1.
Committed revision 2.
Copied properties for revision 2.
Committed revision 3.
Copied properties for revision 3.
...


Repository has not been enabled to accept revision propchanges;
ask the administrator to create a pre-revprop-change hook

というようなメッセージが表示される時は pre-revprop-change を有効にする:

$ cd ~/.svk/local/hooks
$ cp pre-revprop-change.tmpl pre-revprop-change
$ chmod 755 pre-revprop-change

JavaScriptパフォーマンス改善の定石

2007-09-30T07:33:42Z

[ECMAScript]: JavaScriptパフォーマンス改善の定石

いつも思い出せないのでメモ。 WEB+DB PRESS Vol.35 amachang の記事より。

DOM propaty, attributeへのアクセスを減らす、キャッシュする
length の参照を減らす
innerHTMLは注意
タイマ、イベント(特にmouse)は解除する
タイマ、イベントをまとめる
タイマ値はなるべく長く(50ms以上)
withは使わない
スコープを越えない、ローカルにコピーする
関数はグローバルに定義する、スコープを深くしない
ドット演算を減らす
文字列リテラル生成、関数呼び出しは重い(DOMアクセスの方が圧倒的に重いけど)

PyObjC版Cocoaセミナー初級編1

2007-09-26T15:42:31Z

[Python]: PyObjC版Cocoaセミナー初級編1

HMDT 木下さんの Cocoaセミナー初級編をPyObjCでやってみる。

準備するもの

Xcode http://connect.apple.com/
PyObjC http://pyobjc.sourceforge.net/software/

パッケージで配布されているので、ダウンロードしてインストールしておきます。

資料

テキスト http://hmdt-web.net/Cocoa/CocoaPrimary.pdf
スライド http://hmdt-web.net/Cocoa/CocoaPrimary.key.zip
もろもろ一式 http://hmdt-web.net/Cocoa/CocoaPrimary.zip

Hello World

ボタンを押すとボックスにテキストが表示されるアプリケーションを作ります。「Cocoaセミナー初級編」のテキストに沿って作業を進めます。通常のCocoa Applicationと異なる点は、

Projectの雛形には、「PyObjC Application」を選択する。
Controllerは、Objective-CではなくPythonで記述する
ビルドは、XcodeではなくコマンドラインからPythonでbuildする

といったところです。

では作業開始。まず、テキストでいうところの「4.1 新規プロジェクトの作成」で「PyObjC Application」を選択して作業を進めます。その後はテキスト通りにInterface BuilderでViewを作ります。

次に、テキストでいうところの「4.7 Controllerクラスの実装]では、さきほどInterface Builderで作成した MainMenu.nib を元に Controllerクラス (Python) の雛形を生成してcontrollerを実装していきます。

$ python -c "import PyObjCScripts.nibclassbuilder" English.lproj/MainMenu.nib > HelloWorld.py

Pythonのファイル名は、buildされるApplication ディレクトリ(.app)名になるので、適当な名前にしておきます。

HelloWorld.py

import objc
from Foundation import *
from AppKit import *
from PyObjCTools import NibClassBuilder, AppHelper


NibClassBuilder.extractClasses("MainMenu")


# class defined in MainMenu.nib
class Controller(NibClassBuilder.AutoBaseClass):
    # the actual base class is NSObject
    # The following outlets are added to the class:
    # textField

    def Say_(self, sender):
        pass


# class defined in MainMenu.nib
class Hello_WorldAppDelegate(NibClassBuilder.AutoBaseClass):
    # the actual base class is NSObject
    pass



if __name__ == "__main__":
    AppHelper.runEventLoop()

Interface Builderで作成した Controller クラスとそのアトリビュート textField (Outlets) , Say_ (Actions) が組み込まれています。 Controller.Say_ を実装します。

HelloWorld.py

class Controller(NibClassBuilder.AutoBaseClass):
    ...
    def Say_(self, sender):
        self.textField.setStringValue_(u"Hello World!")

「4.8 ビルドと実行」さてbuildの準備です。 defaultの setup を書き換えます。 app にControllerを記述したPythonファイル名を、 DateTimeField にnibディレクトリ名をセットします。

setup.py

setup(
    app=['HelloWorld.py'],
    data_files=['English.lproj/MainMenu.nib'],
)

buildします。

$ python setup.py py2app -A
running py2app
creating /Hello World/build
creating /Hello World/build/bdist.macosx-10.3-fat
creating /Hello World/build/bdist.macosx-10.3-fat/python2.4-standalone
creating /Hello World/build/bdist.macosx-10.3-fat/python2.4-standalone/app
creating /Hello World/build/bdist.macosx-10.3-fat/python2.4-standalone/app/collect
creating /Hello World/build/bdist.macosx-10.3-fat/python2.4-standalone/app/temp
creating /Hello World/dist
creating build/bdist.macosx-10.3-fat/python2.4-standalone/app/lib-dynload
creating build/bdist.macosx-10.3-fat/python2.4-standalone/app/Frameworks
*** creating application bundle: HelloWorld ***

$ open dist/HelloWorld.app

dist ディレクトリの下に app ができているので起動してみます。これで Objective-C で実装した場合と同じ動作になると思います。

Interface Builderで定義した class は English.lproj/MainMenu.nib/classes.nib に書いてあります。

English.lproj/MainMenu.nib/classes.nib

{
    IBClasses = (
        {
            ACTIONS = {Say = id; };
            CLASS = Controller;
            LANGUAGE = ObjC;
            OUTLETS = {textField = id; };
            SUPERCLASS = NSObject;
        },
        {CLASS = FirstResponder; LANGUAGE = ObjC; SUPERCLASS = NSObject; },
        {CLASS = "Hello_WorldAppDelegate"; LANGUAGE = ObjC; SUPERCLASS = NSObject; }
    );
    IBVersion = 1;
}

PyObjCTools.NibClassBuilder は PyObjCTools.NibInfo のsubclassです。

NibClassBuilder.extractClasses("MainMenu") で MainMenu.nib/classes.nib を解析して NibClassBuilder.classes をセットしています。

textField の型を見てみます。

HelloWorld.py

class Controller(NibClassBuilder.AutoBaseClass):
    ...
    def Say_(self, sender):
        self.textField.setStringValue_(type(self.textField))

NSTextField と表示されます。

Xcode の Developer Documentation で検索してみると NSTextField Class Reference がヒットします。 Companion guide のリンクを辿ると Text Fields についてのドキュメントが見れます。

さらに Text Fields の Inherits from から NSControl のリンクを辿り NSControl Class Reference を参照すると Setting the control’s value に setStringValue: がリストされています

PyObjC における setStringValue_ は、Objectiv-Cの setStringValue: に対応するようです。

他にも、

setDoubleValue:
setFloatValue:
setIntValue:
setObjectValue:

がリストされています。

Project.vimのfilterでexcludeできないの？

2007-09-22T05:22:19Z

Project.vimのfilterでexcludeできないの？

できなかったので、なんとかしてみるメモ。

filterの値はglobに渡っていて、ワイルドカードが展開されるだけみたい。 globは `comannds` というように「`」で括るとsystemコマンドの結果に置き換える。でもMac OSXのlsはexcludeできない。 --ignore オプションが使えない。 grepしたりsedしたりいろいろやったけど、globが扱える出力に加工できなかった。どうやるんだろう。なに<NL>って。

vimの system() はshellの出力を扱う。改行文字は<NL>に自動変換される。 glob() を system() に書き換える。 filterに空白文字を含めたまま、systemに渡す方法がわからない。 script書いてコマンドにしてあげるとうまくいった。

via

回転と脱線 - ソースの読み方 http://d.hatena.ne.jp/mopemope/20070921/p1
VIMリファレンスマニュアル http://www.kaoriya.net/vimdoc_j/eval.txt

~/.vim/plugin/project.vim

$ diff project.vim.org project.vim
428c428
<             let single=glob(strpart(filter, 0, end))
---
>             let single=system(strpart(filter, 0, end))

~/bin/filter4project_vim.sh

#!/usr/bin/env sh

ls |grep -v pyc$

~/.vimprojects

michilu=/path/to/dj/michilu CD=. filter="~/bin/filter4project_vim.sh" {
 __init__.py
 doc-ja_revision.txt
 dump.json
 initial_data_.json
 manage.py
 settings.py
 sitemaps.py
 test.sql
 urls.py

 bin=bin {
  cron.sh
  doc-ja_update.py

  wsgi=wsgi {
   michilu.wsgi

  }
 }
 blog=blog {
  __init__.py
  feeds.py
  models.py
  sitemaps.py
  tests.py
  urls.py
  views.py

 }
 conf=conf {
  fixtures=fixtures {
   site_develop.json
   site_production.json

  }
  servers=servers {
   django.conf
   httpd.conf
   lighttpd.conf
   mime.types

  }

そうそう、pycがリストされなければいいのです。 1行空いてるけど気にしない。変な出力を渡すと変なことになるので注意。

manage.py shellでclassic promptのIPythonを使えるようにする

2007-09-21T07:44:41Z

[Django]: manage.py shellでclassic promptのIPythonを使えるようにする

パッチはあまり好きじゃないのだけれど、便利そうだからいいや。 via IPythonを使おう1 @ueblog

$ svn diff
Index: django/core/management/commands/shell.py
===================================================================
--- django/core/management/commands/shell.py    (revision 6285)
+++ django/core/management/commands/shell.py    (working copy)
@@ -6,6 +6,8 @@
     option_list = NoArgsCommand.option_list + (
         make_option('--plain', action='store_true', dest='plain',
             help='Tells Django to use plain Python, not IPython.'),
+        make_option('--cl', action='store_true', dest='cl',
+            help='Tells Django to use IPython with the classic Python prompt.'),
     )
     help = "Runs a Python interactive interpreter. Tries to use IPython, if it's available."

@@ -18,6 +20,9 @@
         loaded_models = get_models()

         use_plain = options.get('plain', False)
+        argv = []
+        if options.get('cl', False):
+            argv.append("-cl")

         try:
             if use_plain:
@@ -26,7 +31,7 @@
             import IPython
             # Explicitly pass an empty list as arguments, because otherwise IPython
             # would use sys.argv from this script.
-            shell = IPython.Shell.IPShell(argv=[])
+            shell = IPython.Shell.IPShell(argv)
             shell.mainloop()
         except ImportError:
             import code

$ ./manage.py shell --cl
Python 2.4.4 (#1, Oct 18 2006, 10:34:39)
Type "copyright", "credits" or "license" for more information.

IPython 0.8.1 -- An enhanced Interactive Python.
?       -> Introduction to IPython's features.
%magic  -> Information about IPython's 'magic' % functions.
help    -> Python's own help system.
object? -> Details about 'object'. ?object also works, ?? prints more.
>>> import django
>>> django.VERSION??
Type:           tuple
Base Class:     <type 'tuple'>
String Form:    (0, 97, 'pre')
Namespace:      Interactive
Length:         3
Docstring [source file open failed]:
    tuple() -> an empty tuple
    tuple(sequence) -> tuple initialized from sequence's items

    If the argument is a tuple, the return value is the same object.

>>>

newforms Modelに紐付かないformデータをバリデートする

2007-09-13T01:52:34Z

[Django]: newforms Modelに紐付かないformデータをバリデートする

models.Fieldの設定がなくModelに格納できないようなforms.Fieldもひとまとめにバリデートする。

models.Modelに列挙されていないFieldが含まれているとsaveできない。 Form.clean_<field>の返り値は再び代入されてNoneが入るので、このメソッドでは削除できない。 Form.cleanでpopする。

(Django 0.96)

# -*- coding: utf-8 -*-
from django import newforms as forms
from django.newforms.util import ValidationError
from django.utils.translation import gettext
from models import Tag

class BaconForm(forms.Form):
    content = forms.CharField(
        widget = forms.Textarea,
        max_length = 1000,
    )
    tags = forms.ModelMultipleChoiceField(
        queryset = Tag.objects.all(),
    )

    check = forms.BooleanField(
        required = False,
    )

    def clean_check(self):
        if self.clean_data["check"] is not True:
            raise ValidationError(gettext(u"チェックしてね。はぁと"))

    def clean(self):
        self.clean_data.pop("check")
        return super(BaconForm, self).clean()

Django ドキュメント周り更新のお知らせ

2007-09-09T13:54:40Z

[Django]: Django ドキュメント周り更新のお知らせ

michilu.comをupdateしました。Django オフラインドキュメント和訳と、 djangoproject.jp のリソースについて。

Django オフラインドキュメント和訳

http://michilu.com/offline/

Google Gears でオフラインにしました。 Google Gearsをインストールした状態でアクセスすると、問答無用でデータを取りにいきますので注意してください。もしcacheの更新がうまく動いていないような時は、直接メソッドを操作するか、下記を参考にcacheを削除してみてください。

http://code.google.com/apis/gears/api_database.html#directories

Django オンラインドキュメント和訳 trunk版の更新時刻JSON

http://michilu.com/django/doc-ja.json

URLと更新時刻をセットにしたJSONです。 changesetを見たい方は、こちらをご参考に。

http://djangoproject.jp/trac/timeline

和訳ドキュメントソース

ここから最新版がダウンロードできます

trunk版(utf-8)

http://djangoproject.jp/trac/changeset//root/doc-jp/trunk?old_path=%2F&format=zip
0.96版(euc-jp)

http://djangoproject.jp/trac/changeset//root/doc-jp/branches/docs_0.96?old_path=%2F&format=zip
0.95版(euc-jp)

http://djangoproject.jp/trac/changeset//root/doc-jp/branches/docs_0.95?old_path=%2F&format=zip

以下まとめとして再掲します。

Django オンラインドキュメント和訳 (trunk)

http://michilu.com/django/doc-ja/index/
Django 0.96 オンラインドキュメント和訳 (0.96)

http://michilu.com/django/doc-ja-0.96/index/

tests.pyを分割する

2007-09-09T13:53:17Z

[Django]: tests.pyを分割する

Djangoは <app>/tests.py(models.py) しか実行してくれないので、任意のモジュールのTestCaseをglobalにimportして実行させる。

import imp, unittest

def get_tests(module):
    result = dict()
    f, fn, desc = imp.find_module("tests", module.__path__)
    _module = imp.load_module("tests", f, fn, desc)
    for key, value in _module.__dict__.items():
        if type(value) is type and issubclass(value, unittest.TestCase):
            result[key] = value
    return result

from contrib import webdesign
globals().update(get_tests(webdesign))

とかすると、 somewhere/contrib/webdesign/tests.py のTestCaseをimportした<app>で実行できる。 utils系のモジュールを階層化して管理したい時などに便利。

サロゲートペア文字を検出するカスタムフィールド

2007-09-07T08:25:53Z

[Django]: サロゲートペア文字を検出するカスタムフィールド

サロゲートペア文字が流行ってきているらしいので対策を施す。 MySQLはサロゲートペアを落としてしまうようなのでバリデータで弾いてみよう。

utils/fields.py

from django import newforms as forms
from django.newforms.util import ValidationError
from django.utils.translation import ugettext
from django.conf import settings
import re

def has_surrogate_pair(strings):
    if type(strings) is not unicode:
        strings = unicode(strings, settings.DEFAULT_CHARSET)
    strings = list(strings)
    high = re.compile(u"[\uD800-\uDBFF]")
    low = re.compile(u"[\uDC00-\uDFFF]")
    try:
        while 1:
            if high.match(strings.pop(0)) and low.match(strings.pop(0)):
                return True
    except IndexError:
        return False


class CharField(forms.CharField):
    def __init__(self, surrogate_pair=True, *args, **kwargs):
        super(CharField, self).__init__(*args, **kwargs)
        self.surrogate_pair = surrogate_pair

    def clean(self, value):
        value = super(CharField, self).clean(value)
        if not self.surrogate_pair and has_surrogate_pair(value):
            raise ValidationError(ugettext(u'Ensure this value has not surrogate pair characters.'))
        return value

>>> field = CharField()
>>> field.clean("森鷗外")  # 正式版の"森鴎外"
u'\u68ee\u9dd7\u5916'
>>> field.clean("𣏐")    # "木"+"夕"
u'\U000233d0'

>>> field = CharField(surrogate_pair=False)
>>> field.clean("森鷗外")  # 正式版の"森鴎外"
u'\u68ee\u9dd7\u5916'
>>> field.clean("𣏐")   # "木"+"夕"
    ...
    ValidationError: [u'Ensure this value has not surrogate pair characters.']

試しに、このようなviewを用意して、

from django.http import HttpResponse
from django import newforms as forms
from utils import fields

class TestForm(forms.Form):
    text1 = fields.CharField()
    text2 = fields.CharField(
      surrogate_pair=False
    )

def test(request):
    return HttpResponse(str(TestForm(request.GET)))

http://127.0.0.1:8000/test/?text1=森鷗外&text2=森鷗外
http://127.0.0.1:8000/test/?text1=𣏐&text2=𣏐

などとアクセスしてみると様子がわかります。

messageは適当、国際化がよくわからないなぁ、勉強しよう。

MiCHiLU Life.

決済システム

[memo]: 決済システム

metaclass memo

[Python]: metaclass memo

ob_type

PyClass_Type

PyObject_HEAD_INIT

GnuPG (GNU Privacy Guard)

GnuPG (GNU Privacy Guard)

Google Gears

[Django][s6]: Google Gears

自己紹介

Django オンラインドキュメント和訳

Google Code

Google Gears

Google Gears is

Require

Features

LocalServer

Database

WorkerPool

DEMO

Sample Code

Django Views

Django Views

JavaScript

JavaScript

Google Gears Databese

Google Gears ORM

with Django

Django Offline

＞＜

Architecture

Architecture

まとめ

Extras

Django-ja 絶賛募集中!!!

和訳してくれる人も募集中!!!

Django-ja at lingr

Django 紹介

and more Google Code

Documents

The END

hatena.api.auth

[Python]: hatena.api.auth

Python チュートリアル メモ2

[Python]: Python チュートリアル メモ2

pyhabu global.cfgをオプションで渡すpatch

[Python]: pyhabu global.cfgをオプションで渡すpatch

LDRに はてスタ をつけるGreasemonkey

[ECMAScript]: LDRに はてスタ をつけるGreasemonkey

Python版Plagger pyhabuのpluginを作ってみる

[Python]: Python版Plagger pyhabuのpluginを作ってみる

Python版Plagger pyhabuを使ってみる

[Python]: Python版Plagger pyhabuを使ってみる

Python チュートリアル メモ1

[Python]: Python チュートリアル メモ1

Subversion repositoryの一部をGoogle codeにsyncする

Subversion repositoryの一部をGoogle codeにsyncする

JavaScriptパフォーマンス改善の定石

[ECMAScript]: JavaScriptパフォーマンス改善の定石

PyObjC版Cocoaセミナー初級編1

[Python]: PyObjC版Cocoaセミナー初級編1

準備するもの

資料

Hello World

Project.vimのfilterでexcludeできないの？

Project.vimのfilterでexcludeできないの？

manage.py shellでclassic promptのIPythonを使えるようにする

[Django]: manage.py shellでclassic promptのIPythonを使えるようにする

newforms Modelに紐付かないformデータをバリデートする

[Django]: newforms Modelに紐付かないformデータをバリデートする

Django ドキュメント周り更新のお知らせ

[Django]: Django ドキュメント周り更新のお知らせ

Django オフラインドキュメント和訳

Django オンラインドキュメント和訳 trunk版の更新時刻JSON

和訳ドキュメントソース

tests.pyを分割する

[Django]: tests.pyを分割する

Python チュートリアルメモ2

[Python]: Python チュートリアルメモ2

LDRにはてスタをつけるGreasemonkey

[ECMAScript]: LDRにはてスタをつけるGreasemonkey

Python チュートリアルメモ1

[Python]: Python チュートリアルメモ1