Study Python

HTTPリクエストパラメータを抽出する

2012-02-12T21:20:00.001+09:00

テストケースのないシステムをメンテンナンスをすることもあると思います。 HTTPで提供するAPIのテストケースを作成しなければならない場合は、とにかくログを投げまくってテストするなどの方法が有効だったりするんですが、 (まあそもそもテストケースがないシステムについてのツッコミは受け付けません) ログから有効なテストケースを抽出するために、リクエストパラメータの組み合わせによるURLの抽出なんかが一つの案です。ということでログからリクエストパラメータの抽出を行うスクリプトをざっくり書いてみました。


import sys
from collections import defaultdict
from furl import furl

sampling_urls = defaultdict(dict)

for line in sys.stdin:
    url = line.strip()
    f = furl(url)
    param_keys = tuple(sorted(f.args.keys()))
    param_combination = sampling_urls[str(f.path)]
    if param_keys not in param_combination:
        param_combination[param_keys] = url

for path, param_combination in sampling_urls.items():
    for combination, sample_url in param_combination.items():
        print path, combination, sample_url

インプットログ

http://xxx/api?param1=a&param2=a
http://xxx/api?param1=b&param2=b
http://xxx/api?param1=c&param2=c&param3=c
http://xxx/api?param1=d&param2=d&param3=c
http://xxx/api?param1=e&param2=d&param4=d
http://xxx/api2?param1=e&param2=d&param4=d
http://xxx/api3?param1=e&param2=d&param4=d

実行結果

$ python sampling.py < input 
/api2 ('param1', 'param2', 'param4') http://xxx/api2?param1=e&param2=d&param4=d
/api ('param1', 'param2', 'param3') http://xxx/api?param1=c&param2=c&param3=c
/api ('param1', 'param2', 'param4') http://xxx/api?param1=e&param2=d&param4=d
/api ('param1', 'param2') http://xxx/api?param1=a&param2=a
/api3 ('param1', 'param2', 'param4') http://xxx/api3?param1=e&param2=d&param4=d

前に記事に書いたfurlというurlパーサーを利用しています。 itertools.combinationsとかを使わないとできないかと思いましたが、 tupleを辞書のキーにすることで簡単にできました。 valueが空の時の処理などは必要に応じて作成する必要がありますが、それなりに有効そうです。

furlを使ってみた

2012-01-30T22:38:00.002+09:00

ブログを久しく書いていないので、ライブラリの覚書を少しずつ書くことにする。

最近少し話題になったfurlについて使い方を簡単に書いておく。

インストールはいつものように
easy_install furl
pip install furl
でできる。

使ってみたログを書いてみる

>>> from furl import furl
>>> url = furl("http://pypi.python.org/pypi?%3Aaction=search&term=test&submit=search")
>>> url.host
'pypi.python.org'
>>> url.port
80
>>> url.query
Query('term=test&%3Aaction=search&submit=search')
>>> url.query.params
{'term': 'test', ':action': 'search', 'submit': 'search'}
>>> url.args
{'term': 'test', ':action': 'search', 'submit': 'search'}

cgi.parse_qsとかよりは結構使いやすい気がするが一点気になることが・・・

>>> url = furl("http://pypi.python.org/pypi?%3Aaction=search&term=test&submit=search&term=test2")
>>> url.args
{'term': 'test', ':action': 'search', 'submit': 'search'}
>>> url.query.params
{'term': 'test', ':action': 'search', 'submit': 'search'}

リクエストパラメータに同じキーのものが複数入っていた場合、
どちらか一方しかargsに入らない。

HTTPの仕様では同じキーに別の値を入れることができて、
サーバ側では配列で受け取れるようになっているのだとばっかり。

そのようなリクエストは、このままでは正しくparseできない。(やり方発見できず)
簡単に使えるし、良い感じなだけに惜しいなー。

第12回Python mini Hack-a-thon参加報告

2011-10-23T00:08:00.004+09:00

Python mini Hack-a-thonに参加してきました。
昼食時にPyConJPの寺田さんや世界の小宮さんの話を聴けるなど、
非常に楽しい一日になりました。

で、重要なHack-a-thonで何をやっていたかというと、
まずPython ORMの調査
これはstormというORMを使ってみるというところで進めていました。
とあるRDBで使いたいのだけれどそのRDBでの利用についての記述が一切ない。
試したかったけど自分のマシンにそのRDBをインストールするのが嫌だったので、
SqlAlchemy、elixir、sqlobjectでサンプルコードを書いてsqliteにデータを入れたり消したりということを試して遊んでました。

昼食後眠くなり、ORMの調査は放棄して、
ProjectEulerの問題解いたり、自分のgae上のwebアプリ直したりしてた。
最後の3時間くらいで成果発表用の何かを作成しようと思って、
akb48のメンバーを検索するモジュールを書いてました。

pyfesでのmoriyoshiさんの発表に感銘を受けたので完全にパクリです。詳細はこちら
moriyoshiさんはperlのacmeの移植だそうなんで、移植のパクリです。お恥ずかしい。

せっかくなんでgithubに上げました。(ドキュメント空です。すんません。後追加します。)
https://github.com/shocking-noise/akb48

実行方法は下記の通り
1.必要なモジュールのインストール(BeautifulSoup、yaml)
2.scraperを実行してyaml生成
3.akb48モジュールをインポートして利用

こだわりポイントは誕生日から今日の年齢を算出するところです。
(ググッてコピペレベルですが)

発表後の指摘として、yamlは邪道だという話があったので、
クラスを生成するコードジェネレータ作るように修正したいです。
(本当のファンなら一字一字コードを打つべきという意見も・・・、別にファンでは無・・・(略))

他の方々の発表は興味深いものが多くで、とても面白かったです。
自分もPyPIにあげられるようなライブラリ作れるようになりたいなぁと思いました。
次回も時間が会えばぜひ参加したいです。

主催者の皆様ありがとうございました。

(追記)
調べたら、moriyoshiさんがpyakb48というモジュールをPyPIにあげていたようです。
中身みたのですが、かなりちゃんとつくられていました(doctestとかもある)。
私のは超劣化コピーですね。勉強して出なおしてきます。

Pythonで演算子オーバーロード

2011-08-24T23:25:00.001+09:00

今更ながらPythonの演算子オーバーロードについて調べたのでメモ。
クラスのメソッドを作成するだけなので簡単にできますね。

class OverLoadTest(object):
    def __init__(self, a):
        self.a = a

    # +
    def __add__(self, b):
        self.a = self.a + b
    # -
    def __sub__(self, b):
        self.a = self.a - b
    # /
    def __div__(self, b):
        self.a = self.a / b
    # *
    def __mul__(self, b):
        self.a = self.a * b

    def __repr__(self):
        return str(self.a)

if __name__ == "__main__":
    o = OverLoadTest(5)
    print o
    o + 5
    print o
    o - 5
    print o
    o / 5
    print o

普段はJavaで書いているから演算子オーバーロードが頭にないなー。

使ってるライブラリでも演算子オーバーロード見たことない気がする。
(知らないだけか?)
効果的に使えるようになりたいですね。

FlaskでStreaming

2011-08-07T22:40:00.000+09:00

久々にFlaskドキュメントページ見てたら、
Streamingのsnipetが掲載されてました。
(もしかして結構前から？)

Werkzeugには0.5から機能としてはあるみたいなんで、
きっと昔からできたんでしょう。

なかなか使い道ないけどTwitterのようなStreamingAPIとかかっこ良いですよね。

つーことでコード。

from flask import Flask
from flask import Response
import time

app = Flask(__file__)

@app.route("/streaming")
def streaming():
    def generate():
        while True:
            time.sleep(1)
            yield "test\n"
    return Response(generate(),direct_passthrough=True,mimetype='text/plain')

if __name__ == "__main__":
    app.run()

ResponseにStreamingするためのジェネレータを渡すだけ。
direct_passthroughはジェネレータを変更させないための引数らしい、wrapして返すため、後で変更されても影響を受けないようになると思われる(WSGIの仕様っぽい)。
mime/typeはお好きなものを。

それにしても簡単だなー。

Pythonで動的にサブクラスを生成

2011-07-02T08:02:00.002+09:00

excelとかDBとかにテストケース用のデータを追加したら
勝手にテストクラスにテストケース(つまりテストメソッド)が追加される、
とかそういうことをやりたい。

で、unittest.TestCaseクラスのサブクラスを
テストデータから動的に生成して実行したいと思ったときに、
どうやれば良いのかちょっと悩んだので、メモ。

動的にサブクラスを生成するのは、
非常に単純でtype関数を使えばできる。
type関数は[クラス名]、[親クラスのタプル(多重継承も可)]、[付与したい属性の辞書]で
動的にクラス生成をできる。

import unittest

def create_testmethod():
    """
    テストメソッドを動的に生成
    """
    def testMethod(self):
        self.assertEquals(1,1)
    return testMethod

def create_testclass():
    """
    TestCaseのサブクラスを動的に生成
    """
    test_class = type('TestA', (unittest.TestCase,), {})
    setattr(test_class,'testMethod',create_testmethod())
    return test_class

def suite():
    """
    テストスイートを生成
    """
    suite = unittest.TestSuite()
    test_class = create_testclass()
    suite.addTest(unittest.makeSuite(test_class))
    return suite

if __name__ == "__main__":
    unittest.TextTestRunner().run(suite())

動的にテストクラス(unittest.TestCaseのサブクラス)を生成して、
動的にテストメソッドを追加することができる。
これを応用すればソースコード書かずにテストクラス、テストメソッドを動的に追加するようなプログラムができる。

Quick Lookup:

DebugToolbarをFlaskにも

2011-05-27T00:19:00.001+09:00

Flaskいいよー。Flask。
extensionsもガンガン増えてかなり色々なことができるようになりました。

今日のネタはDebugToolbarです。
ちょっとハマったりしたのでそのメモがわりに。
DebugToolbarはDjangoのextensionでもあるものらしく、
レスポンスタイムとかログとかHttpHeaderとか見れるすぐれもの。

Flaskでも使えるとなれば(Djangoでは使ったこと無いけど)これは試してみるしか

いつものようにeasy_install なり pipなりでflask-debugtoolbarをインストールしたらええやないか。

実行する最小セットは下記の通り。

from flask import Flask
#DebugToolbarをインポート
from flaskext.debugtoolbar import DebugToolbarExtension

app = Flask(__name__)
#パネルを登録
app.config['DEBUG_TB_PANELS'] = (
    'flaskext.debugtoolbar.panels.headers.HeaderDebugPanel',
    'flaskext.debugtoolbar.panels.logger.LoggingPanel',
    'flaskext.debugtoolbar.panels.timer.TimerDebugPanel',
)
#Debug用のシークレットキーを追加、デバッグモードON
app.config['SECRET_KEY'] = 'asd'
app.config['DEBUG'] = True

toolbar = DebugToolbarExtension(app)

@app.route('/')
def test():
    app.logger.info("hello")
    return ""

if __name__ == "__main__":
    app.run()

これでローカルホストからは右にデバッグ用の怪しいボタンが出てくるので、
押すと色々なデバッグ情報が見れるようになる。
自分の環境ではflaskがurl_ruleっていう関数がねーみたいなエラーがでたので、
flaskを最新版(0.7)に換えたらOKでした。

こういうのが増えてくると開発しやすくなりますねー。

挿入ソート

2011-05-22T21:55:00.000+09:00

アルゴリズムクイックリファレンス買いました。

購入動機は、
・アルゴリズムは大学生以来(しかも1-2年の時)やってないのでかなり鈍っている
・グラフ系のアルゴリズムとか学生時代にほとんどやってない
・プログラミングコンテストの予選を突破できるようになりたいので正しいアルゴリズムをきちんと学びたい(正しいアルゴリズムを選べるようになる、計算量を意識できるようになる)
です。

つーことで早速挿入ソート
(多少Pythonicに直した…つもり)


def sort(a):
    for i, e in enumerate(a):
        insert(a, i, a[i])


def insert(a, pos, value):
    i = pos - 1
    while i >= 0 and a[i] > value:
        a[i + 1] = a[i]
        i = i - 1
    a[i + 1] = value


if __name__ == '__main__':
    data = [6, 3, 2, 1, 5, 4]
    sort(data)
    print data

オーダー
最良 O(n)
平均 O(n^2)
最悪 O(n^2)

挿入ソート特徴
要素数が少ない、最初からほぼ整列しているデータに対して有効

感想
かなり男らしい実装だが、
ほぼソートされている場合insert関数のwhileが小さくなるため、
結構高速に動作するらしい。

がんばって一冊みっちり勉強したいとこです。(意気込み)

Pythonの命名規則のおさらいじゃい

2011-05-03T00:16:00.000+09:00

どうもこんにちわ。

いきなりですけどPythonのみでコーディングしている人は少ないのではないでしょうか。
私もJavaとPythonとjavascriptなどの複数の言語を業務で扱うことがあり、
ある程度慣れては来ていますが、命名規則がごっちゃになったりします。

つーことで今更ながらPythonの超基本命名規則(by PEP8)のおさらい。

名称	規約	例
module名	lowercase	hamegg.py
class名	CapWords	class HamEgg(object):…
exception名	CapWords	class HamEggException(Exception):…
関数名	lowercase_with_underscores	def ham_egg():…
関数名(既存の文脈※)	mixedCase	def hamEgg():…
メソッド名	lowercase_with_underscores	def ham_egg(self):…
インスタンス変数名	lowercase_with_underscores	self.ham_egg = None
定数	UPPER_CASE_WITH_UNDERSCORES	HAM_EGG = "ham_egg"

見返して思ったのはモジュール名にアンダースコアつけてるかも。恥ずかし。

※たまにあるビルトイン系の関数名がmixedCaseになっていると混乱する元になりますね。

Flask-Script

2011-03-15T21:55:00.000+09:00

みなさんFlaskしてますか。
Flask相変わらず良いですね。
extensionの数も順調に増えていて良いですね。
mongoだのcouchだのの単語がみえてnosqlもバッチリですね。

ところでdjangoのmanage.py便利ですよね。
Flaskでもrunserverとかshellとかやりたい。
そんな時にはflask extensionsにあるFlask-Scriptですよ。

インストールはいつもの通り
easy_installなりpipなりでflask-scriptとしてください。

Webアプリ側はこんな感じ(applicaiton.py)

#web application
from flask import Flask
from flask import jsonify

app = Flask(__name__)

@app.route('/spam')
def spam():
    return jsonify(res='ok')

if __name__ == "__main__":
    app.run()

んでflask-script側。(manage.py)

#script
from flaskext.script import Manager
from application import app 
manager = Manager(app)

#manage.py にhelloコマンドの追加
@manager.command
def hello():
    print 'hello'

if __name__ == "__main__":
    manager.run()

managerにアプリ登録してやるだけです。

あとは
$python manage.py runserver
でサーバ起動とかできます。
$python manage.py shell
でインタラクティブシェル起動できます。

@manager.commandで独自コマンドも簡単に追加できるので重宝しそうです。

optionパーサも組み込まれているみたいなので、
applicationの起動に色々処理を追加したい場合などは使ってみると良いと思います。

詳細はこちらです。
http://packages.python.org/Flask-Script/

Whooshでの横断検索とか

2011-02-13T17:47:00.000+09:00

Whooshの機能についての調査をある程度備忘録的に記載しておく。

まずUNIQUEなフィールドについて
Schema定義の際にフィールドのインスタンスにunique=Trueを渡すことで、
同じ値が入った時に上書きがされるようだ。

Solrなどで使われる複数のフィールドを横断して検索できる
DisMax系のモジュールがWhooshでも存在し、結構簡単に使える。

今回の検証スクリプトは下記

# -*- coding: utf-8 -*-
import sys 
from whoosh.index import create_in
from whoosh.fields import *
from whoosh.scoring import *
from whoosh.query import *
from whoosh.qparser import DisMaxParser

#idフィールドをユニークキーとする
schema = Schema(id=ID(stored=True,unique=True),
                name=NGRAM(stored=True),
                ruby=NGRAM(stored=True),
                address=NGRAM(stored=True),
                telephone=TEXT(stored=True))

ix = create_in("indexdir", schema)
writer = ix.writer()
writer.add_document(id=u"001",
                    name=u"コンビニA",
                    ruby=u"こんびにえー",
                    address=u"東京都",
                    telephone=u"0312345678")
writer.add_document(id=u"002",
                    name=u"コンビニB",
                    ruby=u"こんびにびー",
                    address=u"千葉県",
                    telephone=u"0471234567")
writer.commit()
from whoosh.qparser import QueryParser
searcher = ix.searcher()
q = sys.argv[1].decode('utf-8')
#nameとrubyとaddressとtelephoneフィールドを横断検索
parser = DisMaxParser({"name":0.5,"ruby": 0.5,"address": 0.2,"telephone": 0.1},schema)
query = parser.parse(q)

results = searcher.search(query)
for result in results:
    print result

ちょっとずつWhooshに慣れてきた。
かなりLuceneに近い使われ方を想定している模様。
Luceneを使っている人であれば結構簡単に使えるのでは。

形態素系のAnalyzerがないので、きついところもあるかもしれないが、
結構Pluggableに作られているようだし、
MecabなどのAnalyzerも簡単に作れるかも。
次はそこら辺を調べる予定。

Whoosh Fields

2011-02-12T17:27:00.000+09:00

Whooshのフィールドの種類の種類は以下。
やっぱりフィールドの種類はluceneに比べるとすごく少ない。
普通の日本語のフィールドだとngram一択かな。

whoosh.fields.ID
シンプルな単一フィールド。
urlやファイルパス、カテゴリなどで使うと良いとのこと。
luceneやsolr経験者だとユニークキーのことかと思うかもしれないが、
この値が同じだと同じドキュメントになるわけではないので注意。
(同一のidのものを追加しても前のドキュメントは上書かれない)

whoosh.fields.STORED
ストアするがインデックス化はしないフィールド。
検索には引っかからないようにしたいデータを入れる。

whoosh.fields.KEYWORD
スペースやカンマで区切られている文字列をindex化するフィールド。
one two,threefourというデータであればone,two,threefourという3つのデータがインデックス化される。
フレーズ検索(続いた文字列群で検索)には対応していない。

whoosh.fields.TEXT
タームポジション(文字列出現箇所)を記憶しているフィールド。
フレーズ検索に対応。

whoosh.fields.NUMERIC
数値フィールド。
intおよびfloatの値に対応。

whoosh.fields.BOOLEAN
booleanフィールド。
TrueかFalseのみ。

whoosh.fields.DATETIME
日時フィールド。

whoosh.fields.NGRAM and whoosh.fields.NGRAMWORDS
ngramフィールドとngramwordフィールド。
ngramフィールドは文字列をn文字で分割してindex化。
2gramだと[test] -> [te] [es] [st]の3つのデータに分割される。

ngramwordフィールドはキーワードをn単位で分割してindex化。
2gramだと[one two three] -> [one two][two three]の2つのデータに分割される。

Whoosh Quick start

2011-02-12T14:00:00.000+09:00

WhooshのQuickStartを試す。

from whoosh.index import create_in
from whoosh.fields import *

#スキーマの作成(フィールドはtitleとpathとcontentの3つ)
#stored=Trueのものはインデックスにオリジナルデータを持たせ、検索時に結果として返す。
#stored=False(デフォルトはFalse)のものはindex化されるので全文検索は可能だがオリジナルデータは検索時にはわからなくなっている。
schema = Schema(title=TEXT(stored=True), path=ID(stored=True), content=TEXT)

#作成したスキーマのインデックスディレクトリ(indexdir)を作成
ix = create_in("indexdir", schema)
#indexwriterを作成
writer = ix.writer()

#ドキュメントをインデックスに追加
writer.add_document(title=u"First document", path=u"/a",
                    content=u"This is the first document we've added!")
writer.add_document(title=u"Second document", path=u"/b",
                    content=u"The second one is even more interesting!")
#コミットの実行 indexファイルへの書き込み
writer.commit()


from whoosh.qparser import QueryParser
#indexsearcherを作成
searcher = ix.searcher()
#検索クエリの作成(contentにfirstを含むドキュメント)
query = QueryParser("content",schema = ix.schema).parse(u"first")
#検索の実行
results = searcher.search(query)
print results[0]

実行結果
Hit {'path': u'/a', 'title': u'First document'}

とりあえず使い始めは簡単。

Python上での全文検索

2011-02-12T13:43:00.000+09:00

Pythonで全文検索したくて少し調べた。

pyluceneとWhooshというのがあるらしい。

pyluceneはJavaで作られた全文検索エンジンのluceneの
pythonバインディング版。
jccというpythonからJavaを呼び出すためのライブラリを利用している。
(jccはpyluceneのために作られた模様)
なので実処理はJavaで行われている。

Whooshは後発でpurepythonで書かれている。
LuceneのAPIに似せたAPIでLuceneを知っている人であれば割ととっつきやすいのかも。

どっちも少し触ってみた感想は、

pylucene
長所
・Luceneを知っていればAPI同じで学習のオーバーヘッドが少ない。
・Luceneからも読める。つまりJavaとインデックスを共有できる。(試してないけど当然Solrからも使えるはず)
短所
・インストール面倒。(特にJCC)
・起動処理が遅い。(JCCのinitVMでJavaVMの起動に時間がかかっている印象)

Whoosh
長所
・インストール簡単・
・使い方も結構分かりやすい。
短所
・日本語の機能的にLuceneより劣る(日本語用のAnalyzerが不足している)
不明
・速度的にLuceneより遅い?(検索/インデックス作成が静的型付け言語で行われるか、スクリプト言語で行われるかの差)

Lucene経験者としてはpyluceneがいい感じだが、
Whooshもかなりいい感じなので期待したいところ。

しばらくはWhooshを評価がてら使ってみることにする。

GAE上のFlaskで画像アップ&表示

2011-01-22T12:06:00.002+09:00

みなさん。Flask使ってますか。

Flask最高ですね。
最近はWebアプリ作るときは何やるにしてもFlaskでやってます。
Javaのモジュールが必要なときはJythonつかってFlask動かすくらいです。
(これはまた別の話)

GAEも最高ですね。
ということで、Flask,GAEについて今日は書きたいと思います。
まあGAE上でFlask使う方法は色々なところで書かれているので割愛。

今日はGAE上のFlaskで画像のアップロードと表示について
結構時間かかったので備忘録として書きます。

pythonコードは以下のような感じ。

from flask import Flask
from flask import request
from flask import Response
from google.appengine.ext import db

app = Flask(__name__)

@app.route('/image/upload',methods=['POST'])
def upload_image():
    """画像アップロード"""
    uploaded_image = request.files['image']
    image = Image()
    image.content_type = uploaded_image.content_type
    image.image = uploaded_image.stream.read()
    image.put()
    return 'ok'

@app.route('/image')
def disp():
    """keyで表示"""
    image = Image.get(request.args.get('key',''))
    return Response(response=image.image,content_type=image.content_type)

class Image(db.Model):
    """画像保存用エンティティ"""
    content_type= db.StringProperty()
    image = db.BlobProperty()

まず登録時にはBigtable側に画像のバイナリとコンテントタイプを保存しておく。
で表示側にはResponseに画像バイナリとコンテントタイプを返してやる。

画像アップロードのformはこんな感じ

<form action="/admin/image/upload" enctype="multipart/form-data" method="post">
<input type="file" name="image">
<input type="submit" value="upload">

表示側はこんな感じ

<img src="/image?key={{画像のキー}}" >

The Zen of Python

2011-01-08T19:30:00.002+09:00

Pythonのインタラクティブシェルでthisをimportすると
The Zen of Pythonを読むことができる。


>>> import this

英語のリハビリとして辞書片手に翻訳してみる。

-翻訳-
醜いよりも美しいほうがいい
わかりにくいよりも分りやすいほうがいい
複雑よりもシンプルなほうがいい
入り組んでいるよりも複合のほうがいい
ネストしているよりもフラットなほうがいい
密度は低いほうがいい
読みやすさが重要
特別な場合でも規則を破るほど特別ではない
けれども実用性は純粋性をしのぐ
明確に沈黙させているので無い限り、決してエラーを黙って通してはいけない
曖昧さに直面したとき、推測するという誘惑に負けてはいけない
明らかな方法がひとつ、なるべくひとつだけあるべき
たとえオランダ人以外には明らかでなかったとしても
何もしないよりは今やる方がいい
けれども今すぐにやらないほうがいいこともたびたびある
説明が大変な実装であるならば、それは良くないアイディア
説明が簡単な実装であるならば、それがきっと良いアイディア
名前空間こそが良いアイディア、これらをどんどんやっていこう

-原文-
Beautiful is better than ugly.
Explicit is better than implicit.
Simple is better than complex.
Complex is better than complicated.
Flat is better than nested.
Sparse is better than dense.
Readability counts.
Special cases aren't special enough to break the rules.
Although practicality beats purity.
Errors should never pass silently.
Unless explicitly silenced.
In the face of ambiguity, refuse the temptation to guess.
There should be one-- and preferably only one --obvious way to do it.
Although that way may not be obvious at first unless you're Dutch.
Now is better than never.
Although never is often better than *right* now.
If the implementation is hard to explain, it's a bad idea.
If the implementation is easy to explain, it may be a good idea.
Namespaces are one honking great idea -- let's do more of those!

FlaskでJSONP

2011-01-08T13:36:00.005+09:00

PythonのマイクロフレームワークFlaskでは
JSONを返却するためのメソッドjsonifyが定義されている。


from flask import Flask
from flask import jsonify

app=Flask(__name__)

@app.route('/test.json')
def test_json():
    return jsonify(res='test')

if __name__ == '__main__':
    app.run()

/test.jsonでリクエストすると
{
res:'test'
}
という結果が帰ってくる

JSONPにしたい場合はjsonifyは使えない。


@app.route('/test.jsonp')
def test_jsonp():
    import json
    request.args.get('callback') + '(' + json.dumps(dict(res='test')) + ')'

というように自分でリクエストパラメータからcallbackを受け取って
付与して返す必要がある。

ただしこのままでは、mimetypeの指定がないので
厳密にはmimetypeの指定を行わなくてはならない。
script/javascript

現状FlaskのJSONP用のmethod(padded_jsonify)が要望として上がっているが、
jsonifyのように*args,**kwdとすべての引数がjsonオブジェクトになるような機能のため
callbackが入る余地が無いみたいで、提案が今は棄却されている模様。

PythonStartup

2010-06-27T10:48:00.002+09:00

Pythonのコマンドラインでの開発の際に過去のコマンドヒストリや補完のやり方は以下のとおり。

.pythonstartupファイルをhomeに作成し下記の内容にする。


# -*- coding: utf-8 -*-
import readline
import rlcompleter
import atexit
import os

readline.parse_and_bind('Tab: complete')
# osxの場合は下記でないと動かないかも
#readline.parse_and_bind("bind ^I rl_complete")
histfile = os.path.join(os.environ['HOME'], '.pythonhistory')
try:
    readline.read_history_file(histfile)
except IOError:
    pass
atexit.register(readline.write_history_file,histfile)
del os, histfile, readline, rlcompleter, atexit

で環境変数に以下を追加。
PYTHONSTARTUP=~/.pythonstartup

これでコマンドラインでタブ補完と上下キーでヒストリが表示されるようになる。
ipythonも素敵だけど、サーバでのインストールが面倒なときや、
windowsではこっちの方が良いかも(windowsのipythonは表示がおかしなことになる。自分だけか)

エキスパート　Python プログラミング

2010-06-19T22:07:00.006+09:00

買いました。

内容は、表紙の帯(と思ったら帯じゃない)に書いてある通り、Pythonプログラミングについてのベストプラクティスという題材で書いてあるので趣味プログラミングでしかPythonを使っていない私にとって非常にありがたい内容。

業務でちょっとしたツール(スクリプト)を作る時に個人的にPythonを使っているが、一般的な書き方で他の人に展開しても恥ずかしくないようなコードを書いていこう。

とりあえず、写経します。

Quick Lookup:

ハイパフォーマンスWebサイト

2010-05-30T19:01:00.003+09:00

O'REILLYから出ているハイパフォーマンスWebサイトを読んでいる。

サイトを高速にする14個のルールが章ごとにわかりやすく書かれている。

あんまりWebサイト構築したことないからかなり勉強になる。

まず最初に結構びっくりする内容があったのでメモがてら書いておく。

・レスポンスにかかっている時間のほとんどはフロントエンドでの処理である
高速にするという作業は、DBのインデックスチューニングであったり、
レスポンスのアルゴリズムといったことに考えがいきがち(少なくとも私は)だが、
実際には8-9割がフロントエンドの処理に費やされている。
つまりブラウザに表示する時間がかかっているということ。

高速なサイトを実現するためには、ブラウザでの処理を高速化させることが重要だとおいうことらしい。

読んで良かったところを抜粋しておく。

1章 HTTPリクエストを減らす
・イメージマップやCSSスプライトを利用して画像をまとめる
・スクリプトやスタイルシートを結合する
・ファイルをまとめてリクエスト数を減らす

>なるほどという感じ。
とにかく1リクエストにかかるオーバーヘッドはかなりのものらしい。

3章 Expiresヘッダを設定する
・クライアントにキャッシュさせるようにHTTPヘッダにExpiresを設定させる
・ファイル名にバージョンをつけることで変更をブラウザに認識させる

>クライアントにキャッシュさせるっていうのは当たり前な気がしていたが、
ファイル名にバージョンつけて変更を通知するっていのは賢い。
たしかニコニコ動画がそうやってるって何かに書いてあった。

5章スタイルシートは先頭に置く
・最後に置くとスタイルシートが読み込まれるまで表示されない
6章スクリプトは最後に置く
・スクリプトが読み込まれている間はレンダリングが中断される

>外部ファイル関係。
レンダリングが逐次実行されることで、見ている人のストレスが低くなるらしい。
レンダリングが中断されないようにするためには
スタイルシートは先頭にスクリプトは最後に置くのが吉とのこと

Webやっている人には当たり前のTipsだったりするんですかね。
あーWebやりたいす。

kestrel

2010-05-30T19:00:00.001+09:00

Twitterでも使われているMessageQueingシステムのkestrelの記事を読み、
memcachedのプロトコルで使えるということだったのでちょっと使ってみた。

バイナリが発見できなかったので、ソースからコンパイルすることにした。
とりあえず以下からソースコードをダウンロード。
http://github.com/robey/kestrel/tree/master

JavaなのででビルドはAnt。
Windows上でビルドするとどうもうまくいかない。

build.xmlを読むとどうやらOSXとLinuxでしかできないよう。
build.xmlを書き換えるのも面倒だったので、VMWare上のDebianでビルド。
今度は上手くいった。

ジャーナリングしたりログの出力パスの設定があるので、
Windows上で使うためには設定がいくつか必要。

とりあえずさくっと使うためにはconfigディレクトリ内の
production.confの以下の部分を変更

-ログ設定-----------------------------------------------------
log {
filename = "/var/log/kestrel/kestrel.log"　→任意のパスに変更
roll = "daily"
level = "info"
}
-ジャーナリング設定-------------------------------------------
queue_path = "/var/spool/kestrel"　→任意のパスに変更
--------------------------------------------------------------

ポートとかも設定ファイル上で変える模様。

以下のコマンドで早速起動。
java -jar kestrel-1.1.2.jar

実際にpythonからアクセスしてみた。

以前書いたmemcachedのソースコードそのままで使える。

違うのはアクセスが2回行われたときにエラーが発生する。
まあキューなので当たり前だがちょっと感動。

juno

2010-05-30T18:59:00.002+09:00

MOONGIFTに紹介されていたので
PythonのWebFW junoを使ってみる。

Rubyの軽量WebFWのSinatraに近いらしく
かなり簡単にWebアプリがかけるということらしい。

まずとりあえずインストール。

以下のサイトからjuno本体をダウンロードする。

http://brianreily.com/project/juno/

本体を解凍したフォルダ内で以下のコマンド実行しインストール

$python setup.py install

すると色々インストールしておけと言われるので
以下のコマンドでインストールしておく。

$easy_install SQLAlchemy
$easy_install Jinja2
$easy_install Mako
$easy_install Werkzeug

さて実際のアプリケーションを書く

junoのサンプルをとりあえず利用した。
---------------------------------------------------------

from juno import *

@route('/')
def index(web):
return 'Juno says Hi'

run()

---------------------------------------------------------

これを普通にPythonインタプリタで実行する。
以下のようなログがコマンドプロンプトに表示される

---------------------------------------------------------
running Juno development server, to exit...
connect to 127.0.0.1:8000 to use your app...

GET request for /...
/ matches, calling index()...
---------------------------------------------------------

WEBブラウザ以下のアドレスにアクセスすると
http://127.0.0.1:8000

画面出た。

本気ですごい。超簡単。

memcached

2010-05-30T18:56:00.000+09:00

memcachedを使ってみたかったので、せっかくなので、
pythonでやってみた。

memcachedのpython用クライアントインストールは
easy_installを使った。

easy_installをインストールした後で以下のコマンドを実行
$easy_install python-memcached

memcachedをインストールして起動した状態で以下のコードを実行

---------------------------------------------------------
import memcache

#memcached index key
indexkey = 1000

#set data to memcached
#initialize memecached
cachedata = 'cache data'
memcachedclient = memcache.Client(['127.0.0.1:11211'])
memcachedclient.flush_all()
memcachedclient.set(str(indexkey), cachedata)

#get data from memcached
memcachedclient = memcache.Client(['127.0.0.1:11211'])
cacheddata = memcachedclient.get(str(indexkey))
print cacheddata

---------------------------------------------------------

動いた。使うのはめちゃくちゃ簡単。

キーは文字列のみを受け付けるようだ。
integerだとだめって以下のようなエラーが出た。
(memcache.MemcachedKeyTypeError: Key must be str()'s)

Study Python

HTTPリクエストパラメータを抽出する

furlを使ってみた

第12回Python mini Hack-a-thon参加報告

Pythonで演算子オーバーロード

FlaskでStreaming

Pythonで動的にサブクラスを生成

DebugToolbarをFlaskにも

挿入ソート

Pythonの命名規則のおさらいじゃい

Flask-Script

Whooshでの横断検索とか

Whoosh Fields

Whoosh Quick start

Python上での全文検索

GAE上のFlaskで画像アップ&表示

The Zen of Python

FlaskでJSONP

PythonStartup

エキスパート Python プログラミング

ハイパフォーマンスWebサイト

kestrel

juno

memcached

エキスパート　Python プログラミング