inforno

rayphe - 軽量Python web framework

Thu, 23 Jul 2009 15:00:00 GMT

2010-2-10: v0.3.0リリースしました。またプロジェクト名を変更しています。

ちょっと前にRubyでSinatraが取り上げられて、結構注目されたように思います。ということはRailsだと大げさすぎるなあ、と思うような場合に対する需要というのはやっぱりそれなりにあるんですよね。

Pythonで軽量、というとweb.pyが一番有名ですよね。他にはJuno、Bottleなんかがあります。

このブログで使っているのはweb.pyです。結構昔から使っています。が、不満もおおくweb.pyを拡張するようなライブラリを作っていて、それがそこそこの量あったりします。

そこで、これくらい量があるなら自分でフレームワーク作っても大してかわんなくね？と思い始めました。あれ、そういえば俺、テンプレートエンジンもつくっちゃってるじゃん、簡易O/Rマッパも自分用につくってあるじゃん、と次々に気づき始め、それらをまとめて作っちゃいました。軽量フレームワーク。

rayphe

「rayphe」はPython用軽量ウェブフレームワークです。ルーティング、テンプレート、O/Rマッパなどが1ファイルにまとめられていて、依存するライブラリもありません。

また、共通の処理をまとめる「フィルタ」があったり、やアプリケーションの各フェーズをフックできたりと柔軟です。

raypheはGitHubにおいてあります。それなりにドキュメントも書いていて、テストもしてあります。詳しくは以下をどうぞ。

たとえば、サンプルアプリのコードの一部はこんな感じです。

python code

with app.filter([context_setup_filter, {"except":["static_file"]}]):
@app.get("static/(unicode:.*)")
def static_file(c, path):
c.res.send_file(os.path.join(app.static_path, path.replace("..", "")))
@app.get("")
def index(c):
c.res.redirect(app.url.show_pages())
@app.get("page/(int:\d+)")
def show_page(c, page_id):
c.page = app.db.select_one_by_id(Page, page_id)
c.title += c.page.title
c.comments = app.db.select([Comment],
cond="page_id=? order by created_at asc",
values=[page_id])
c.comment = getattr(c, "comment", Comment(name="", body=""))
return app.renderer.show_page({"c":c})

という感じでわかりやすくかけます。また、「単純化しすぎない」ということにも気を使っていたりします。selfと書くのが好きなPythonistaらしく、status 404とかじゃなくc.res.notfound()です。

というわけで

Pythonで小さなウェブアプリをつくるときは是非。

XREAで好きなバージョンのPythonを使う方法2

Sat, 24 Jan 2009 16:00:00 GMT

やんごとなき事情によりxrea内でWEBサーバを移動しました。

というわけで、このブログ(web.pyによる自作ブログ)を移したわけですが、今までのようにバイナリ化して動かすにはサーバと似た環境が手元にないといけません。が、移動した先のサーバでは環境がだめ。

ということで、python2.5をxreaにインストールしました。virtual-pythonもいいんですが、xreaのサーバはpython2.4なので。ちょっと工夫すれば入るし、快適ですね。以下作業ログ。

Pythonをインストール

まずはPythonのソースをダウンロードしてコンパイル。~/root/usr/localにいれます。

code

mkdir -p ~/root/usr/local/src
cd ~/root/usr/local/src
wget http://www.python.org/ftp/python/2.5.4/Python-2.5.4.tgz
tar zxvf Python-2.5.4.tgz
cd Python-2.5.4
./configure --prefix=~/root/usr/local
make
make install

サクっと入ります。で、次にeasy_installを入れるわけですが、はいりません。OpenSSLとの絡みでhashlib.md5が使えないから。easy_installを入れるときにmd5を検証するのに使ってるんですよね。

hashlibをインストール

なんで、自前でhashlibを単体でいれます。

code

cd ~/root/usr/local/src
wget http://code.krypto.org/python/hashlib/hashlib-20081119.tar.gz
tar zxvf hashlib-20081119.tar.gz
cd hashlib-20081119
vi setup.py

はい、setup.pyを編集しましょう。普通にbuildするとこれでもmd5が入りません。

code

105　　 if (ssl_inc_dir and
106　　　　 ssl_lib is not None and
107　　　　 openssl_ver >= 0x00907000):
108
109　　　　 print 'Using OpenSSL version 0x%08x from' % openssl_ver
110　　　　 print ' Headers:\t', ssl_inc_dir
111　　　　 print ' Library:\t', ssl_lib
112
113　　　　 # The _hashlib module wraps optimized implementations
114　　　　 # of hash functions from the OpenSSL library.
115　　　　 exts.append( Extension('_hashlib', ['_hashopenssl.c'],
116　　　　　　　　　　　　　　　　include_dirs = [ ssl_inc_dir ],
117　　　　　　　　　　　　　　　　library_dirs = [ os.path.dirname(ssl_lib) ],
118　　　　　　　　　　　　　　　　libraries = osNameLibsMap[os.name]) )
119　　 exts.append( Extension('_sha', ['shamodule.c']) )　　　　　　　　　
120　　 exts.append( Extension('_md5',　　　　　　　　　　　　　　　　　　
121　　　　　　　　　　 sources = ['md5module.c', 'md5.c'],
122　　　　　　　　　　 depends = ['md5.h']) )

119-120あたり、強制的に_md5を入れるようにします。あとは

code

~/root/usr/local/bin/python setup.py build
~/root/usr/local/bin/python setup.py install

でhashlibが入ります。

easy_installをインストール

これでmd5が使えるようになったので

code

cd ~/root/usr/local/src
wget http://peak.telecommunity.com/dist/ez_setup.py
~/root/usr/local/bin/python ez_setup.py

これで無事easy_installが入ります。あとは

code

~/root/usr/local/bin/easy_install -U -Z MySQL_Python

てな感じで必要なモジュールを入れていきましょう。

というわけで

わりと普通にxreaでPythonが使えています。

個人的Go雑感&メモ

Wed, 11 Nov 2009 11:00:00 GMT

GoogleがGoという新しいプログラミング言語を出したようで。早速、インストールして軽くドキュメントを流し読みしてみました。

英語なんて読みたくないよ、という人もいるかもしれないし、誰かの役に立つかもしれないので自分用メモおいときます。完全に自分用なんである程度他の言語の知識がある人向けな上、ざっくり流し読みなんで間違ってるかも。

どんな言語？

ネイティブコードを吐く、コンパイル型。
速度はCレベル。
GC搭載。ポインタはあるけど、ポインタ演算はできません。
各種アーキに最適化された、それぞれのコンパイラセットを持ちます。例：
- 6g, 6l : amd64
- 8g, 8l : i386
linux, mac, naclに対応。
動的型言語と静的型言語のおいしいとこどり。
concurrent処理が組み込まれてます。

個人的雑感

こんな言語設計思想かなあと感じたり
- とにかく、シンプルな言語に。
  - C++の複雑な部分などはできるだけはずしているような。
    - いわゆるクラスベースのオブジェクト指向はない。
      - 継承はない。
      - あるのはフラットなインタフェース空間のみ。
    - 例外もない。
- 低レイヤからは離れすぎたくない。
- concurrentを言語的にサポートしたい。
以下の言語からの影響を感じたり
- 言語コアはC。
- C++はパッケージの書き方、記法に影響がみられる。
- 命名規則や記法にPythonの影響がみられる。
- concurrentな部分はErlangから影響をうけている。

言語仕様

自分なりに簡単にまとめて見ます。

変数への代入

下へ行くほど省略形。varもあるからconstもあるでよ。

code

var s string = "";
var s = "";
s := "";

オブジェクト構造

値扱いの型と参照型があります。

値扱い : 代入、関数への私はコピーとなる。配列もまるごとコピーされる。
- 各種数値 : int, floatといったプラットフォームごとにサイズがきまる型とint32のようにサイズ固定の型。
- string : 不変、UTF8、ただのバイト配列
- 配列
- struct : ユーザ定義型
- などなど
参照 : 3つのみ
- map : 辞書
- slice : 明示的なサイズを持たない、配列のようなもの
- channel : concurrentで使う

値扱い型のアロケート方法 : new -> T*を返す

code

var t *T = new(T);

参照型のアロケート方法 : make -> Tを返す

code

m := make(map[string]int);
// これはダメ
var m map[string]int;

配列とスライス

配列は「値」。でユーザがメモリ構造などを読める。スライスはコンパイラがよしなに確保する、参照型。

例えばint型配列のポインタを受け取る場合。

標準配列(&がいる)

code

s := sum(&[3]int{1,2,3});
s := sum(&[...]int{1,2,3});

スライス

code

s := sum([]int{1,2,3});

辞書型

code

timeZone := map[string]int{
"UTC": 0*60*60,
"EST": -5*60*60,
"CST": -6*60*60,
"MST": -7*60*60,
"PST": -8*60*60,
}
seconds, ok = timeZone[tz]
//値がなければokはfalse
if seconds, ok := timeZone[tz]; ok {
return seconds
}
//消す場合
timeZone["UTC"] = 0, false;

パッケージ、制御構造、型定義、関数とメソッド、インタフェース

命名規則に特徴があります。大文字始まり以外は外部から見えないが原則。単なる命名規則ではなく、そういう仕様。

パッケージ

パッケージ文でファイルの先頭に書きます。これが基本的な単位となります。

code

package file

制御構造

特徴は

()がいらない。
ifやswitchなどの条件部に複数の文がかける
ループはforのみ(whileやdoはない)
switchが強力に(内容的にif-else if-elseチェイン)
concurrent用にselectがある

という点。かと。

ifの例

code

if i % prime != 0 {
fmt.Printf("%d", i);
}

switchの例

code

switch nr, er := f.Read(&buf); true {
case nr < 0:
fmt.Fprintf(os.Stderr, "cat: error reading from %s: %s\n", f.String(), er.String());
os.Exit(1);
case nr == 0: // EOF
return;
case nr > 0:
if nw, ew := file.Stdout.Write(buf[0:nr]); nw != nr {
fmt.Fprintf(os.Stderr, "cat: error writing from %s: %s\n", f.String(), ew.String());
}
}

caseに条件式がかける。breakは自動でされる。

型定義

type,structキーワードを組み合わせる。メンバにメソッドは含みません。

code

type File struct {
fd int; // file descriptor number
name string; // file name at Open time
}

メンバ名が小文字なので、パッケージ外からは見えません。

関数とメソッド

両方ともfuncキーワードで定義。
違いはレシーバを指定するか否か。レシーバを明示的に書くところはPythonっぽい。
多値が返せる。

この多値がかえせる、というのがGoでは非常に重要な意味をもっています。

関数定義: 多値を返しています。大文字始まりなので、外部に公開されます。

code

func Open(name string, mode int, perm int) (file *File, err os.Error) {
r, e := syscall.Open(name, mode, perm);
if e != 0 {
err = os.Errno(e);
}
return newFile(r, name), err
}

返す型に(file *File, err os.Error)と変数名がついてますね。これをつけておけばreturn;ってかくだけでその名前の変数を返してくれます。

code

func Open(name string, mode int, perm int) (file *File, err os.Error) {
r, e := syscall.Open(name, mode, perm);
if e != 0 {
err = os.Errno(e);
}
file = newFile(r, name)
return;
}

こんな風にもかけるってことです。おそらく、エラー処理が絡む場合とかこっちのほうが書きやすかったりするんじゃないですかね。

クロージャにもなります。いわゆる関数ポインタをとるようなところで、関数がそのままかけて外部変数も見えます。

code

startServer(func(a, b int) int { return a + b });

メソッド定義。(file *File)がレシーバの指定。

code

func (file *File) Close() os.Error {
if file == nil {
return os.EINVAL
}
e := syscall.Close(file.fd);
file.fd = -1; // so it can't be closed again
if e != 0 {
return os.Errno(e);
}
return nil
}

メソッド定義がstructでの型定義時ではないことに注目。つまり組み込み型などに対してもあとからメソッドを作成できるのです。こんな感じ。

code

type IntArray []int
func (p IntArray) Len() int { return len(p); }

インタフェース

これ重要。Goはいわゆるクラスがないので、継承などもなくインタフェースによるダックタイピングでそれらを片付けます。 interfaceキーワードで定義。

code

type reader interface {
Read(b []byte) (ret int, err os.Error);
String() string;
}

このように、ReadとStringが定義されていればそれはreaderなんだ、と考えます(ダックタイピング)。

実行時、動的にインタフェースが実装されているかも検査できます。

code

s, ok := v.(Stringer);

vがStringerインタフェースを満たしていれば

sにStringerオブジェクトとしてのv
okにtrueが

がかえってきます。

Concurrency

concurrentプログラミングはGoの大きな特徴。CSP(Communicating Sequential Processes)に基づいてます。並行して動く「goroutines」という軽量プロセスが「channel」を介してやりとり。ガードと多重化のためにselect文があります。

channelは単体ではなくchan 受け渡しする型という感じで書きます。以下はチュートリアルのコードまんまです。

code

func generate(ch chan int) {
for i := 2; ; i++ {
ch <- i // Send 'i' to channel 'ch'.
}
}

intを扱うchannelを受け取ってそれにiを送っていきます。

code

func filter(in, out chan int, prime int) {
for {
i := <-in; // Receive value of new variable 'i' from 'in'.
if i % prime != 0 {
out <- i // Send 'i' to channel 'out'.
}
}
}

送られたiが一定の条件を満たしていたら、intを扱うoutというchannelに送ります。

code

func main() {
ch := make(chan int); // Create a new channel.
go generate(ch); // Start generate() as a goroutine.
for {
prime := <-ch;
fmt.Println(prime);
ch1 := make(chan int);
go filter(ch, ch1, prime);
ch = ch1
}
}

channelは参照型なのでmakeで作ります。goで実行します。これは丁寧に書いた感じ。クロージャを使えばもっとシンプル。

code

func generate() chan int {
ch := make(chan int);
go func(){
for i := 2; ; i++ {
ch <- i
}
}();
return ch;
}

多重化とガード

複数のチャンネルをとりあつかって、それらをガードにより振り分けられます。ErlangやScalaでおなじみの書き方です。

code

func server(op binOp, service chan *request, quit chan bool) {
for {
select {
case req := <-service:
go run(op, req); // don't wait for it
case <-quit:
return;
}
}
}

request型のポインタを扱うchannelとbool型を扱うchannelを使って、多重化しています。quitチャンネルに値が送られてくるまでは、送られてきたものから良しなに処理してくれる、という感じですね。

というわけで

なぐり書きしたメモでした。変なことかいてたらすみません。まぁこんな感じな言語かなあ、という程度で。

繰り替えしになりますが、C言語を元にシンプルに保ちながらconcurrentプログラミングしやすくしてます、って感じですね。完全にダックタイピングベースで多値を多様するスタイルはおもしろいですね。なんとなく見た目がキモく感じるのは私の気のせいでしょう。

というか数ヶ月もブログ放置してたのかー。コード書いてないわけじゃないんですけど、たいしたもんかいてないんですよね。割合的には8割がたCかな。月一くらいはブログ書いていきたいなあ・・・

一瞬で今いるフォルダでcmd.exeを開く

Sat, 27 Jun 2009 15:00:00 GMT

Windows XPを使用していると、とにかく開いているフォルダでcmd.exeを起動したい、となることは多いです。

よくあるのは右クリックから開く、というやつ。まぁ当然、キーボード派の私にはありえない選択です。

んで、昔からCのプログラムとWSHをくみあわせてキーボードから開けるようにしていたのですが、やっぱWSHが絡むので遅い。

というわけでCだけで作ってみました。せっかくなのでおいておきます。

ダウンロード

explorexe.zip

使い方

解凍してできたexplorexe.exeのショートカットをデスクトップにつくります。

んで、ショートカットを右クリックして、

「リンク先」でcmd.exe /k cd /d %sを後ろに追加します。
- 例:C:\Documents and Settings\yourname\デスクトップ\explorexe.exe cmd.exe /k cd /d %s
「ショートカットキー」を適当に設定します。
- 例:Ctrl + Alt + C

これでOK。あとはエクスプローラを表示して、Ctrl + Alt + Cを押せばそのエクスプローラに表示されているフォルダをカレントにしてcmd.exeが開きます。

あとは、コマンドライン型ランチャーなんかに同様に登録するとめっさ快適です。

応用？

えー、見てのとおり引数の文字列にprintfしているだけなので、cmd.exe以外にも使えます。%sにあたるカレントフォルダのパスは空白が含まれている場合は自動的に「"」で囲まれます。

Python版Yahooテキスト解析 APIライブラリをキーフレーズ抽出に対応させました

Wed, 03 Jun 2009 15:00:00 GMT

しました。

ダウンロード

yahooapi

使い方

python code

import yahooapi.jlp
client = yahooapi.jlp.KeyphraseServiceAPI("apikey")
result_obj = client.extract(sentence=u"東京ミッドタウンから青山一丁目駅まで歩いて15分かかります")
for result in result_obj.Result:
print result.Keyphrase
# => 東京ミッドタウン
# => 青山一丁目駅
# => 15分

うむ。