Surgo

Jenkins on dotCloud

2012-05-10T17:50:00.001+09:00

前回書いた記事のアップデート。jetty をよく理解してなかった orz。シンプルに dotCloud に jenkins.war をデプロイするだけでいけますね。

プロジェクト作成

プロジェクト名を jenkins として作っています。

$ dotcloud create jenkins
$ mkdir jenkins

ディレクトリ階層は以下のように。jenkins.war は jenkins-co.org からダウンロード。

$ tree jenkins/
jenkins/
├── dotcloud.yml
└── webapps
    └── jenkins.war

dotcloud.yml の内容

$ cat jenkins/dotcloud.yml
www:
  type: java
  approot: webapps

まんまデプロイ。

$ dotcloud push jenkins jenkins/

jetty@dotCloud の設定

こっからは dotCloud のインスタンスに ssh アクセスして設定

(更新: user.home ごと書き換える)

$ dotcloud ssh jenkins.www  # ssh でアクセス

ワークスペースを作成する。

$ mkdir jenkins
$ chmod g+w jenkins

後は、jetty の設定。~/contexts/ ディレクトリ以下に、以下のような xml を追加。名前は何でもいいけど、とりあえず contexts/jenkins.xml など。書いたのは、パスの設定と JENKINS_HOME の設定だけ。ここで設定するので、ROOT.war とかに変更する必要もなし。

<?xml version="1.0"?>
<!DOCTYPE Configure PUBLIC "-//Mort Bay Consulting//DTD Configure//EN"
  "http://jetty.mortbay.org/configure.dtd">
<Configure class="org.mortbay.jetty.webapp.WebAppContext">
  <Set name="contextPath">/</Set>
  <Set name="war"><SystemProperty name="jetty.home" default="."/>/webapps/jenkins.war</Set>
  <Call class="java.lang.System" name="setProperty">
    <Arg>JENKINS_HOME</Arg>
    <Arg>/home/dotcloud/jenkins</Arg>
  </Call>
</Configure>

(追記) もしくは user.home ごと設定する。この場合、ワークスペースが /home/dotcloud/.jenkins になるので注意。

<?xml version="1.0"?>
<!DOCTYPE Configure PUBLIC "-//Mort Bay Consulting//DTD Configure//EN"
  "http://jetty.mortbay.org/configure.dtd">
<Configure class="org.mortbay.jetty.webapp.WebAppContext">
  <Set name="contextPath">/</Set>
  <Set name="war"><SystemProperty name="jetty.home" default="."/>/webapps/jenkins.war</Set>
  <Call class="java.lang.System" name="setProperty">
    <Arg>user.home</Arg>
    <Arg>/home/dotcloud</Arg>
  </Call>
</Configure>

なぜかデプロイの度に contexts/jenkins.xml が消える。。。まーいいや。レッツ CI。

Secure Shell - Awesome extention for Chrome

2012-05-01T12:04:00.001+09:00

これはすごい！Windows でも使える素敵なタブ機能付き Shell クライアントががが！Chrome extention です。10h/24h 以上は secure shell の中で生活しているので、これで捗ります。

chromiumos 用に開発されてるようですね。動作もサクサクですし、今のところなんの問題もなく動作してます。現在 beta 版で公開鍵認証等はサポートされていませんが、恐らくすぐにサポートされると思います。

# スクリーンショット

接続画面マルチバイトも問題なく表示

Vim もサクサク

# ブックマーク

以下の URL でブックマークができます
chrome-extension://pnhechapfaindjhompbnflcldabbghjo/html/nassh.html#user@host: port

Windows 8 - Windows Developer Days

2012-04-25T21:48:00.001+09:00

@ats 先生のご紹介で Windows Developer Days に参加させて頂きました。ありがとうございます！Microsoft のイベントは 10 年振りぐらいですかね。前回行ったパシフィコ横浜の時に比べると、こじんまりした会場で、人口密度がかなり高く、装飾が派手でした。Windows 8 は他の OS に負けない UI ! という意気込みを感じます。
セッションもメトロスタイルなアプリのデザイニングに関するものが厚めでした。MS 社のイベントでこれだけデザインの話がでるというのも新鮮です。今んとこ開発予定はないですが、メモ

Windows 8

RC 版を 6 月 1 週にリリース
スタートボタンから Metro UI へ (デスクトップモードもちゃんとある)
USB で持ち歩ける -> Windows To Go (抜いたら停止、挿したら再開、抜いて 60s 経ったらシャットダウンし、データも消える)
新しく Metro スタイルアプリが追加

Metro style Apps

MVC は HTML/CSS/JavaScript or silverlight で
ネイティブリソースにアクセスする場合は WinRT or WinJS
MS の方曰く、IE で動くものは基本的に移植可能
白石先生 (html5j.org) 曰く、html5 アプリがそのまま動けばいいけど、制限があるため Metro アプリケーション用に改修が必要とのこと
※ iframe なら可
配布は基本的に Windows Store のみ
デザインガイド

その他

Hadoop の Windows ディストリを公開予定

Hive や Pig 等の主要プラグインもパッケージング
Server 版と Azure 版を提供予定 (Azure 先行)
すべて javascript で制御可能

rails アプリケーションを Azure で動かす
Intel Ivy bridge は省電力とのこと

Intel の Tick-Tock 戦略の Tock

Intel Parallel Studio は面白かった！

パフォーマンス分析、チューニングが出来る
プロファイルとか最適化されてるかがかなりリアルタイムで見れる
バイトコードまで追える

最後に。それ Python でできるよ！

実践 Qt4 プログラミング - O'Reilly

2012-04-22T22:47:00.001+09:00

O'Reilly 様から "実践 Qt4 プログラミング" をご献本頂きました。有難うございます！！初めての献本ということで小躍りしました。この本は入門書ではないので、今から Qt4 を触りたいという方は "入門 Qt4プログラミング - O'Reilly" もあります。

中身をどこまで書いていいのかわかりませんが (w、各章で Web アプリケーションクライアント、メディアプレイヤー、データ・モデルビュアー、エディタ等々幅広いデスクトップアプリについて解説されています。データ・モデルビュアーが厚めです。その各章にアプリケーションの作例 (25 ちょい) があり、丁寧にコードリーディングしていくことができます。サンプルコード量約 2 万行w 読み応え十二分です。Qt は (この本がカバーしてる Ver.4.6) 800 近いクラスからなっているので、そんなもんなんでしょうね。

クラスの API リファレンスは公式ドキュメントを読むとして、この本の素敵なところはコードリーディングをしていくうちに Qt4 の重要な機能を理解できることと、デスクトップアプリケーションを作る際に気を付けるべきことが勉強できることだと思いました。まさに実践向きですね。あと、プラットフォームごとの差異、非推奨の機能、デスクトップアプリを作成する際に注意すべきことが各所で紹介されています。これも嬉しいですね。クロスプラットフォームなデスクトップアプリにご興味がある方は必読だと思います。

>>> PySide/PyQt の参考書としては?

十分使えます。量バインディング共によく出来ていて、クラス名やプロパティはそのまま、c++ で書かれているロジックを Python に置き換えれば動きます。ただし、マクロは Python に書き換える必要があるのと、シグナル・スロットの書き方、各クラスが属しているモジュール (QtCore, QtCore.Qt, QtGui...) は調べる必要があります。

アプリケーションを起動する main 関数

int main(int argc, char *argv[])
{
    QApplication app(argc, argv);
    app.setApplicationName(app.translate("main", "Application name"));
    ...

    FooWidget foo;
    foo.show();

    return app.exec();
}

import sys
from PySide import QtGui


if __name__ == '__main__':
    app = QtGui.QApplication(sys.argv)
    app.setApplicationName(app.tr('Application name'))
    ...

    foo = FooWidget()
    foo.show()

    app.exec_()
    sys.exit()

マクロ

#ifdef Q_WS_MAC
    // For mac
#endif

import sys


if sys.platform == 'darwin':
    # For mac

O'Reilly 様からお許しもらえたら、各アプリを PySide で解説させていただきたいです！

Pinterest のスケール

2012-04-17T16:41:00.001+09:00

V 先生から教えて頂いたので、Instagram 同様 Django/AWS 構成の Pinterest のスケールをメモ。~~Pinterest はいつものアカウント名が初めて~~ 先取 ~~されたサービスなので、今後使わないと思います~~。

本題に入る前に、Python には The Zen of Python (日本語) という思想があります。私はこの思想を Python でのプログラミングだけでなく、インフラの構築の際も意識するように心がけています。"Simple is better than complex" です。Instagram や Pinterest のスケールを見て、この思想がもっと好きになりました。

Instagram はよりシンプルなインフラに更改していくことで、ただスケールするだけでなく、運用や変更のコストも最小限になるように最適化していると思います。結果的に Android アプリ公開等のサービス拡大時にも少ないエンジニアリングで柔軟に対応できたのかと。これはあくまでもイメージでしかありませんが、AWS 上でスケールアップできるところまでスケールアップし、限界が見えたところでスケールアウトで最小限のエンジニアリングコストをかける。インフラで解決できるところはインフラで解決しているというイメージです。Pinterest のスライドでは、インフラをシンプルに更改した過程が紹介されています。

>>> インフラの遷移

2010/05: 創設
- RackSpace
- 小規模な Web Engine × 1
- 小規模な MySQL DB × 1
2011/01: AWS へ
フロントに nginx を立て垂直分割、MySQL をマスタースレーブ構成に垂直分割、ヘビーな処理をタスクキューに分割、MongoDB を導入。
- Amazon EC2 + S3 + CloudFront
- nginx × 1
- Web Engine × 4
- MySQL: Master × 1 / Slave × 1
- Task Queue × 1 / Task Processors × 2
- MongoDB × 1
2011 年後半: ターニングポイント
LB, Web サーバを増加、MySQL をシャーディングにより水平分割、Cassandra, Membase, Redis 等の分散型KVS を導入、MongoDB をクラスタ化。
- Amazon EC2 + S3 + CloudFront
- nginx × 2
- Web Engine × 16 / API Engine × 2
- MySQL: シャーディングした Master × 5 / Slave × 9
- Cassandra × 4
- Membase × 15
- Memcache × 8
- Redis × 10
- Task Router × 3 / Task Processors × 4
- Elastic Search Nodes
- Mongo クラスタ

NoSQL 大好きですね。スライドには " It will fail. Keep it simple. " という教訓が書かれています。今後このまま利用するテクノロジーを増やしていくと、運用や変更コストがすごいことになります。2012/01 に以下のようなシンプルな構成に変更したそうです。

Amazon EC2 + S3 + ELB, Akamai
Web Engines × 90 / API Engines × 50
MySQL: 66 (各 1 台のスレーブ)
Redis × 59
Memcache × 51
Redis Task Manager (pyres) × 1 / Task Processors ×25
Sharded Solr

Instagram 同様 nginx から ELB に変更、CDN を利用、Web サーバの更なる増加、MySQL のレプリケーション方法を変更、KVS を Redis に統一、タスク管理も Redis へ、memcache の増加、Elastic Search から Solr へ変更。だいぶシンプルになってます。ELB は大人気ですね。また、Pinterest も Instagram 同様 KVS は redis に統一しています。シンプルです。

Pinterest がどのインスタンスを使っているかについては MySQL しか書いてありませんでした。Instagram は超ハイエンドモデル 12 インスタンスで運用しているのに対し、Pinterest はハイエンドモデル 132 台です。双方のデータ量も QPS も分かりませんが、Pinterest が超ハイエンドモデルに切り替えた場合の、運用コスト (メンテナンスコストを含む) を比較したら面白そうです。

参考: Extra Large インスタンス

15 GB メモリ
8 ECU（2 ECU × 4仮想コア）
1,690 GB インスタンスストレージ
64ビットプラットフォーム
I/O 性能: 高速15 GB memory

Instagram が PostgreSQL で利用している Cluster Compute Quadruple Extra Large インスタンス

23 GB メモリ
33.5 EC2 Compute Unit（2 x Intel Xeon X5570、quad-core「Nehalem」アーキテクチャ）
1690 GB インスタンスストレージ
64ビットプラットフォーム
I/O 性能: 超高速（10 ギガビットイーサネット）

>>> インフラの選択

スライドには各インフラを選択した理由が書かれています。Pinterest が技術を選択した理由に "Well known and well liked" があげられています。この選択方法は私も大好きです。以下抜粋

AWS
- 信頼性が高く、報告やサポートが素敵
- 必要なものがそろってる
- 新しいインスタンスが数秒で起動する
- 選択肢が限られている w
MySQL
- Well known and well liked
- データの損失が皆無
- XtraBackup (ノンブロックバックアップ), innotop (MySQL 用 top コマンド), Maatkit (管理用便利コマンド類) 等の素敵なソフトがある
- コミュニティが活発
- Percona のサポートが素敵
memcache
- Well known and well liked
- 成熟している
- めったに落ちない
redis
- Well known and well liked
- 使いやすいデータ構造
- 永続化とレプリカができる
- 一貫してパフォーマンスが高い

>>> MySQL のスケール

特に MySQL は重点的に解説しています。MySQL クラスタとシャーディングを比較し、シャーディングを選んでいます。クラスタを選択しなかった理由は、

まだ出来たばかりの技術
コミュニティによるサポートが少ない
運用レベルのエンジニアが少ない
アップグレードが難しいし怖い
単一障害点になりえる (ここもうちょっと詳しく聞きたい)

とのことです。

またシャーディングの選定理由は、

データベースを分割し、より多くのキャパを追加できる
高可用性
ロードバランシング
データ配置のアルゴリズムがシンプル
ID 生成がシンプル

Pinterest では 512 個の DB を 8 台の物理サーバでシャーディングし、各ノードを Multi-Master レプリケーションで HA 構成にしているそうです。スライドには "Clustering is scary." という教訓で締められています。

うーむ。。。フェイルオーバ等 Multi-Master の制御をどうしているのか気になります。mmm? 私は Multi-Master を止めてクラスタを検討中なので、この辺りは再度勉強します。

追記:

@methane 先生より ELB が素敵な理由: "@voluntas nginx使うと、バック側のWebサーバー一覧をnginxに教えないといけないんだけど、ELBを使うと負荷に応じてAWSが勝手にWebサーバー立ち上げてELBの分散対象に追加したり、逆に減らしたりしてくれるんです。"

参考:

--
ところで、AWS に興味がある方向けに "エンジニアオープンハウスイベント" ってのがあるみたいです。2012年4月21日（土）10:00〜12:30 　に "運用・施設＆機械・インフラネットワーク系技術対象" ってのがあって、色々と AWS 中の人からインフラ系のお話が聞けるみたいです。どうしよう。

Instagram のスケール正攻法

2012-04-16T13:43:00.000+09:00

Instagram がどこに買収されたとかは他のニュースサイトにお任せして、Django アプリケーションを正攻法でスケールして "成功" してるのがとても興味深いです。現時点で Instagram Engineering で紹介されていることと TechCrunch にも掲載されたスライドから個人的なメモとしてまとめてみました。

Instagram の哲学は

シンプルであること
オペレーション負荷を最小化すること
すべて装備

とのこと。

Instagram は以下の OSS, サービスで構築されているようです。

>>> OS / ホスティング

Ubuntu Linux 11.04 を Amazon EC2 にホスティング。以前のバージョンは高トラフィックになると固まる問題があったようです。運用は 3 人。EC2 にホスティングしている理由は、調査結果によるものではなく、"まだ進化途中だから" だそうです。

ハードウェアの選定、導入、セットアップの手間も省けますし、パッケージ管理等の運用も軽そうですね。

>>> ロードバランサ

Amazon ELB を利用。もともとは DNS ラウンドロビン + nginx のロードバランサでバランシングしてたらしいですが、DNS の更新が遅いので止めたとのこと。nginx の負荷を軽減するために SSL も ELB までで、あとは HTTP。ELB はほんと素敵なサービスだと思います。DNS も Amazon Route 53 を利用。GUI での管理が素敵とのことです。

>>> アプリケーションサーバ

Django アプリケーションを EC2 の High-CPU Extra-Large インスタンスで実行。2012 年開始ぐらいでは約 25 インスタンスと書かれています。Android アプリを公開して 10 日で 1000 万ユーザ (20 時間で 100 万ユーザ) を獲得したようなので、今はもっと多いでしょうね。こういうサービスの拡大に柔軟に対応できるのも EC2 を含むクラウドの魅力だと思います。High-CPU にしている理由はおそらく PIL を多用するからでしょうか。WSGI サーバは gunicorn ですよね。理由は Apache と mod_wsgi より CPU 負荷が軽かったからとのこと。デプロイは Fabric でやっているそうです。Fabric の使い方は Ian 先生のブログが参考になります。

あと、ボトルネックになってるプロセスを監視するために dogslow という bitbucket 製の Django ミドルウェアを利用しているそうです。そういえば bitbucket も Django を使うメガサービスですね。

参考: High-CPU Extra-Large インスタンス

7 GB メモリ
20 ECU（2.5 ECU × 8仮想コア）
1690 GB インスタンスストレージ
64ビットプラットフォーム
I/O 性能: 高速

>>> データストア

ほとんどのデータ (ユーザ、写真のメタデータ、タグ等) を PostgreSQL に保存。Django ドキュメントに "PostgreSQL is recommended, because we're PostgreSQL fans" って書いてあるのを思い出しました。PostgreSQL は Cluster Compute Quadruple Extra Large インスタンスで実行。10 ギガですよ！同じく 2012 年開始ぐらいでは約 12 インスタンスと書かれています。またバックアップ用として異なるゾーンに 12 個のレプリカを置いているようです。EBS のディスクシークが遅いので、すべてのワーキングセットをメモリに保存しているそうですPostgreSQL のレプリカはストリーミングレプリケーションを利用。レプリケーションの管理は repmgr を利用。バックアップは EBS のスナップショット機能を利用。コネクションプールに PgBouncer を利用 (これがパフォーマンス向上にかなり効いたらしい)。

最初は Django のルータ機能で垂直分割 (ハードウェア負荷の分散)。次に PostgreSQL のシャーディング (参考) で水平分割 (データ領域の分散)。

参考: Cluster Compute Quadruple Extra Large インスタンス

23 GB メモリ
33.5 EC2 Compute Unit（2 x Intel Xeon X5570、quad-core「Nehalem」アーキテクチャ）
1690 GB インスタンスストレージ
64ビットプラットフォーム
I/O 性能: 超高速（10 ギガビットイーサネット）

次にメインフィード、アクティビティーフィード、セッションデータ (django.contrib.sessions.backends) は redis に保存。redis は High-Memory Quadruple Extra Large インスタンスを数台。これもバックアップは EBS のスナップショット。redis のレプリカにより、簡単にオンラインフェールオーバする。redis を選択した理由は、"インサートが高速、サブセットの作成が高速" だったからとのこと。

参考: High-Memory Quadruple Extra Large インスタンス

68.4 GB メモリ
20 ECU（2.5 ECU × 8仮想コア）
1690 GB インスタンスストレージ
64ビットプラットフォーム
I/O 性能: 高速

ファイルシステムは XFS。

ファイルキャッシュを管理するために vmtouch を利用。vmtouch でメモリにロードする。

私は KVS の選定の際、ここを参考にしています。

>>> タスクキューと PUSH 通知

写真を facebook や twitter 等への連携、新規写真や新規ユーザの通知等のタスクは gearman で処理。worker 数は 200 程度。

PUSH 通知は pyapns (twisted powered) でやっている。

全体として、運用の手間を軽くし、フットワーク軽くサービスを提供できるように工夫されていますね。監視は munin を利用しているようです。プラグインを python-munin で作成しているようです。監視まで pythonic ですね。python-munin には Instagram さんが利用しているインフラのための素敵なプラグインが多く用意されています。もう 1 つ memcached も利用している技術の 1 つとして記載されていましたが、これについては残念ながら詳しくは書いてありませんでした。Amazon ElastiCache ですかね w

また、スライドには面白い tips も紹介されていました。

favicon.ico は必ず作ること: 404 error を防ぐ。最初のスケールはこれ。
他のサイトで以下に favicon を軽くするかも熱く解説していました
サービスもインフラもスピードも計量に
開発スタイル
1. 大規模なユニットテストと機能テスト
2. DRY
3. シグナルによる祖結合
4. 大部分を Python で完結し、必要に応じ C を利用
5. 知識を共有するための頻繁なコードレビューとプルリクエスト
6. 大規模な監視

参考:

Redmine のリポジトリ全文検索プラグイン

2011-12-27T01:21:00.000+09:00

メリークリスマス！でしたね。今年のクリスマスは ruby を書いて過ごしました。えぇ。ついに ruby デビューです。作ってたのは Redmine のリポジトリ全文検索プラグインです。会社のプロジェクト管理サイトを Trac から乗り換えるにあたり、これ！ってのが見つけられなかった情弱です。
Trac では、full-text サーチエンジンに Hyper Estraier を使う TracRepoSearch という素晴らしいプラグインを使ってました。ということで、便乗して redmine_reposearch というプラグインを作って見ました。バックエンドも同じく Hyper Estraier です。
個人的に欲しかった機能は、

インストールステップが簡単
プロジェクト、サブプロジェクト、全プロジェクト間で検索できる
Redmine のアクセス権管理に対応する
MIME タイプを限定して検索する (今後実装予定)

です。ある程度は満足がいく出来に作ることが出来ました。インストール方法等は wiki にまとめました。わかりにくかったらお気軽に Issue か Twitter でお申し付けください。

# インストールステップは 2 ステップ
これは結構苦労しました。いろんな OSS 検索エンジンの仕様を調べ、一番インストールが簡単で、動作が軽快で、気の利いた ruby バインディングがあるやつを選びました。ライブラリのインストールとプラグインのインストールのみで動作します。
Estraier の DB は RAILS_VAR/reposearch 以下にプロジェクト毎に作成されます。Ubuntu の場合は、 /var/lib/redmine/reposearch になります。クラスタ組みたい場合は、RAILS_VAR はアップロードファイル保存ディレクトリでもあるので、ネットワークファイルシステムをマウントするなどすればいいと思います。
あと SCM との連携は fetch_changesets と同じ仕組を流用しています。まだ ruby script/runner "Repository.fetch_changesets" -e production のようなコマンドでは動きません。 /lib/crawl.rake なるものを作ればイケそうってとこまでは調べました。要望があれば。
インストールじゃなくて、インデックス作成もなるべく軽量になるように考えました。一応最終チェンジセットからの差分のみを再インデックス処理するようにしています。

# プロジェクト、サブプロジェクト、全プロジェクト間で検索できる
これも Hyper Estraier を選んだ理由にもなります。DB をまたいで検索できますし、リポジトリ毎に DB を作成するので、インデックス破損の影響を最小限に抑えることができるかなと。

# Redmine のアクセス管理に対応する
アクセス管理といわず、~~めんどくさいので~~使えるものは既存のライブラリを使うようにしました。ページング処理、ワードハイライト、文字コード、SCM の差異吸収、アクセス可能なプロジェクトの選択、プロジェクト選択フィルタなどなど。Redmine code search さまさまです。他に使い回せそうなコードがあれば教えてください先生方。けっこう親和性高くできたと思います。

# MIME タイプ限定検索など今後実装したい機能とか

テストを書きたい。書いてません。書き方わかりません。rails とか ruby とか勉強します
MIME タイプ限定検索
もっと軽量化したい。動作もコード量も
マッチパートのシンタックスハイライト (挫折済み)

言い訳を書いておくと、ruby も rails も redmine を初めて触ってるところです。Issue とかで色々教えていただけると喜びます。あと、他のプラットフォームでの動作確認とかも喜びます。

Python の新ユニットテストフレームワーク (or unittest2)

2011-12-14T13:06:00.001+09:00

これは Python3 Advent Calendar の記事です。夢はテストエンジニアです！ということでユニットテストについて書きます。

Python3 縛りとのことですが、この新ユニットテストフレームワークは Python 3.2 以降と 2.7 以降が対象です。これ以前のバージョンでこの新ユニットテストフレームワークを利用したい場合は、それぞれ unittest2py3k (3 系)、 unittest2 (2 系) というバックポートが用意されています。新ユニットテストは mock や IronPython 等の開発者としても知られている Michael Foord 氏を中心に開発されました。

>>> Python とユニットテストの歴史

Python のユニットテストは、1999 年 xUnit ファミリーの PyUnit として開発され、2001 年に公開された Python 2.1 から unittest として標準ライブラリとなりました。それ以降、アップグレードといえば assert* メソッドの追加や削除といった感じ。PyCon 2010 での Michael Foord 氏のプレゼンテーションによると "Python には革新的なテストインフラが数多くありますが、unittest は標準ライブラリという理由により最も利用されているテストフレームワークです。しかし、他のテストフレームワークが革新的な進歩を遂げている中、unittest は遅れを取っています"。

しかしついに、ユニットテストは Python 3.2, 2.7 で革新されることになりました。それも Python らしく "後方互換" がかなり意識されています。これも Michael Forrd 氏の言葉を借りると "これは革命ではなく、進化です"。

>>> どこが "進化" したのか

新ユニットテストフレームワークには以下の機能の追加や更新が行われています。

便利な assert* メソッドの追加
名称の統一、重複の排除
コマンドラインからの制御をより便利に / 或いはディスカバリ
テストのスキップ
モジュールレベル、クラスレベルのテストフィクスチャ

などなどです。各進化の詳細について解説していきたいと思います。

>>> 便利な assert* メソッドの追加

追加されたメソッドには以下が含まれています。

3.1 以降に追加されたメソッドも含んでいます
3.2 / 3.3 で非推奨 / 廃止されたメソッドは含んでいません
3.2 / 3.3 で名称変更されたものは新名称で記載しています
利用できるメソッドはバージョンによって違うので、確認する必要があります

メソッド	検証内容	Ver.
assertIsNone / assertIsNotNone(x, msg=None)	x is [not] None	>= 3.1
assertIs / assertIsNot(a, b)	a is [not] b	>= 3.1
assertIn / assertNotIn(a, b)	a [not] in b	>= 3.1
assertIsInstance / assertNotIsInstance(a, b)	[not] isinstance(a, b)	>= 3.2
assertGreater / assertGreaterEqual(a, b) assertLess / assertLessEqual(a, b)	a >[=] b a <[=] b	>= 3.1
assertAlmostEqual / assertNotAlmostEqual(a, b)	round(a-b, 7) [!\|=]= 0 ※ 仕様変更 (delta を追加)	>= 3.2
assertRegex / assertNotRegex(s, re)	[not] re.search(s)	>= 3.1 (not は >= 3.2)
assertCountEqual(a, b)	配列の個数と値	>= 3.2
assertMultiLineEqual(a, b)	a = b: 文字列	>= 3.1
assertSequenceEqual(a, b)	a = b: 配列+タイプ	>= 3.1
assertListEqual(a, b)	a = b: list	>= 3.1
assertTupleEqual(a, b)	a = b: tuple	>= 3.1
assertSetEqual(a, b)	a = b: set	>= 3.1
assertDictEqual(a, b)	a = b: dict	>= 3.1
assertRaises(exc, fun, args, *kwds)	fun(args, *kwds) raises exc	>= 3.1 ※ 3.2, 3.3 で仕様変更
assertRaisesRegex(exc, re, fun, args, *kwds)	fun(args, *kwds) raises exc \ and re.match(exc.message)	>= 3.1 ※ 3.2, 3.3 で仕様変更
assertWarns(warn, fun, args, *kwds)	fun(args, *kwds) raises warn	>= 3.2
assertWarnsRegex(warn, re, fun, args, *kwds)	fun(args, *kwds) raises warn \ and re.match(exc.message)	>= 3.2

これは Google さんの協力も得て追加されたようです。このメリットをいくつか挙げたいと思います。

まず、a=b 等の状態検証用のメソッドが増えたこと。テスト開発者の皆様も待ち望んでいたのではないでしょうか？なんでこれが幸せなのか。既存の assert* を駆使して作ってたメソッドが 1 行で検証できるようになり、バグを発見しやすくなります。

class TestTest(unittest.TestCase):
    def setUp(self):
        self.list_first = [1, 2, 3, 4, ]
        self.list_second = [1, 2, 4, 4, 5, ]

    def test_old(self):
        self.assertEqual(len(self.list_first), len(self.list_second))
        self.assertEqual(self.list_first, self.list_second)

    def test_new(self):
        self.assertCountEqual(self.list_first, self.list_second)

if __name__ == '__main__':
    unittest.main()

例がむちゃくちゃでごめんなさい。。。

======================================================================
FAIL: test_new (__main__.TestTest)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "test_test.py", line 14, in test_new
    self.assertCountEqual(self.list_first, self.list_second)
AssertionError: Element counts were not equal:
First has 1, Second has 0:  3
First has 1, Second has 2:  4
First has 0, Second has 1:  5

======================================================================
FAIL: test_old (__main__.TestTest)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "test_test.py", line 10, in test_old
    self.assertEqual(len(self.list_first), len(self.list_second))
AssertionError: 4 != 5

----------------------------------------------------------------------
Ran 2 tests in 0.000s

テスト結果を見ても、4 != 5 じゃなんのことかさっぱりですよね。以前は "テストメソッド数＝機能数" というのが一般的でしたが、モダンなテストは "テストメソッド ≒ 検証" です。ひとつのテストメソッド (test_*) 内に複数の検証 (assert*) を書いた場合、複数のテストに失敗しても最初の失敗しか出力されません。「分割すると時間がかかるし、まとめると失敗したときに追いかけるの大変だし。。。しゃーない独自の assert* 定義するか」ってな悩みから解放されます。

また、失敗時の結果出力もバグが分かりやすいように大幅に改善されています。

### Python 2.6
AssertionError: [1, 2, 3, 4] != [1, 2, 4, 4, 5]

### Python 3.2
AssertionError: Lists differ: [1, 2, 3, 4] != [1, 2, 4, 4, 5]

First differing element 2:
3
4

Second list contains 1 additional elements.
First extra element 4:
5

- [1, 2, 3, 4]
?        ^

+ [1, 2, 4, 4, 5]
?        ^   +++

適材適所の assert* を使うことで、バグを見つけやすくなります。

次に、assertRaises も大きな変更の 1 つです。以前は try-catch で書いていた検証が 1 行で書けるようになりました。

class TestTest(unittest.TestCase):
    def test_old(self):
        try:
            int("spam")
            self.fail("Expected a ValueError")
        except (Exception, ) as e:
            self.assertTrue(isinstance(e, ValueError))

    def test_new(self):
        self.assertRaises(ValueError, int, "spam")

if __name__ == '__main__':
    unittest.main()

このテストはもう 1 つ問題があります。例外が発生しない場合は、"self.fail" が通らないことですね。テストのカバレッジも重要ですが、テスト自体のカバレッジも大切です。try 節が長くなったり、ネストしたりするとテストが複雑になってしまいます。通らない可能性があるコードなんて書かないようにしましょう (書いてて耳が痛い)。

>>> 名称の統一、重複の排除

追加された便利機能もあれば、非推奨になったものもあります。名称の統一と重複の解除により、以下のメソッドが非推奨になりました。

assert_: assertTrue を利用する
fail*: assert* を利用する
assertEquals: assertEqual に統一

バージョンによって推奨・非推奨は異なっています。

>>> コマンドラインからの制御をより便利に / 或いはディスカバリ

unittest モジュールはコマンドラインから使えます (参考)。これに、py.test や nose とまではいきませんが、ディスカバリ機能が追加されました！

# テストモジュールやテストクラスを指定して実行
python -m unittest test_module1 test_module2
python -m unittest test_module.TestClass
python -m unittest test_module.TestClass.test_method
# ファイル名を指定して実行
python -m unittest tests/test_something.py
# 結果の詳細出力 (verbosity=3)
python -m unittest -v test_module
# ディスカバリ実行 <- New!!!
python -m unittest
python -m unittest discover

ディスカバーと便利なオプションたち。

-v, --verbose: 結果を詳細に出力する
-f, --failfast: 最初に失敗した所でテストを終了する (>= 3.2)
-c, --catch: テストを中断し、それまでに実行したテスト結果を出力する (>= 3.2)
-b, --buffer: 出力先を指定する (>= 3.2)
-s: ディスカバリを開始するディレクトリ (>= 3.2)
-p: ディスカバリ時にテストファイルにマッチさせるパターン (>= 3.2)
-t: ディスカバリさせたいプロジェクトのトップレベルディレクトリ (>= 3.2)

-v, -f, -c, -b についてはディスカバリ時以外でも使えます。

python -m unittest discover -s project_directory -p '*_test.py'
python -m unittest discover project_directory '*_test.py'

ディスカバリのために、load_tests プロトコルが追加されています。テストモジュールに TestSuite を返す load_tests を定義することにより、テストを制御することができます。例えば以下の例ではディスカバリする際のテストクラスを限定しています。

test_cases = (TestCase1, TestCase2, TestCase3)

def load_tests(loader, tests, pattern):
    suite = TestSuite()
    for test_class in test_cases:
        tests = loader.loadTestsFromTestCase(test_class)
        suite.addTests(tests)
    return suite

限定しなければ、TestCase を継承するすべてのクラスがテスト対象となります。

>>> テストのスキップ

テストクラスとテストメソッドをスキップ出来るようになりました。スキップする条件も指定できます。

class TestTest(unittest.TestCase):
    @unittest.skip("無条件スキップ")
    def test_nothing(self):
        self.fail("shouldn't happen")

    @unittest.skipIf(mylib.__version__ < (1, 3),
                     "not supported in this library version")
    def test_format(self):
        # 指定したバージョンのライブラリでのみテスト
        pass

    @unittest.skipUnless(sys.platform.startswith("win"), "requires Windows")
    def test_windows_support(self):
        # Windows でのみテスト
        pass

verbosity を指定して実行すると以下のように出力されます。

$ python -m unittest -v test.py
test_nothing (test_test.TestTest) ... skipped '無条件スキップ'
test_format (__main__.TestTest) ... skipped 'not supported in this library version'
test_windows_support (__main__.TestTest) ... skipped 'requires Windows'

テストクラスごとスキップする場合は、以下のように書きます。

@skip("showing class skipping")
class TestTest(unittest.TestCase):
    def test_not_run(self):
        pass

~~どういう場合に有効なのかわかりませんが~~ 失敗した場合でも失敗と数えないようにするデコレータも追加されています。テスト作成時には失敗するけど、修正してテストが成功すると通知してくれます。

    @unittest.expectedFailure
    def test_fail(self):
        self.assertEqual(1, 0, "broken")

# テストに成功してしまった場合の出力
test_fail (test_test.TestTest) ... unexpected success

>>> モジュールレベル、クラスレベルのテストフィクスチャ

これもテストコードも綺麗に書きたい方にとって待ち望んでいた機能だと思います。setUp / tearDown が無駄に長かったり、テストメソッド間で共有したいクラスレベル変数をメソッドレベルに定義したり。。。これは神アップデートです。テストがシンプルに、メンバのスコープも最小限に抑えることができます！！！そういえばモダンな xUnit では setUp/tearDown をなくしちゃった言語もありますね。

# Old... orz
connection = createExpensiveConnectionObject()

class TestTest(unittest.TestCase):
    def test_spam(self):
        connection

コネクションが違う場合は別モジュール orz...

# New !!!
class TestTest(unittest.TestCase):
    @classmethod
    def setUpClass(cls):
        cls._connection = createExpensiveConnectionObject()

    @classmethod
    def tearDownClass(cls):
        cls._connection.destroy()

    def test_spam(self):
        cls._connection

スコープが素敵ですよね！スコープ範囲のためにモジュールやクラスを分割する必要がなくなります！上述のように "テストメソッド ≒ 検証" 形式で書いても、無駄に setUp を実行しないで済みます。

モジュールレベルは以下のように書けます。

def setUpModule():
    createConnection()

def tearDownModule():
    closeConnection()

setUp / tearDown の代替手段として addCleanup というメソッドが作られています。 addCleanup を使うことで、可読性が高いリソースのセットアップ処理 / 終了処理を書くことができるようになります。これはテストの終了時 (LIFO) の動作が保障されています。tearDown は setUp 失敗時には動作しません。

def test_method(self):
    temp_dir = tempfile.mkdtemp()
    self.addCleanup(shutil.rmtree, temp_dir)
    ...

明示的に呼び出したい場合は、以下のように書けます。

def test_method(self):
    temp_dir = tempfile.mkdtemp()
    self.addCleanup(shutil.rmtree, temp_dir)
    ...
    self.doCleanups()
    ...
    self.doCleanups()

>>> まとめ

新ユニットテストフレームワーク素晴らしいですよね！バックポートも用意されていますので、是非移行しましょう！バックポートにはディスカバリ等に制限がありますが、assert* メソッドやテストフィクスチャの恩恵を受けることができます。バックポートとの後方互換を持たせるため、以下のように import することが推奨されています。

try:
    import unittest2 as unittest
except (ImportError):
    import unittest

新ユニットテストフレームワークには他にも多くの便利機能が用意されています。詳細については公式ドキュメントを参照してください。

>>> Python 3 に対応しているテストソリューション

テストフレームワーク: nose, py.test
テスト用モック: mock
TDD ならぬ BDD (ビヘイビアドリブン開発) フレームワーク: python-specfor

BDDフレームワークの PyCcuracy 等も今後の対応に期待したいですね。

ということで次は最近お子様が誕生された "@mopemope" 先生にバトンタッチです。

PyPy における Python のパフォーマンスチューニング

2011-12-14T11:10:00.000+09:00

これは PyPy Advent Calendar の記事です。PyPyのコアディベロッパーである "Maciej Fijalkowski" 氏のブログ "Analysing python's performance under PyPy" の抄訳+αです。

Python の一般的なパフォーマン解析のモデルは、"プロファイラを実行して、ボトルネックを探し出し、それを最適化するか C で書き直す" ことです。しかし PyPy ではこのアプローチだけでは不十分です。なぜなら、

多くの大規模アプリケーションで、プロファイラはフラットです: PyPy のトランスレーションツールチェーン、Twisted、モダンな Web サーバ等が良い例です
ボトルネックを発見したとしても、それが特定の関数内でのみ遅いのか、複数の関数が関係しているのか明確になるわけではありません。どうすれば遅くて、どうすれば速くなるかは CPython においても明確な答えはありません。JIT が適用されるとさらに複雑です。 JIT が特定のコードをどのようにコンパイルしたかを確認することが重要になります。
パフォーマンスにおいては、特に GC 関連の問題は多くの関数に影響がありますが、プロファイルでは確認できません。

PyPy には、問題を解決するためのいくつかのツールが提供されています。プログラムのパフォーマン解析に関するいくつかの方法を示します。これはガイドラインであり、銀の弾丸ではありません。アプリケーションが複雑な場合は、多くの鉛の弾丸が必要でしょう。

>>>> テストを作成する

これは品質に関するものではありません。多くの自動化されたテストを受けることで、その機能を失うことなく、よりパフォーマンスの高いコードにリファクタできるようにします。

>>>> ベンチマークを書く

これが重要な出発点となります。ひとつのスクリプトで、できれば引数を指定して、変更の影響を測定できるようにする必要があります。

1 回だけしか実行されないスクリプトでない場合は、同じテストを繰り返し実行することで JIT のウォームアップ時間がパフォーマンスにどのような影響があるかを測定することができます。それは連続して実行されるとどのように変化するかを視覚化する助けにもなります。

"Maciej Fijalkowski" さんのベンチマークは、ステップごとに 0.2 秒から 5 秒実行しているそうです。これにより、誤差を最小限にすることができます。JIT のウォーミングアップ時間は、コードベースによって違ってきます。それは一瞬かもしれませんし、1 分かもしれません。

>>>> cProfile の結果を考慮する

Python のプロファイラ (cProfile) をカスタマイズした lsprofcalltree.py を利用し、kcachegrid へ取り込み可能なフォーマットで出力します。これは役に立つ情報を提供するかもしれませんし、しないかもしれません。プロファイルから突出している関数がある場合に、その効率やアルゴリズムを確認します。

>>>> GC や JIT 等の比率を確認する

PyPy のコードベースには、この確認に便利なツールが提供されています。プログラムを pypy virtualenv で実行している場合は:

$ PYPYLOG=log ./test.py

を実行します。また、pypy のリポジトリのチェックアウトから:

$ pypy/tool/logparser.py print-summary log -

を実行します。また、グラフで確認したい場合は:

$ pypy/tool/logparser.py draw-time log out.png

を実行します。これは、だいたい何にどれぐらいの時間が費やされているかを確認することができます。GC、JIT トレース (ウォームアップ時間)、その他 JIT 化されたコードの実行時間が含まれています。

logparser の出力例については、PyPy Advent calendar: 7 日目の id:rokujyouhitoma (総帥) 先生のブログが参考になります。

>>>> jitviewer を利用する

jitviewer により、コードに何が起きたかを大まかに確認することができます。

インストール方法 (Ubuntu)

以下がインストールされていることが前提です。

virtualenvwrapper or virtualenv

pypy-1.7

※ PyPy は /opt/ 配下にインストールし、 /usr/bin にシンボリックリンク作ってます。

cd /opt/
wget https://bitbucket.org/pypy/pypy/downloads/pypy-1.7-linux.tar.bz2
tar -jxf pypy-1.7-linux.tar.bz2
sudo ln -s /opt/pypy-1.7/bin/pypy /usr/bin/

jitviewer 用の virtualenv を作成し、インストールします。

mkvirtualenv pypy-viewer -p /usr/bin/pypy
pip install JitViewer
# 開発版を使われたい方: pip install -e hg+https://bitbucket.org/pypy/jitviewer/#egg=jitviewer

最後に PYTHONPATH に /opt/pypy-1.7/lib_pypy, lib-python, py を追加します。

こんな感じで JIT ログ + アセンブラを確認することができます (これを見て盛り上がる pypyja のチャット)。

>>>> JIT にやさしいコード

本家にある Wiki を翻訳しました。以下抜粋します。

属性名は一定にする: setattr(x, 'a' + some_variable, y) よりも setattr(x, 'a', y) の方が高速
新クラス形式を使う / クラスを継承させない
関数の引数の指定で *args や **kwargs を使わない: 内部コードが増える
JIT を無効化するコードは書かない: logging モジュール, トレース, フレームイントロスペクション (sys._getframe(), sys.exc_info()

現状は遅いけど改善に取り組んでるコード。

ジェネレータよりリスト内包表記が高速 -> ジェネレータの高速化
str.join(list) より cStringIO が高速 -> str の高速化

チューニングはひたすらベンチマークと格闘のようですね。次は @shomah4a 先生です。

[memo] Ubuntu 11.10 (kernel 3 系) にアップグレード時の注意書き

2011-12-02T11:47:00.001+09:00

kernel 3 系ではディレクトリツリーが整理されています。しかし、現在のところ Ubuntu 11.10 にアップグレードしても、新ディレクトリツリーに完全に対応してくれません。ちなみに新規インストールの場合は問題ありません。以下の手順で新ディレクトリツリーに対応します。

新ディレクトリへ移行

sudo mv /var/run/* /run/
sudo mv /var/lock/* /run/lock/
sudo rm -r /var/run
sudo rm -r /var/lock
sudo ln -s /run /var/run
sudo ln -s /run/lock /var/lock
sudo rm /run/dbus/*

参考

apparmor の権限を更新

例) /etc/apparmor.d/usr.sbin.mysqld の場合

---  /var/run/mysqld/mysqld.pid w,
---  /var/run/mysqld/mysqld.sock w,
+++  /{,var/}run/mysqld/mysqld.pid w,
+++  /{,var/}run/mysqld/mysqld.sock w,

その他設定ファイルの見直し
sock ファイルとか pid ファイルの設定は見直したほうがいいです

VMWare 上にインストールしている場合は、ライブラリが競合するので blacklist に以下を追加する。

# sudo vi /etc/modprobe.d/blacklist.conf
blacklist i2c_piix4

参考

pam が更新されているので、依存してるアプリケーションの更新が大変ですね。。。

PyPy! - PyPy Advend Calendar

2011-12-01T20:18:00.001+09:00

今年も Advent Calendar の季節が始まりました。この記事は Python を高速化するソリューション PyPy の Advent Calendar の記事です。最初なので、簡単に PyPy の概要と PyPy-ja のご紹介をしたいと思います。

>>>> PyPy ってなんなの？

@nati
nati ueno PyPyは日本語で、おっぱいの意味なんだよ　ってUSのpythonやってるエンジニアに教えたら「今日ほどいい日はない！って大喜びしてた」
Oct 06 via webFavorite RetweetReply

PyPy は Python 2.7.1 互換の高速な処理系です。現在、着々と py3k 対応の開発も進んでいます。Python 標準処理系である CPython と比較して以下のような特徴があります。

速度: とにかく速いです。JIT パワーです。CPython と PyPy の速度はここに公開されています。現在は CPython の 5 倍ぐらい速いですね。特定の環境では Java より速いという計測結果もあります。ちなみに先日 Win32 環境で同じ計測をしましたが、Win32 環境では pypy 1.6 以降で Java よりも高速という結果がでましたよ。残念ながら 1.7 より 1.6 の方が高速という結果でしたが。。。
メモリ使用量: 多い。ほんとにメモリ食います。JIT の作者 Antonio 氏に Python 生みの親の ~~Guide (oh...)~~ Guido 氏が "PyPy の JIT はなんで速いの？" と質問した時に、"オブジェクトが持っているデータをメモリ上の固定位置に配置してるのが効いているみたい" と答えたとのことです (ats さんのブログより)。なるほど。
互換性: 一部制限がありますが Python との互換性は高いです。1.7 になってさらに互換性が高まっています。動作する Python ライブラリはここにまとまっています。"このライブラリも動いたよ！" って方は是非この Wiki を編集してみてください。Django, Flask, Pyramid などのメジャー Web アプリケーションフレームワークや Twisted や Sphinx も動作しますよ！逆に C 拡張を含むライブラリは動作しないものが多いです。1.7 からは numpy も numpypy として動作するようになり、今後対応するライブラリがどんどん増えていきますよ！
スタックレス: スタックレスの軽量な擬似的スレッドによる並列処理ができます。

メモリ最適化して、JIT パワーで、Python 高速化したよってことです。ただ PyPy はそれだけじゃないんです。PyPy は動的言語の処理系を作ることもできます。PyPyPy とかも夢じゃないです。動的言語を作ってみたい方は是非 (この辺は勉強中のため後の方々へ丸投げ)！！

>>>> PyPy-ja ってなんなの？
巷では "PyPy 闇の軍団" と呼ばれています。~~あーみんファンクラブです。~~公式ドキュメントの翻訳や PyPy 技術情報の共有等を中心に活動しています。詳細は以下のページを参考にしてください。

PyPy-ja @ Google Groups: メーリングリスト
PyPy-ja @ Google Sites: 活動内容等のまとめ
PyPy-ja @ Lingr: 公開チャット (Skype チャットの方が盛り上がってます)
翻訳リポジトリ: ぜひ！
PyPy Status Blog (日本語訳)
Twitter ハッシュタグ: #pypyja

総帥の @rokujouhitoma さんを中心に盛り上がっております。

@rokujyouhitoma
Tohru Ike pypy闇の軍団の総帥です。こんにちわこんにちわ。
Nov 09 via YoruFukurouFavorite RetweetReply

@rokujyouhitoma
Tohru Ike こわくないよ。全然こわくないよ。 RT @shomah4a: 総帥こわーい [11時18分24秒 JST] Toru Ike(rokujyouhitoma, Tohru Ike): まだビルドしたことないの？( ﾟдﾟ)､ﾍﾟｯ #pypyja
Nov 21 via YoruFukurouFavorite RetweetReply

ご興味ごおありの方は是非コミュニティに参加してください。1 人でも多くの PyPy ユーザが増えるといいなーと思ってます。

PySide チュートリアル - helloworld からユニットテストまで

2011-08-23T15:19:00.001+09:00

ここ 2 ヶ月ほど PySide でお仕事してました。もともと PyQt で動いてたアプリケーションだったのですが、けっこう仕様変更が大きかったこともあり、どうせなので PySide で作り直してみることにしました。両フレームワークの差異はこのページにまとまっています (id:doloopwhile さんが翻訳されています)。大きくは、

モジュール名が PyQt から PySide に
PyQt の API は QString や QVariants 等 Qt が提供する型と、unicode 等 Python のデータ型の両方をサポートしていましたが、PySide では Python のデータ型のみをサポート
画像等のリソースファイルをバイナリに変換したりするツール類の名称がそれぞれ変更
- pyuic4 -> pyside-uic
- pyrcc4 -> pyside-rcc4
- pylupdate4 -> pyside-lupdate

PySide への変更はそんなに問題ではありませんが、まだ開発中ということもあり、pyside-rcc4 にバグがあったり、signal-slot が遅いということもあるようです。この辺りは今後に期待です。

ということで自分の復習 & メモと、PySide がちょっとでも普及すればいいなということで、PySide のチュートリアルを作ってみました。helloworld ということで、ボタンをおしたらテキストボックスに "Hello world" と表示するだけのなんの面白味もないウィジェットと、そのユニットテストを作ってみます。ソースは bitbucket に公開しました。

環境を整える
インストールするもの
- Python
- Python for Windows extensions (Windows ユーザのみ)
- PySide
推奨
- virtualenv - py2exe でフリージング (実行ファイル形式に変換) する際に余計なライブラリが含まれるのを防ぐため
ウィジェットを表示してみる
Python インタプリタから以下のように打つと、ダイアログを表示することができます。
```
import sys
from PySide import QtGui
app = QtGui.QApplication(sys.argv)
dialog = QtGui.QDialog()
dialog.exec_()
```
UI を作る
今回作る helloworld アプリケーションはテキストボックスとボタンのみのウィジェットです。サンプルコードの setup_ui の部分で UI を設定しています。 Qt デザイナと pyside-uic を使う方法もありますが、私は使ったことがないです。。。UI を作っていくポイントを抜粋すると、
- 各ウィジェット (QWidget 及びサブクラス) に、レイアウト (QLayout のサブクラス) を設定する
  - QVBoxLayout: 縦に配列していく
  - QHBoxLayout: 横に配列していく
  - QGridLayout: グリッド状に配列していく
  - 他にも QFormLayout や QStackedLayout 等があります
- 各レイアウトに子供のウィジェットを追加していく
- ウィジェットをネストさせることで、より複雑な UI も表現できます
UI と併せて、クラスのインターフェースも実装します。Python の property を利用してもいいですが、Qt にも QtCore.Property が用意されています。異なる点は、
- 型を明示する
- settar が呼び出された後に signal を送出することができる (Python の property で書いて、setattr 時に emit しちゃってもいいけど・・・)
です。可能であれば、QtCore の Property で実装しちゃいましょう。サンプルコードでは text をプロパティ化しています。変更された際に通知する signal は text_changed として登録しています。
ユニットテストを書く
UI ができたら、ユニットテストを書きます (テストファースト :-)。Qt には QtTest というテスト用のフレームワークが用意されています。PySide では、このページにも記載されているように、Python の unittest モジュールを使ってユニットテストします。Qt はテストも signal-slot ベースです。ウィジェットにある signal が創出され、slot が処理した後に、ウィジェットがどうなっているか。QTest にいくつかの基本的なイベントを発生させるメソッドが用意されています。サンプルコードではボタンをクリックした際のテキストボックスの状態をテストしています。まだ signal-slot を実装していないので、テストは失敗するはず。
イベント (signal-slot) を実装する
ユニットテストを通過できるように signal-slot を実装していきます。signal-slot の書き方は何種類かあります。サンプルコードの setup_events の箇所でイベントをセットアップしています。ここに connect をたくさん書いてもいいですが、子ウィジェットのイベントを再帰的にコネクトする connectSlotsByName を指定するのが好きです。コード量が少なくなるのでこの書き方を多用しています (イベントハンドラの追加をするたびに connect とか書きたくない)。
connectSlotsByName を利用すると、slot メソッドを def on_<object name>_<signal name>(<signal parameters>) という風に書けるようになります。この object name は、各子ウィジェットに対し setObjectname で指定してあげる必要があります。サンプルコードでは、base_layout, lineedit, button すべてにセットしていますが、今回の要件を満たすには button ウィジェットだけセットすればいいです。これでサンプルコードのように on_button_clicked で button の clicked イベントの slot を作成できます。

以上、なんの面白くもないチュートリアルですが、 PySide での開発の流れが少しでも見えたら良いかなーと。

Python で Windows のプリンタスプールを削除する

2011-08-08T20:59:00.000+09:00

Windows XP で印刷をキャンセルしたり、印刷キューに残っている印刷ジョブを削除したりする方法 (KB946737) のメモ

import os
import win32serviceutil

# スプールファイルの保存先
spooled_dir = os.path.join(
        os.environ.get('SYSTEMROOT', r'C:\WINDOWS'),
        'system32', 'spool', 'printers', )
win32serviceutil.StopService('spooler')
for f in os.listdir(spooled_dir):
    os.remove(os.path.join(spooled_dir, f))
win32serviceutil.StartService('spooler')

StopService の後もプロセスがしばらくファイルをつかんじゃって消せない場合もある

dotcloud いいね！環境編

2011-06-26T14:49:00.001+09:00

引き続き dotcloud。環境の私的覚書など。途中 (必要になったら書くかも)。

CPU

Intel(R) Xeon(R) CPU - X5550 @ 2.67GHz * 4　(/proc/cpuinfo)

メモリ

35031888 kB　(/proc/meminfo)

ディスク

Filesystem           1K-blocks      Used Available Use% Mounted on
rootfs               1056888712  66780428 936421464   7% /
none                 1056888712  66780428 936421464   7% /
/dev/sdh1            1056888712  66780428 936421464   7% /home/dotcloud
varrun                    4096        32      4064   1% /var/run
varlock                   1024         0      1024   0% /var/lock
shm                      65536         0     65536   0% /dev/shm

OS

debian 6.0 - squeeze/sid (sid ?!)

Linux version 2.6.38.2-grsec-dotcloud-ec2 (root@ebichu) (gcc version 4.3.2 (Debian 4.3.2-1.1) )

Java

Java(TM) SE Runtime Environment (build 1.6.0_24-b07)

Java HotSpot(TM) 64-Bit Server VM (build 19.1-b02, mixed mode)

Jetty: jetty-6.1.22

Python

Python 2.6.5

ライブラリ (/usr/lib/python2.6/dist-packages)

ANSI
debconf
duplicity
fdpexpect
FSM
pexpect
pxssh
screen

MongoDB

MySQL

Node.js

Perl

PHP

phpinfo

PostgreSQL

Redis

Ruby

SMTP

Solr

dotcloud いいね！jenkins 編

2011-06-26T12:52:00.001+09:00

2012/05/11 更新: こっちの方が簡単

プライベートなコードは github, bitbucket などなどのオンライン VCS にホスティングしてますが、CI もホスティングできないかなーと。そこで dotcloud ですよ！しばらく招待待ちでしたけど、今は普通に signup できるようになってます (beta から cli が結構変わってる...) 。

cli のセットアップとかは本家ドキュメントに載ってるし、いろんなブログに載ってます。ただファイル転送が rsync ベースなので win ユーザは cygwin いれたりちょっとめんどい。speier さんが win 用 cli のインストーラを github に公開されてる (多謝) ので使うといいと思います。でも動かないので、パッチを当ててコンパイルしたのを dropbox 上においてます。speier さんのやつをインストール後、dotcloud.exe を入れ替えてください。マージしていただきました。ありがとうございます。

dotcloud の java サーブレットコンテナは jetty です。jenkins を jetty にデプロイする場合は JENKINS_HOME を設定しないと動きませぬ (参考)。あたりまえですが、dotcloud の /etc/jetty/jetty.xml の書き換えなんてできません。ここをみて、なんとかホームディレクトリを変更しようと web.xml とか書き換えてみたんですけど、 dotcloud 上 (jetty 上?) じゃ動きませんでした。。。なので、jenkins が dotcloud で動作するよう fork しました。/home/dotcloud ってディレクトリがあったら /home/dotcloud/jetty/.jenkins ってのを JENKINS_HOME にするようにしただけです。いちおうここで動かしています (ログインが必要ですｗ)。war は同じく dropbox 上においてますので、使いたい方はぜひ。

インストール方法

プロジェクトディレクトリの作成
```
mkdir <dotjenkins>
```
プロジェクトディレクトリに jenkins.war を入れる
http://<dotjenkins>.dotcloud.com/jenkins ではなく http://<dotjenkins>.dotcloud.com/ でアクセスできるようにしたい場合は ROOT.jar に名前を変えておく (参考)。
dotcloud プロジェクトの作成
```
dotcloud create <dotjenkins>
```
dotcloud.yml (環境設定ファイル) の編集
```
www:
  type: java
```

デプロイ

dotcloud push <dotjenkins> <./path/to/project_dir>

JENKINS_HOME ディレクトリの作成

dotcloud run <dotjenkins>.www -- mkdir jetty

これで CI もホスティングできました。プラグインとかいじれば bitbucket や github ともスムーズに連携できます。これで幸せプライベートコーディングができますｗ

Python 環境構築メモ (2.6 系)

2011-05-31T17:43:00.001+09:00

環境構築

Python 2.6 系 (2.6.6 - 2011-05-31 現在) をインストール
※ Windows の場合
- pywin32 をインストール
- Visual C++ 2008 Express Edition をインストールし、Path に"C:\Program Files\Microsoft Visual Studio 9.0\VC" を追加する

distribute をインストール

# Linux
curl -O http://python-distribute.org/distribute_setup.py
python distribute_setup.py

必要であれば ipython 等共通にしておきたいライブラリをインストール
```
easy_install -U ipython PyReadline
```
参考: ipython と virtualenv を同時に使う方法
virtualenv, virtualenvwrapper をインストール
```
easy_install -U virtualenvwrapper
```
Windows の場合は、 virtualenvwrapper-win を \path\to\Python26\Scripts に保存する
プロジェクト毎のvirtualenv を作成
```
mkvirtualenv <name>
```
プロジェクトに必要なライブラリをインストールする
```
pip install simplejson foo bar ...
```
※ Windows 環境では以下のライブラリはバイナリインストール ?
- mysql-python
- cx_Oracle (4.4.1-9i, 5.1-10g, 5.1-11g)

virtualenvwrapper の利用方法

新規作成
mkvirtualenv <name>
削除
rmvirtualenv <name>
利用
workon <name>
一覧
lsvirtualenv

SVN リポジトリ間で特定ディレクトリの移動

2011-05-06T12:12:00.000+09:00

いつも忘れるのでメモ

svnadmin と svndumpfilter を利用する。

svndumpfilter で dump から特定ディレクトリを抽出

svnadmin dump /path/to/svn/repo | svndumpfilter include /path/to/project/trunk > project.dump

svnadmin で移行先のリポジトリにロード

cat project.dump | sudo svnadmin load /path/to/svn/old

移動元リポジトリの階層は維持される。

10 分で学ぶ Python のチュートリアル

2011-03-05T18:19:00.001+09:00

"Stavros' Stuff" というサイトに掲載されていた "Tutorial - Learn Python in 10 minutes" という記事の妙訳翻訳です。これから Python をはじめたいという方向けです。ちょっと分かりやすいように ? 補足情報も付加しちゃってます。ついでに私が Python を書くときに意識していることも付加しちゃってます。付加情報が間違ってたらごめんなさい ><

プロパティ

Python は強い型付け (strongly typed language)、動的型付け (dynamically typed)、暗黙的型付け (implicitly typed)、大文字小文字を区別 (case sensitive)、オブジェクト指向 (object-oriented) です。

強い型付け言語の特徴: 処理や演算が間違った型の引数を受けとることが出来ない (C 言語とかは弱い型付け)。安全ですね。
動的型付け言語の特徴: 型の検査を実行時に行うことが多い。簡単に言うと、型は変数ではなく値に付けられます。
暗黙型付け言語の特徴: 明示的に指定しなくてもコンパイラが自動的に型変換を判断してくれる

ヘルプ

Python のヘルプは常にインタプリタから利用する事ができます。もし、オブジェクトの動作について調べたい場合は、help(<object>) を呼び出しましょう。また、dir(<object>) でオブジェクトのメソッドや変数等のメンバ一覧を参照したり、<object>.__doc__ でドキュメントを参照するのも便利ですよ。

>>> help(5)
Help on int object:
class int(object)
...

>>> dir(5)
['__abs__', '__add__', ...]

>>> print abs.__doc__
abs(number) -> number

Return the absolute value of the argument.

蛇足ですが、個人的には IPython 使ってます。<object>? <object>?? でドキュメントを含む様々な情報を参照できちゃいます。

構文 (シンタックス)

Python はステートメントの終端文字がなく、ブロックをインデントで指定します。ブロックの始まりにインデントし、終わりにインデントを戻します。コロン (:) で終了するステートメント以下をインデントします。コメントは、1 行ならシャープ # の後に続け、複数行にわたる場合は複数行の文字列 """スパム\nエッグ""" にします。値の割り当て (厳密にはオブジェクトへの名前付け) は等記号 "=" を使い、等価比較は 2 つの等記号 "==" を使います。"+=" や "-=" 演算子で、演算子の右に記載した値でインクリメントやデクリメントすることができます。これは文字列を含む多くの型で利用できます。また、複数の変数を 1 行で定義することができます。

>>> spam = 3
>>> spam
3
>>> spam += 2
>>> spam
5
>>> spam -= 1
>>> spam
4
# 一行のコメント
"""This is a multiline comment.
The following lines concatenate the two strings."""
u"""これは複数行コメントです。
日本語でのコメントはユニコードでコメントする事をお勧めします。
あとで __doc__ とかで文字化けせずに表示したいでしょ :D
下の行では、2 つの文字列を連結しています。"""
>>> egg = "Hello"
>>> egg += " world!"
>>> print egg
Hello world!
# ユニコード文字列だって
>>> ja = u"こんにちわ"
>>> ja += u"世界！"
>>> print ja
こんにちわ世界！
# 1 行で変数の交換だってできちゃいます。
# 値が割り当てられているわけではないので、強い型付けによる制限を受けません。
# 新しいオブジェクトが名前に紐付けられます。
>>> spam, egg = egg, spam
>>> print spam
Hello world!
>>> egg
4

データ型

Python で利用できるデータ構造はリスト (list)、タプル (tuple)、辞書 (dict)、セット (set) (Python 2.5 以前は sets モジュールとして提供) です。リストは一次元配列 (もちろんリスト内にリストを含めることができます)、辞書は連想配列 (もしくはハッシュテーブル)、タプルはイミュータブル (状態を変更することができない) 一次元配列です。Python の配列は型による制限がないため、数値や文字列などをリスト/タプル/辞書/セット内に混在させることができます。すべての配列型で要素のインデックスは 0 から始まります。インデックスに負の数のを指定すると配列の終わりから数えるため、最後の要素のインデックスは -1 となります。関数を変数とすることができます。Python はファーストクラスオブジェクトです。これは渋川先生が翻訳されている "The history of Python" のブログを見ると幸せになれます。

>>> sample = [1, [u"日本語", "list"], ("a", "tuple")]
>>> mylist = ["List item 1", 2, 3.14]
>>> mylist[0] = "List item 1 again"
>>> mylist[-1] = 3.14
>>> mydict = {"Key 1": "Value 1", 2: 3, "pi": 3.14}
>>> mydict["pi"] = 3.15
>>> mytuple = (1, 2, 3)
>>> myfunction = len
>>> print myfunction(mylist)
3

コロン (:) を使って配列内の指定した範囲にアクセスすることができます。インデックスの開始を省略すると最初の要素から、インデックスの終了を省略すると最後の要素までとなります。負のインデックスを指定すると、最後のアイテム (-1 が最後のアイテムのインデックス) から数えます。

どこでどういうデータ型を使うかというのは非常に重要です。各データ型の特徴をしっかり把握しておくと幸せになれます。配列内でユニークにデータを持たせたい場合はセット、順番を保証したいのであればリスト！などなど

>>>  mylist = ["List item 1", 2, 3.14]
>>>  print mylist[:]
['List item 1', 2, 3.1400000000000001]
>>>  print mylist[0:2]
['List item 1', 2]
>>>  print mylist[-3:-1]
['List item 1', 2]
>>>  print mylist[1:]
[2, 3.14]

ちなみに array[:] で配列のシャローコピー ~~ディープコピー~~ ができます。元の配列を保持したまま、配列を操作する時に使います。

文字列

文字列はシングルクォーテーションかダブルクォーテーションの何れかで定義でき、"He said 'Hello'" のようにクォーテーション内で異なるクォーテーションを使用することができます。複数行にまたがる文字列は 3 つのダブルクォーテーション (もしくはシングルクォーテーション) で囲みます。Python はユニコードをサポートしており、u"これはユニコード文字" と定義できます。文字列フォーマット操作は % (モジュロ) 演算子とタプルを使います。各 %s や %d 等が、左から右へタプル内の各アイテムに置き換えられます。タプルの変わりに辞書を使うことも出来ます。

>>> print u"名前: %s\n数字: %d\n少数: %f\n文字列: %s" % (myclass.name, 3, 3.14, 3 * "-")
名前: Poromenos
数字: 3
少数: 3.140000
文字列: ---

multiline = """This is
a multiline
string."""

# WARNING: Watch out for the trailing s in "%(key)s".
>>> print "This %(verb)s a %(noun)s." % {"noun": "test", "verb": "is"}
This is a test.

美しいコードを書くために、複数行にまたがる文字列の 3 つの引用符はダブルクォーテーションを、ログやメッセージなどユーザに表示や通知する文字列もダブルクォーテーションを、その他コード内で利用する設定情報 (URL や DB接続情報等) や定数はシングルクォーテーションを使いましょう。っていうかそう決めておくと、後でコードが追いやすいです。運用する人がログやメッセージを追加、変更したいのであればダブルクォートを追いかける、ロジックや環境が変更した場合はシングルクォートを追いかける、とかできます。また、美しくコードを書くために複数行文字列は非明示的文字列連結を使うというテクニックもありますよ。

フロー制御構文

フロー制御構文は if、for、while です。switch や select はありませんが、if や elif で代用します。

rangelist = range(10)
>>> print rangelist
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

for number in range(10):
    # number がタプル内に含まれているかをチェック
    if number in (3, 4, 7, 9):
        # "break" は "else" に行かずに for を終了します
        break
    else:
        # "continue" は次のループを続けます
        continue
else:
    # "else" は "break" 以外の場合に実行されます
    pass # 何もしない場合は "pass"　と記載

if rangelist[1] == 2:
    print "The second item (lists are 0-based) is 2"
elif rangelist[1] == 3:
    print "The second item (lists are 0-based) is 3"
else:
    print "Dunno"

while rangelist[1] == 1:
    pass

関数

関数は "def" で宣言します。必須の引数の後に、デフォルトの値を指定したオプション引数を宣言することができます。名前付け引数は値を渡す引数の名前を指定する事が出来ます。関数が返したい結果が複数ある場合、タプルを返すと、効率的に 複数の結果をアンパックすることができます。ラムダ関数は 1 行の構文を含むアドホック関数を定義します。パラメータは参照渡しですが、イミュータブル型 (タプル、数値、文字列等) は変更できません。これは引数としてそのオブジェクトのメモリ上の位置を渡しているためであり、それを他のオブジェクトへ結びつけると今までのオブジェクトは破棄され、イミュータブル型のオブジェクトは新しく結びつけられたオブジェクトになってしまいます。イミュータブル型のオブジェクトのうち配列に関しては、上述したシャローコピー (array[:]) で渡してあげると、新たなオブジェクトを作成するので、元の配列 (シャローコピーなので値は参照です) を保持することができます。

# def f(x): return x + 1 と同じこと
functionvar = lambda x: x + 1
>>> print functionvar(1)
2

# an_int と a_string は初期値を持つオプション引数です
# 最初の引数は省略することができません
def passing_example(a_list, an_int=2, a_string="A default string"):
    a_list.append("A new item")
    an_int = 4
    return a_list, an_int, a_string

>>> my_list = [1, 2, 3]
>>> my_int = 10
>>> print passing_example(my_list, my_int)
([1, 2, 3, 'A new item'], 4, "A default string")
>>> my_list
[1, 2, 3, 'A new item']
>>> my_int
10

ちなみにオプション引数と、名前付け引数を混同している？と見受けられる文献をたまに見かけますが、両者はまったく違います。オプション引数は前述の通り、デフォルト値が指定されたオプショナルの引数。名前付け引数というのは、引数の名前を指定して値を渡すことができる機能のことです。

def spam(foo, bar="optional"):
    # foo は必須の引数 
    # bar はオプション引数
    print foo, bar

# オプション引数を指定しない、非名前付け引数呼び出し
spam("mandatory")
# オプション引数を指定した、非名前付け引数呼び出し
spam("mandatory", "optional")
# オプション引数を指定した、名前付け引数呼び出し 1
spam(foo="mandatory", bar="optional")
# オプション引数を指定した、名前付け引数呼び出し 2
# 名前付け引数を使っても、引数の順番は守ろうね！読みにくくなる。
spam(bar="optional", foo="mandatory")

# すべて "mandatory optional" と出力されます

クラス

Python のクラスは、制限付き多重継承をサポートしています。プライベート (厳密にはプライベートではない) 変数やメソッドは、 __spam のように最初に 2 つ以上のアンダーラインがある名前で宣言します。クラスのインスタンスには任意の名前を付けることができます。

class MyClass:
    common = 10
    def __init__(self):
        self.myvariable = 3
    def myfunction(self, arg1, arg2):
        return self.myvariable

>>> classinstance = MyClass()
>>> classinstance.myfunction(1, 2)
3
# 変数 "common" はすべてのクラスに共通するクラス変数
>>> classinstance2 = MyClass()
>>> classinstance.common
10
>>> classinstance2.common
10
# クラス変数の更新は、インスタンスではなくクラス名による操作
>>> MyClass.common = 30
>>> classinstance.common
30
>>> classinstance2.common
30
# クラス変数を更新せずにインスタンス変数のみを更新
>>> classinstance.common = 10
# クラス変数からインスタンス変数へ
>>> classinstance.common
10
>>> classinstance2.common
30
>>> MyClass.common = 50
# "common" はインスタンス変数になっているため変更されない
>>> classinstance.common
10
# "common" はクラス変数のままなので変更される
>>> classinstance2.common
50

# MyClass を継承したクラス
# クラスを多重継承したい場合は以下のように定義する:
# class OtherClass(MyClass1, MyClass2, MyClassN)
class OtherClass(MyClass):
    # 変数 "self" はクラスインスタンスへの参照が自動的に代入される
    def __init__(self, arg1):
        self.myvariable = 3
        print arg1

>>> classinstance = OtherClass("hello")
hello
>>> classinstance.myfunction(1, 2)
3
# このクラスには "test" というメンバ変数を持っていませんが、
# そのインスタンスに対していつでも追加することができます。
>>> classinstance.test = 10
>>> classinstance.test
10

例外

Python の例外は try-except ブロックでハンドリングします。また finally 句で、事後処理をする事ができます。

def spam():
    try:
        # 0 による乗算で例外をスロー
        10 / 0
    except ZeroDivisionError:
        # 例外発生時の処理
        print "Oops, invalid."
    else:
        # 例外が発生しなかった場合の処理
        pass
    finally:
        # 例外発生の有無にかかわらず処理
        print "We're done with that."

>>> spam()
Oops, invalid.
We're done with that.

インポート

外部のライブラリは import <libname> でインポートします。また、from <libname> import <funcname> を使って、ライブラリ内の関数をインポートすることもできます。

import random
from time import clock

randomint = random.randint(1, 100)
>>> print randomint
64

美しいコードを書くために from <libname> import * を多用するのは避けましょう。名前空間が心配になります。あと、なるべく関数ではなくモジュールレベルでインポートしましょう。read とかいう関数とかかぶりそうですよね。それに spam.read や egg.read と書いてあったほうが脳に優しいです。

ファイル入出力

Python には多くの標準ライブラリーが備わっています。例えば、ファイル入出力を使ったシリアライズ (pickle を使ってデータ構造を文字列に変換する) は以下のように書くことができます。

import pickle
mylist = ["This", "is", 4, 13327]
# "C:\binary.dat" を書込権限で開く
# ファイル名の前の "r" は文字列をエスケープしないっていう意味
# "raw string" の "r"
myfile = file(r"C:\binary.dat", "w")
pickle.dump(mylist, myfile)
myfile.close()

myfile = file(r"C:\text.txt", "w")
myfile.write("This is a sample string")
myfile.close()

myfile = file(r"C:\text.txt")
>>> print myfile.read()
'This is a sample string'
myfile.close()

# ファイルを読取権限で開く
myfile = file(r"C:\binary.dat")
loadedlist = pickle.load(myfile)
myfile.close()
>>> print loadedlist
['This', 'is', 4, 13327]

その他

同時に複数のコンディションをチェックできます。1 < n < 3 では n が 1 より大きく、 3 より小さいかどうかをチェックします。
配列からアイテムを削除したい場合は del を使います。

リスト内包表記はリストを生成するための強力な方法を提供します。それは複数の for-in と、if で条件を含める事ができます。

>>> spam = [1, 2, 3]
>>> egg = [3, 4, 5]
>>> print [x * y for x in spam for y in egg]
[3, 4, 5, 6, 8, 10, 9, 12, 15]
>>> print [x for x in spam if 4 > x > 1]
[2, 3]
# "any" でアイテム内に値が真値であるかチェックできます
>>> any([i % 3 for i in [3, 3, 4, 4, 3]])
True
# 4 % 3 が 1 になり、1 は真値であるため、True を返します

# 条件に該当する値の個数を調べたい場合は以下のように書けます
>>> sum(1 for i in [3, 3, 4, 4, 3] if i == 4)
2

# 値の削除
>>> del spam[0]
>>> print spam
[2, 3]
>>> del spam

グローバル変数は関数外に宣言し、特別な宣言をしなくても関数内で参照できます。しかし値を変更したい場合は、関数の最初に "global" の後に変更する変数を記述する必要があります。"global" 宣言しない場合、Python はそれを新しい新しいローカル変数とみなします。
```
number = 5

def spam():
    # 5 と出力します
    print number

def egg():
    # 新しい変数を作る前にその変数を参照しているとみなされ、
    # 例外がスローされます。
    print number
    number = 3

def yetanother():
    global number
    # グローバル変数を書き換える
    number = 3
```

From QuickBuf to DumbBuf

2010-12-24T21:19:00.001+09:00

こんにちは。サーバの標準エディタを emacs にしたあげく vi を emacs のシンボリックリンクにした方とは、それ依頼お話していない vimmer です (嘘。今もっすご興奮しています。1 年ぶりに vimfiles の中身が更新されましたよ！

複数ファイルを同時に編集するときはバッファーを一覧表示したり、簡単に切り替えたりするバッファーマネージャ系プラグインがかかせませぬ。今までは QuickBuf というプラグインを使っていました。ただ、QuickBuf は表示できる行数を計算し、その行数を超えるファイル数を開くと "No room to display buffer list..." っていうエラーが発生する難点がありました。脳内メモリが少なすぎてファイル名が覚えられないし、バッファー内から補完もしたい。args *.py で 50 ファイルぐらい軽く開いちゃう人なのでそれは困る・・・。そこで出会ったのが DumbBuf です！これすごいですよ！！インストール後、QuickBuf 同様、_vimrc に dumbbuf_hotkey を指定します。例) let g:dumbbuf_hotkey=';;' これで快適なバッファーマネジメントができるようになりました。

ホットキーに割り当てたキーマップをタイプすると、バッファーが一覧表示されます。

ここまでは Quick Buf と一緒です。QuickBuf と異なるところは、バッファ内のファイル数が 10 行を超えると、自動的にローテートしてくれます。もちろん j, k で選択行を上下、<c-f>, <c-b> でページ送り/戻しができます。ページ送りだけで、ファイル選択が断然楽になりましたね！

あと、普通に / でファイル名検索もできますよ！

これさえあれば 100 ファイルぐらい開いても、お望みのファイルに一瞬でたどり着けますね！！！痒いところに手が届きすぎです＞＜作者の id:tyru さんありがとうございます！

WSGI on Qt (PyQt or PySide)

2010-12-23T15:11:00.001+09:00

こんにちは、Python 会の。。。思いつきませんでした。初 "Python Web フレームワークアドベントカレンダー2010" に参加させていただくことになりました。よろしくおねがいします。アドベントカレンダー参加者のブログは cielquis.net に綺麗にまとめられていますよ。

ごめんなさい。Web アプリケーションフレームワークの作成なんて 1 日じゃむりぽ＞＜。メインで使ってるフレームワークは、Django か webapp ぐらい。。。最近 dis られてるので、Django 記事書くのもあれだ・・・。

ということで本題です。Python は WSGI (Web Server Gateway Interface) という Web アプリケーションと Web サーバ間の共通インターフェースがあります。そのインターフェースを実装したオブジェクトは、Web アプリケーションとして動作させることができます。ということで、デスクトップアプリケーションを Web アプリケーションにする方法を書きたいと思います。今回は Qt の Python binding な PyQt / PySide で WSGI アプリケーションを作ってみたいと思います。実装は PySide ですが、 PyQt でも動くはずです。

STEP1: PySide で Hello World!

ほんと Web アプリケーションじゃなくて申し訳ないですが、最初に PySide で "Hello World!" を表示します。

import sys

from PySide import QtCore, QtNetwork, QtGui

class QWSGILabel(QtGui.QLabel):
    def __init__(self, text, parent=None):
        super(QWSGILabel, self).__init__(text, parent=parent)

class QHttpWidget(QtGui.QWidget):
    def __init__(self, parent=None):
        super(QHttpWidget, self).__init__(parent=parent)
        self.setLayout(QtGui.QVBoxLayout(self))

        # Create label instance
        qwsgilabel = QWSGILabel("Hello World!", parent=self)
        self.layout().addWidget(qwsgilabel)

if __name__ == '__main__':
    app = QtGui.QApplication(sys.argv)
    window = QHttpWidget()
    window.show()
    sys.exit(app.exec_())

QLabel を単純に継承した QWSGILabel に "Hello World!" と表示しています。実行すると、以下のようなウィンドウが表示されます。

STEP2: WSGI on PySide で Hello World!

STEP1 で作成した QWSGILabel を、さっそく Web アプリケーションにしてみます。

import sys

from wsgiref.util import setup_testing_defaults
from wsgiref import simple_server

from PySide import QtCore, QtNetwork, QtGui

ENCODING = 'utf-8'

class QWSGILabel(QtGui.QLabel):
    def __init__(self, text, parent=None):
        super(QWSGILabel, self).__init__(text, parent=parent)

    def __call__(self, environ, start_response):
        """WSGI Web application interface"""

        setup_testing_defaults(environ)
        start_response('200 OK', [('Content-type', 'text/html'), ])
        return self.text().encode(ENCODING) # Return label text

class QHttpThread(QtCore.QThread):
    u"""Http threads"""

    def __init__(self, wsgi_server, parent=None):
        super(QHttpThread, self).__init__(parent=parent)
        self.wsgi_server = wsgi_server
        self.__is_run = False

    def run(self):
        self.__is_run = True
        while (self.__is_run):
            self.wsgi_server.handle_request()

    def stop(self):
        self.__is_run = False

class QHttpWidget(QtGui.QWidget):
    def __init__(self, host='localhost', port=8000, parent=None):
        super(QHttpWidget, self).__init__(parent=parent)
        self.setLayout(QtGui.QVBoxLayout(self))

        # Create label instance
        qwsgilabel = QWSGILabel("Hello World!", parent=self)
        self.layout().addWidget(qwsgilabel)

        # Create and start WSGI Web server
        wsgi_server = QHttpThread(
                simple_server.make_server(host, port, qwsgilabel), parent=self)
        wsgi_server.start()

if __name__ == '__main__':
    app = QtGui.QApplication(sys.argv)
    window = QHttpWidget()
    window.show()
    sys.exit(app.exec_())

QWSGILabel に __call__ 関数を追加し、ラベルにセットされているテキストを返すシンプルな Web アプリケーションを作成しています。そして、QThread を継承した QHttpThread に Web サーバを登録し、スレッドを開始しています。実行すると、STEP1 と同じウィンドウが起動します。起動中にブラウザからアクセスすると、"Hello World!" が表示されます。

STEP 3: WSGI on PySide でフォーム操作

簡単な GET リクエストが動いたので、簡単なフォーム操作をしてみたいと思います。せっかくなので、WSGI サーバの起動と停止もできるようにして見ました。ソースは長くなっちゃったので bitbucket にのっけました。Qwidget を継承した QWSGIFormWidget に __call__ を追加し、フォームを制御しています。QWSGIFormWidget にテキストインプット (QWSGILineEdit) やセレクトボックス (QWSGIQComboBox) を追加し、REQUEST_METHOD が POST だった時にそれぞれを POST された値で更新 (update(value)) するようになってます。html() と update(value) を追加した QWidget のサブクラスであれば、他のフォーム部品も動くはずです。起動すると以下のように、デスクトップアプリケーションとブラウザ間で通信することができます。

"run" ボタンを押すと Web サーバが起動

ブラウザからアクセス

値を変えて "submit"

一瞬で各値が更新されます

もちょっと時間があれば、html() と update(value) を動的に追加したり、バリデーション実装して WAF っぽくしたかったです。あと、update(value) 時に emmit() を実行したりすると、PySide 側のイベントと連動することができます。予断ですが、Qt には QtNetwork.QTCPServer クラスや QTCPSocket クラスが用意されており、QTCPServer を継承した Web サーバをごりごり書くこともできます (サンプルはこっちの方が多い)。WSGI いいですね！

誰得

さて、明日はいよいよクリスマスイブですね！明日のアドベントカレンダーですが、英語が得意なイケメンアメリカ県民日本人の Google API エキスパートな @IanMLewis 先生から、素敵なクリスマスプレゼントがあると思います。

高級イヤホン

2010-10-23T01:32:00.003+09:00

"NO MUSIC NO LIFE" ですよね。開発のお供に良い音は手放せません。ちなみにいつも聴いているのはラップとレゲトンです。

去年 BOSE の in-ear を買ったのですが、正直ラップとレゲトンに関しては嫁さんが使っている安価な Audio Technica の方が音質が良い気が・・・。そしてクラシックとジャズは BOSE の方が音質が良い気が・・・。ということで、良い音を探す旅に電気屋さんへ。高級イヤホンに関しては、買う前に視聴できる電気屋さんもあるのでお勧めです。今回はラップの音質が一番良いという評価基準で選ぶことにしました。

かたっぱしから視聴した結果、以下のイヤホンにしぼりました。私的な感想ですが、その他のイヤホンは似たり寄ったり (失礼)。なお、あくまでもラップとレゲトンを聴く人向けの評価になっております。

まずスペックから評価。

スペック	BOSE IE2	SONY MDR-EX510SL	Audio Technica ATH-CKS90
スペック
出力音圧レベル	非公開 ?	106dB/mW	106dB/mW
再生周波数帯域	非公開 ?	5-27000Hz	5-25000Hz
最大入力	非公開 ?	200mW	100mW
インピーダンス	非公開 ?	16Ω	16Ω
質量	18.5g	7g	9g
特徴	装着感が良い	不要振動の制振広帯域	圧倒的な重低音遮音性が高い

BOSE は非公開？SONY 圧勝です。まず、再生周波数帯域が広いので音域は広いですが、人間が聞き取れる可聴域は20000Hzと言われています。つぎに最大入力とインピーダンスですが、 iPod のみの使用しか考えていないので気にしません。共通する特徴はチャンバー (耳にさす所の上についてるやつ) が大きいこと。そこで音を増幅するので、大きければ大きいほど低音域がすごい。

実際に聴いてみてからの評価。

BOSE IE2 - 安定。中音域から高音域の表現は一番。音の立体感も素晴らしい。でもやっぱりクラシックを聴くのに最高なイヤホン。クラシックは家のホームオーディオでしか聴かない・・・。
SONY MDR-EX510SL - 忠実。たぶん一番原音に忠実。日本らしい製品。ホームオーディオに負けずと劣らない音質。
Audio Technica ATH-CKS90 - 圧倒。高音域は聴き劣りがあるものの、重低音は他を圧倒。イヤホンでこんなラップが聴けるなんて！ちなみにジャズもこれが 1 番いいと思う。

ということで Audio Technica の ATH-CKS90 にしました。こんな自分にピッタリなイヤホン初めてです。装着感も良いし、もう BOSE の in-ear には戻れませんｗ

Python で Skype にロギングする

2010-09-27T11:21:00.001+09:00

id:moriyoshi さんが "Linux上で動くSkype用のbotを作る方法" というブログを書かれていたので便乗します。会社で Python から Skype へログを出力するためのハンドラーを試験的に使っていました。便利ですが、利用はお勧めしません。理由は最後に書きます。

コードはこんな感じになります。

# -*- coding: utf-8 -*-
# skype_handler.py

from logging import Handler

try:
    import Skype4Py
    skype = Skype4Py.Skype()
except:
    skype = None

if skype and not skype.Client.IsRunning:
    # Skype が起動してなかったら起動する
    skype.Client.Start()

class SkypeHandler(Handler):
    u"""Skype 用ハンドラ

    Args:
        group_name - Skype group name
        encoding - encoding (Default: 'utf-8')

    この例では、ブックマークしたグループに対してログを出力します。
    `get_chat` を変えたら個人に送信できたりします。
    """

    @staticmethod
    def get_chat(group_name):
        u"""指定したグループ名のチャットをブックマークから取得"""

        if skype is None:
            return None

        for chat in skype.BookmarkedChats:
            if chat.FriendlyName == group_name:
                return chat
        return None

    def __init__(self, group_name, encoding='utf-8'):
        u"""Create SkypeHandler Instanse"""

        Handler.__init__(self)
        self.chat = SkypeHandler.get_chat(group_name)
        self.encoding = encoding

    def send(self, record):
        if self.chat is None:
            return

        message = self.format(record)
        if type(message) is not unicode:
            message = unicode(message, self.encoding)
        self.chat.SendMessage(message)

    def emit(self, record):
        try:
            self.send(record)
        except (KeyboardInterrupt, SystemExit):
            raise
        except:
            self.handleError(record)

使い方はこんな感じ。

# -*- coding: utf-8 -*-
# test.py

import logging
import skype_handler

# Skype チャット名 (ブックマークしたやつ)
CHAT_NAME = 'Test'

# ロガー (`my_logger`) を作成
my_logger = logging.getLogger('my_logger')
my_logger.setLevel(logging.DEBUG)

# Skype ハンドラーを作成
handler = skype_handler.SkypeHandler(CHAT_NAME)

# ロガーに Skype ハンドラーを追加
my_logger.addHandler(handler)

my_logger.debug(u"ほげ")

Skype にログがはかれます。時間はリアルタイムだし、ある程度負荷をかけてもちゃんと出力してくれるし、サーバ毎に skype ユーザ変えるとログ管理も簡単だし、、、。

ですが！使わないほうがいいです。最初はさくさく動いてくれてて問題なかったのですが、しばらく使っていると子ノードがいっぱいになったのか、ブラジルとかコートジボアールとかからもっすごい量のパケットを受信し始めちゃいました orz でっネットワークに負荷がかかり "やめろ" とお叱りが・・・。自宅で使ってる分にはなんの問題もでてないですが、会社でやっちゃうとネットワーク管理者に怒られるかも。

是非使ってみてくださいｗ

PySide for Windows

2010-09-04T17:40:00.001+09:00

PySide の Windows 版が公開されました。PySide は Qt (Nokia 製のクロスプラットフォームな GUI ツールキット) の Python binding です。もともと Qt の Python binding は PyQt というのがありました。Qt のライセンスは 4.5 から GPL / LGPL / 商用ライセンス (日本での価格) になったのですが、PyQt のライセンスは GPL / 商用ライセンスとなっています。商用ライセンスで使うためには、けっこう高いお金を払わないといけないです。GPL だと、PyQt を利用するすべてのアプリケーションは GPL にしないといけません。ML で "金を払うから LGPL にしろ！" と言ってる方もいらっしゃいましたね。でもいろいろと難しかったようで、Qt 作者の Nokia さんが LGPL 対応の Python binding をフルスクラッチしたのが PySide です。

さっそく開発している PyQt アプリケーションの branche を切って、PySide 化始めました。これを機に、もっと Qt と Python が流行ればいいと思います。

PySide for Windows な記事

PyQt でクロスプラットフォームなデスクトップアプリケーションを

2010-08-17T20:40:00.001+09:00

ここ何ヶ月かデスクトップアプリケーションにどっぷりな感じです。パッケージングをもっと簡単にしたい！ということで色々と試行錯誤しておりました。linux, mac はいい感じですが、Windows は・・・ py2exe でフリージングのみしかしていませんでした。配布とインストールは自動解凍書庫、アップデート、アンインストールは・・・。そこで今回 (やっと) 覚えたのが Inno Setup や WiX といった Windows 用のパッケージビルダです。備忘録がてら、Python でのパッケージングをまとめてみました。

パッケージングについて

大きく 2 つのフェーズに分かれています。

フリージング: Python バンドルや他の必要なライブラリーを寄せ集め、実行可能形式にまとめます。
Windows と OS X については以下のライブラリでフリージングします。
- Windows 用: py2exe
- OS X 用: py2app
Linux を含むクロスプラットフォームなフリージングができる cx_Freeze というのもあります。
ディストリビューションのビルド
- Windows: Microsoft Windows Installer はアップグレード、アンインストール、トランザクション処理を使った複数パッケージの管理とかの便利機能を持っています。
- - WiX (Wikipedia): MSI 形式でビルドするための MS 製のオープンソースツールです。WXS という XML ファイルを作成し、それを元にビルドします。
  - Inno Setup (日本ドキュメント): Windows インストーラ (Setup.exe) を作成するオープンソースツールです。Delphi で書かれています。
  - NSIS (Wikipedia): 多機能。スクリプト駆動型のWindows用インストールシステム。Mozilla, Google, BitTorrent などにも使われています。
  - 他にもあるかもです。
- OS X: hdiutil: py2app でできた *.app を *.dmg にしてくれるらしいです (使ったことありません)。

クロスプラットフォームな setup.py の書き方

Windows と OS X のフリージングは、py2exe と py2app があるので簡単です。プラットフォーム情報を取得し、各プラットフォームに対してフリージングします。いろんなコードを見ましたが、切り分けるコードは大きく 2 種類ありました。私は簡単なので前者を使っています。

import sys

if sys.platform == 'win32':
    u"""Windows 用のフリージング"""

    import py2exe

    # 処理

if sys.platform == 'darwin':
    u"""OS X 用のフリージング"""

    import py2app

    # 処理

if sys.platform == 'linux2':
    u"""Linux 用のビルド"""

    import subprocess

    u"""
    makeself 等でインストーラを作成するコマンドを実行::
    
        ret = subprocess.Popen("makeself ...")
        ret.wait()
    
    cx_Freeze でもいいと思います。
    """

import platform

if platform.system() in ['Windows', 'Microsoft']:
    u"""Windows 用のフリージング"""

    # 省略

if platform.system() == 'Darwin':
    u"""OS X 用のフリージング"""

    # 省略

if platform.system() == 'Linux':
    u"""Linux 用のビルド"""

    # 省略

Inno Setup によるディストリビューションのビルド

Inno Setup は distutils の拡張モジュールが pypi に提供されています。なので、上記の setup.py にちょっと追加すれば、Windows についてはディストリビューションのビルドがかなりお手軽になります。

環境の構築

Visual C++ (Windows Platform SDK): py2exe にも必要
Inno Setup QuickStart Pack: IStools Script Editor 等のサードパーティアドオンなどが含まれます
innosetup Pythono ライブラリ: Inno Setup 用ライブラリ

setup.py の書き方

PyQt アプリケーションのディレクトリ構成は以下のようにしました。

path/to/project: プロジェクトディレクトリ
- dist: パッケージが保存されるディレクトリ (自動的に作成されます)
- test: PyQt アプリケーションディレクトリ
- - media: アイコンファイルなどのリソースを保存するディレクトリ
  - - test.ico: アイコンファイル
  - main.py: メインスクリプト
- setup.py: パッケージング用スクリプト
- README: アプリケーション概要を記載したファイル (Windows の場合は cp932 に保存)
- LICENSE: ライセンスを記載したファイル (cp932)

#!/usr/bin/env python2.6
# -*- coding: utf-8 -*-

import os
import sys, subprocess
from distutils.core import setup

########################################
# コンパイルオプション設定             #
########################################

# バイナリ名
NAME = u"test"

# バージョン情報
VERSION = "1.0.0"

# 著作権
AUTHOR = "Kosei Kitahara"

# メール
EMAIL = "mail@example.com"

# URL
u"""
AppID を生成するように用いられるため、アプリケーション毎にユニークにする
"""
URL = "http://example.com/test"

# パッケージ 概要
DESCRIPTION = u"テスト用アプリケーション"

# Python バイトコードの最適化オプション (0: None, 1: -O, 2: -OO)
OPTIMIZE = 2

# 圧縮オプション (0: 圧縮しない, 1: 圧縮する)
COMPRESSED = 1

# バンドルオプション (1: 単独, 3: 個別)
BUNDLE_FILES = 3

# 依存ライブラリの解決
INCLUDES = ["sip", "ctypes", ]
EXCLUDES = ["_ssl", "tcl", "tkinter", "Tkconstants", "Tkinter", ]
DLL_EXCLUDES = ["tcl84.dll", "tk84.dll", ]

# ディレクトリ, ファイルなど
BASE_DIR = os.path.abspath(os.path.dirname(__file__))
APPLICATION_DIR = os.path.join(BASE_DIR, "test")
DIST_DIR = os.path.join(BASE_DIR, "dist")

MAIN_SCRIPT_NAME = os.path.join(APPLICATION_DIR, "main.py")
ICON_FILE_NAME = os.path.join(APPLICATION_DIR, "media", "test.ico")
LICENSE_FILE_NAME = os.path.join(BASE_DIR, "LICENSE")

########################################
# ユーティリティ関数                   #
########################################

def get_win32ui_files():
    u"""win32ui 依存 dll の取得"""

    import win32ui
    win32ui_dir = os.path.dirname(win32ui.__file__)
    return [os.path.join(win32ui_dir, i) for i in [
        "mfc90.dll", 
        "mfc90u.dll", 
        "mfcm90.dll", 
        "mfcm90u.dll", 
        "Microsoft.VC90.MFC.manifest", ]]
WIN32UI_MFCFILES = get_win32ui_files()

def get_pyqt4_imageformats_plugin_files():
    u"""PyQt4 の画像コーデック依存 dll の取得"""

    import PyQt4
    pyqt4_dir = os.path.dirname(PyQt4.__file__)
    return [os.path.join(pyqt4_dir, "plugins", "imageformats", i) for i in [
        "qgif4.dll",
        "qico4.dll",
        "qjpeg4.dll",
        "qmng4.dll",
        "qsvg4.dll",
        "qtiff4.dll", ]]
PYQT4_IMAGEFORMATS = get_pyqt4_imageformats_plugin_files()

########################################
# ビルドスクリプト                     #
########################################

# Linux, OS X は省略
if sys.platform == 'win32':
    u"""Windows 用のフリージング"""

    import py2exe, innosetup

    # py2exe, innosetup 共通ビルドオプション
    DATA_FILES = [
            ("Microsoft.VC90.MFC", WIN32UI_MFCFILES), 
            ("imageformats", PYQT4_IMAGEFORMATS), ]
    ICON_RESOURCES = [(1, ICON_FILE_NAME), ]
    PY2EXE_OPTIONS = {
            "includes": INCLUDES,
            "excludes": EXCLUDES,
            "dll_excludes": DLL_EXCLUDES,
            "compressed": COMPRESSED,
            "optimize": OPTIMIZE,
            "bundle_files": BUNDLE_FILES, }

    # innosetup ビルドオプション
    u"""
    'inno_script' は、.iss ファイル名を指定することもできますが、
    デフォルトでも用意されているので、大変便利です。
    """
    INNOSETUP_OPTIONS = {
            "inno_script": innosetup.DEFAULT_ISS, 
            "bundle_vcr": True, 
            "zip": False, }

    setup(
            name=NAME,
            version=VERSION,
            license=LICENSE_FILE_NAME,
            author=AUTHOR,
            author_email=EMAIL,
            description=DESCRIPTION,
            url=URL,
            data_files=DATA_FILES,
            options={
                    "py2exe" : PY2EXE_OPTIONS,
                    "innosetup": INNOSETUP_OPTIONS},
            windows=[{
                    "script" : MAIN_SCRIPT_NAME, 
                    "icon_resources": ICON_RESOURCES}], 
            zipfile="test.lib", )

py2exe の設定を継承してくれるので、大変便利ですね。

パッケージング処理の実行

以下のコマンドを実行すると、パッケージングしてくれます。

python setup.py innosetup

もちろん setup.py py2exeも動作します。innosetup の run メソッドは py2exe を継承しており、dist ディレクトリに作成するライブラリや実行ファイルは py2exe と同様です。それとは別に以下のファイルが作成されます。

Microsoft.VC90.CRT.manifest
distutils.iss: インストーラ作成用 ISS ファイル
test-1.0.0-setup.exe: インストーラファイル。ファイル名は settings.py で設定した [アプリケーション名]-[バージョン]-setup.exe になります。

実行すると Inno Setup Compiler が自動的に起動し、作成した distutils.iss ファイルを元にインストーラーが作成されます。途中でエラーが出たら、innosetup.py を修正し、出力する ISS ファイルを変更しましょうｗ

ちなみに、私の環境では以下を修正しました。

218c218
<             return win32api.LoadResource(handle, restype, name).decode('utf_8')
---
>             return win32api.LoadResource(handle, restype, name).decode('utf-8')
525c525
<             iss_metadata['MinVersion'] = '5.0,4.0'
---
>             iss_metadata['MinVersion'] = '0,5.0'
546c546
<             fp.write('%s=%s\n' % (k, iss_metadata[k], ))
---
>             fp.write(unicode('%s=%s\n' % (k, iss_metadata[k], )).encode("utf-8"))
779c779
<             fp.write('#define %s "%s"\n' % (k, consts[k], ))
---
>             fp.write(unicode('#define %s "%s"\n' % (k, consts[k], )).encode("utf-8"))

これでデスクトップアプリケーションの配布がかなり楽になりましたよ！ユニコードインストーラなどについてはもうちょっと調べる必要がありますね・・・。

追記 (2010-08-18)

試してないですが、bdist_nsi という NSS I 用の distutils 拡張モジュールが pypi に登録されていました。ソースを見ると、Python 3 にも対応しており (Python 2 は 3 へ変換)、py2exe は使ってないようですね。これはよさげ！

PyQt を py2exe でフリージング

2010-08-09T17:32:00.001+09:00

標準的なフリージング

# setup.py

import py2exe
from distutils.core import setup

py2exe_options = {
    "compressed": 1,　# 圧縮する
    "optimize": 2,
    "bundle_files": 3,
    "includes" : ["sip",]
}
setup(
    options={"py2exe" : py2exe_options},
    windows=[{"script" : "main.py"}], # PyQt ファイル
    zipfile="[zipped.lib　ファイル名]",
)

私の環境 (XP, Py2.6.4) では、 py2exe_options の bundle_files は 3 (分割ファイル) じゃないと動作しませんでした。

jpeg や gif 等の画像を取り扱う場合

PyQt は bmp や png 以外の画像形式を標準でサポートしていません。その他のフォーマットはプラグインとして提供されています。プラグイン (dll) をフリージングしたファイル配下のディレクトリーに保存する必要があります。

# setup.py

import os
import py2exe
from distutils.core import setup

# 任意のフォーマットの dll を追加。特にアイコンは必要かも
IMAGELIB_DIR = r"C:\path\to\python\Lib\site-packages\PyQt4\plugins\imageformats"
imgfiles = [os.path.join(IMAGELIB_DIR, i) for i in [
    "qgif4.dll",
    "qico4.dll",
    "qjpeg4.dll",
    "qmng4.dll",
    "qsvg4.dll",
    "qtiff4.dll",]]

data_files = [
    ("imageformats", imgfiles), 
]

py2exe_options = {
    "compressed": 1,
    "optimize": 2,
    "bundle_files": 3,
    "includes" : ["sip",]
}

setup(
    data_files = data_files,
    options={"py2exe" : py2exe_options},
    windows=[{"script" : "main.py"}], # PyQt ファイル
    zipfile="[zipped.lib　ファイル名]",
)

win32ui を利用する場合

MFC (Microsoft Foundation Classes) の dll が必要 (本家ドキュメント)。

# setup.py

import os
import py2exe
from distutils.core import setup

WIN32UI_DIR = r"C:\path\to\python\Lib\site-packages\pythonwin"
mfcfiles = [os.path.join(WIN32UI_DIR, i) for i in [
    "mfc90.dll", 
    "mfc90u.dll", 
    "mfcm90.dll", 
    "mfcm90u.dll", 
    "Microsoft.VC90.MFC.manifest"]]

IMAGELIB_DIR = r"C:\path\to\python\Lib\site-packages\PyQt4\plugins\imageformats"
imgfiles = [os.path.join(IMAGELIB_DIR, i) for i in [
    "qgif4.dll",
    "qico4.dll",
    "qjpeg4.dll",
    "qmng4.dll",
    "qsvg4.dll",
    "qtiff4.dll",]]

data_files = [
    ("Microsoft.VC90.MFC", mfcfiles), 
    ("imageformats", imgfiles), 
]

py2exe_options = {
    "compressed": 1,
    "optimize": 2,
    "bundle_files": 3,
    "includes" : ["sip",　"ctypes",] # ctypes を利用している場合は追加する
}

setup(
    data_files = data_files,
    options={"py2exe" : py2exe_options},
    windows=[{"script" : "main.py"}], # PyQt ファイル
    zipfile="[zipped.lib　ファイル名]",
)

py2exe は利用しないライブラリーなども取り込まれるらしく、ちょっとファイルが大きくなってしまいます。私の環境では簡単なウィジェットでも 11 M ぐらいになりました。