ナンクル力学系

興奮・抑制均衡入門 (理論神経科学チュートリアル) のα版を公開します

2015-05-15T00:00:00+00:00

興奮・抑制均衡入門 (理論神経科学チュートリアル) のα版を公開します

まえがきに

理工学系の学部三年生くらいから読める, 理論神経科学のトピックの紹介を目指して書いています. 生物・神経科学や大学院レベルの数学・物理の知識は前提としない予定です.

って書いてますがあくまで予定です… 今のところまだちゃんと用語の解説をしていなかったりするので, 理論神経科学の基本的な知識が無いと常にググり続けないと読めないかもしれません.

内容は, ほぼ van Vreeswijk & Sompolinsky (1998) “Chaotic balanced state in a model of cortical circuits” の解説です. 論文に書いてない部分を埋めたり, タイポを修正したり, ロジックを再構成して分かりやすくしたり (※個人的な意見です), 基礎的な部分も付録で導いたりしています. 技術的には漸近解析, マスター方程式, 平均場近似の応用例をまとめて学べる素材 (になり得るん) じゃないかと思います (この辺, 物理学科の外に居ると学ぶのに苦労するのでは?).

まだまだ書いてない部分も多いですが, それが埋まったら興奮・抑制均衡の最近の発展も紹介したいです. 例えば Renart et al. (2010) “The asynchronous state in cortical circuits” とか Roxin et al. (2011) “On the Distribution of Firing Rates in Networks of Cortical Neurons” とか. ただ, いつ書けるかも分からないのでこの方面に興味があれば Wolf et al. (2014) の素晴らしいレビューから始めるのをおすすめします. まだチュートリアルでは書けていない, 実験やシミュレーションとの関係も載っています.

このチュートリアル書いてみて実はあやふやだったり間違って理解したりしていた部分が分かって来たので, やっぱりロジックを自分の言葉で再構成するまでは理解したとは言えないのだなあと再確認しました. あと, 用語を日本語に翻訳するのって難しい. なんど英語で書けば良かったと思ったことか…

matplotlib を Flask から使う方法

2011-10-19T00:00:00+00:00

matplotlib を Flask から使う方法

この辺を参考にしたら簡単にできました:

コード:

/image.png に直接アクセスすると画像が表示されるかわりにダウンロードされてしまうんだけど、なんでだろう。 Google chrome でも Firefox でもそうなってしまった。

簡単に画像がブラウザから見られるのは良いんだけど、プロファイルとってみると savefig に結構な時間を食われてしまっていたので、頻繁にグラフを書き換えるような場合はキャッシュディレクトリ作って普通に画像をファイルとして吐くのが良いと思う。

本当は Cache System を使えれば良いんだろうけど、 SimpleCache は pickle 可能なやつしかキャッシュできないらしい…

ENP DAYS 1日目 - PhDコースが始まりました

2011-09-07T00:00:00+00:00

ENP DAYS 1日目 - PhDコースが始まりました

昨日書くつもりだけど書けなかったのでブログの日付を手動で設定しつつ簡単に書いておこう。

ENP (Ecole des Neurosciences de Paris-Ile de France ) って所で神経科学の PhDコースやります。
入学式とか無いので何をもってPhDコースの始まりとするのか謎だけど、初めのほうにある行事がこれなのできっともう始まっているんだろう。
PhDコースと言いつつ、6ヶ月の lab rotation をしてから大学院に入学なので、まだ謎の身分ですw
6ヶ月だと思っていたら、ガイダンスのあとに同期のやつがシステムが謎だ、もしかしたら1年 lab rotation やるんじゃないのか、とか言ってて、早くも混乱してきたw ただ、2012年からシステム変えるよとか言う話がガイダンスであったのでこいつはそれとごっちゃにしたんじゃないかという気もしてきた。 2日目にちゃんと聞いておこうw
ENP DAYS はこのPhDコースに居る生徒とラボのPIたちが集まる行事。
1日目は lab rotation を終えた人たちとPhDコースが終了間近な人たちのプレゼンがあった。
PhDコース終わるころにはこのくらい年をとるんだなと分かり易いw
computational なやつと統計的なツールを駆使して解析する感じのやつはまあまあ分かるんだけど、分子レベル/遺伝子レベルまでくる基礎的なやつ(大半がこれだった)はちょっとというか全然わからなくて勉強不足を再認識してもうヤバい。
1日目はオフィシャルな行事のあと、生徒会?(って書くと高校生みたいだ) を決めるよーという PhD student だけの集まりがあってなんか盛り上がってておもしろかった。

hg out で待たされるのが苦痛なのでローカルにキャッシュしてくれる Mercurial 拡張を書いた

2011-09-06T00:00:00+00:00

hg out で待たされるのが苦痛なのでローカルにキャッシュしてくれる Mercurial 拡張を書いた

`hg out` の不満点

Git より Mercurial のほうが好きだけど、 Git のほうが勝っていると感じる点は、この git status の出力。

% git status
# On branch master
# Your branch is ahead of 'origin/master' by 1 commit.
#
nothing to commit (working directory clean)

この出力を見れば、 push する必要があるかどうか一目瞭然で素晴らしい。しかもこれ、今まで何を push したかローカルリポジトリが覚えているらしく、 origin/master にアクセスせずにこの出力を返してくれる。

Mercurial で同じ事をするには hg out を使うんだけど、これは行き先のリポジトリにアクセスしているっぽいので非常にまたされる。確かにそのほうが正確な結果が分かるかもしれないけど、てっとり早く答えが知りたいときもあるじゃん!! という訳で書いた。

インストール/使い方

tkf / hgcachedoutgoing / overview — Bitbucket から cout.py をダウンロードして、

[extensions]
cout = /path/to/cout.py

を ~/.hgrc に追加すると使えるはず。

適当なリポジトリに行って

hg cout

と打つと、 push しなければいけない change set があるかどうか教えてくれる。デフォルトの path がどこかのリモートマシーンの場合、一度目はそこにアクセスするので遅いけど、二度目からはキャッシュを使うので、一瞬で結果が出るはず。 hg push する度にキャッシュを更新する hook を勝手に加える仕様なので、一人で使うようのリポジトリとかだとほぼ hg out の代わりに使えるんじゃないでしょうか。

初めての Mercurial 拡張なのと、リポジトリを見れば分かるけどテストが皆無なのでバグが結構あるはず。

参考:

おまけ

以下のコードを適当な名前で保存して Mercurial リポジトリ内で実行すると、 Mercurial をハックするのに必要なモジュールをインポートしつつ、 Mercurial リポジトリのインスタンス(コマンド関数に与えられる引数) もロードしてくれた状態で ipython が始まるのですこぶる便利。

Mercurialに限らず、スクリプトから ipython を実行するのっていろいろと応用ききそう。

import IPython

def get_ns(path='.'):
    import mercurial.hg as hg
    import mercurial.ui
    ui = mercurial.ui.ui()
    repo = hg.repository(ui, path=path)
    return {
        'hg': hg,
        'ui': ui,
        'repo': repo,
        }

embedshell = IPython.Shell.IPShellEmbed()
embedshell(local_ns=get_ns())

参考: How to embed an IPython shell in your application | Oh Brave New World!

単純固有値ってなんだっけ

2011-09-05T00:00:00+00:00

単純固有値ってなんだっけ

最近とある文献を読んでいたら 単純固有値 という言葉が出てきて、「ああ縮退してない固有値って意味なんだろうな」と思いつつ、そして文脈からもそれっぽいんだけど、不安なのでちょっとググってみた。

Online Applied Analysis with MATHEMATICA :

得られた固有値が互いに異なることを確認せよ．即ち，固有値は 単純固有値 しかない．

非対称行列の左固有ベクトルと右固有ベクトルの直交性について - Yahoo!知恵袋 :

a) 固有値が半単純な場合（重複度と同じだけ固有ベクトルが採れる場合） […] b) 固有値が単純でも半単純でもない場合（重複度と同じだけ固有ベクトルが採れない場合）

固有値についてーページランクベクトルとペロン・フロベニウスの定理 :

一般に、ペロン・フロベニウスの定理は、次の内容とされています。非負の行列Ａが、既約であれば、 […] ② 絶対値最大の固有値は、Ａの固有方程式の単純根である。（ｒは、 単純固有値 である。）

あんまり情報ねぇ… 「○○の時、固有値が単純だといいます」的な定義がどこかに載っていることを期待していたのに。ググってすぐ情報が出てこないとちょっとずつ不安になってくる。 ←情報化社会の弊害。

英語訳は単純 = simple であってるよな? と思って調べたけど、これまた情報が少ない。一応、

J-GLOBAL - Analysis of dynamica・・・【文献】 :

Analysis of dynamical bifurcations in the case of nonsimple eigenvalues. […] 固有値が 単純でない 場合の動的２分岐の解析

というのを見つけたので多分当たっている。

“simple eigenvalue” の定義は簡単に見つかった:

Pauls Online Notes : Linear Algebra - Eigenvalues and Eigenvectors :

Definition 3: Suppose $A$ is an $n \times n$ matrix and that $\lambda_1, \lambda_2, …, \lambda_n$ is the complete list of all the eigenvalues of $A$ including repeats. If $\lambda$ occurs exactly once in this list then we call a simple eigenvalue. If $\lambda$ occurs $k \ge 2$ times in the list we say that has multiplicity of $k$.

… という訳で、 単純固有値 = simple eigenvalue = 縮退していない固有値 でOKな模様。

追記。 他の呼び方についても知ってるだけ書いてみるか。 単純ではない、と同様の表現は、退化、重解、重根、 (代数的)重複度が2以上。 “重複している” みたいな表現も、もしかしたらあるのかも。

~~洋書で勉強してると、たまーに日本語の文献読んだ時に用語分からなくてつれーわー~~

嘘ですぅぅぅぅ勉強不足ですぅぅぅひぃぃぃぃ。

Networks of the Brain (Sporns) が面白い。神経科学またはネットワーク理論好きな人にお勧め。

2011-08-31T00:00:00+00:00

Networks of the Brain (Sporns) が面白い。神経科学またはネットワーク理論好きな人にお勧め。

Networks of the Brain (Sporns)

次はちょっとネットワーク理論あたりを触れておきたいと思っていたら David Ball - Google+ - If you like Graph Theory and Neuroscience… なるページで紹介されていた、 Networks of the Brain (Sporns) という面白そうな本を発見した。初めの3章読んだけどなかなか良い感じ。

Google+のリンクにもある通り、約1時間のポッドキャスト (Brain Networks with Olaf Sporns (BSP 74) - Home - Brain Science Podcast ) で著者へのインタビューが聴ける。 Transcript もあるのが素晴らしい。この本の要約になっているので、まずはこれを聴いてみると良いかも。

インタビューで面白かった点は、

脳のネットワークは著者の知る限り Small-world 構造になっていて、モジュラー性と機能の統合を兼ね備えている。 (これ、あんまり不思議は無いと思うけど定量的に分かってきたというのは大きいはず。)
脳の3次元構造が大切。ランダムなネットワークだとそもそも頭蓋骨に収まりきらない。数キロの大きさになってしまう。これがネットワークのトポロジーを決定していて、もしかしたらこの拘束から自然に Small-world になっているのかも。
diffusion imaging のデータを解析していたら高密度の connection がある領域(medial parietal cortex 内らしい)を発見した。この領域は休息状態でも代謝が活発に行われていることなどが知られていて、著者はここに大きなハブがあるのではと考えているらしい。

などなど。あとは、 degeneracy が functional homeostasis だと言ってた部分も面白かったけど、これが脳のネットワーク理論とどう関係してるのかはちょっと分からなかった。

Amazon.com のページを見ていたら、

“In Networks of the Brain, Olaf Sporns synthesizes two of the most exciting topics in science today and links the latest breakthroughs to their deep historical roots. A graceful, authoritative, and fascinating book.” Steven Strogatz, Schurman Professor of Applied Mathematics, Cornell University, and author of Sync

… とあって、Strogatz氏(Small-world network の提唱者の一人。著書の SYNC は日本語訳もあって有名。) もお気に入りみたいだ。

著者曰く、数式なしでイメージが沸くように解説した、というのが若干不満だけど(数式あるほうがイメージ沸くじゃん!!)、概観するにはいい感じの本だろうと思うのでまったりと読んでいくつもり。

8月は少し広めに勉強していたので読んだ本をまとめる

2011-08-31T00:00:00+00:00

8月は少し広めに勉強していたので読んだ本をまとめる

ラボが夏休みに入ると自分のペースでがっつり勉強しても良いんじゃないか、という気になり色々と手を広げてみました。

Thermodynamics of Chaotic Systems: An Introduction (Beck & Schlögl)

詳しくは SRB測度と自然不変測度の関係を初等的な数学で(略) にも書いた。カオスの熱力学 (勉強中) でこの本を参考にしてオレオレ議論を進めた部分をまとめた。

Statistical Physics of Spin Glasses Information Processing (Nishimori)

この本は、ラボの理論系セミナーで出てきた replica trick (レプリカ法 - 機械学習の「朱鷺の杜Wiki」 ← 分野は違うけどやってることは同じ) がその時はよく分からなくて悔しかったので、3章まで読んだ。まあまあエグい(面倒だけどやれば出来る)計算が多くて楽しかったw。 ↑のリンクにもあるけど、自然数に成り立つからと言って $ n \to 0 $ の計算に使っちゃう物理なノリが大好きです(ぉぃ)。

本当は、後の方の章にある perceptron の記憶容量なんかが専門に近い (と言えば近い)部分なんだけど、まあノリ分かったし、必要な時にやればいいや。

Introduction to Lebesgue Integration (WWL Chen)

これは、ここから手に入る online book。

あれ。なんでこれ読んだんだっけ? あ、そうだ。

↑の Beck & Schlögl で良く分からない箇所があるけど、 Equilibrium States and the Ergodic Theory of Anosov Diffeomorphisms (Bowen) 読めば分かりそうだ:
数学が激しすぎるな… weak-* topology てなんぞー。
お、ラボにあった Functional Analysis (Reed & Simon) に weak-* topology 載ってるから、こいつで勉強しよう。
Preliminaries が読めない><! Lebesgue 積分の説明があっさりしすぎてて、昔ちょっとやったはずなのに思い出せない。ちょっとやっただけじゃダメだったか…

…って流れだったな。

この本、恐ろしく平易に書かれているのですぐに読めるのですごくお勧め。ただし、メジャーな測度論から Lebesgue 積分に入る方法ではなく、積分から測度に入っていく方法をとっているので、他の解析学の本とセットで使おうとすると相性が悪い。 って読んだ後に気づいた（笑）。

この講義ノート (ルベーグ積分速講 (山上滋) ) が多分同じスタンスで、こんなことが書いてある:

翻って、もうひとつの方向性である「積分から測度」ですが、 […] 「積分の計算・評価が効率的かつ安全にできれば、測度論はあってもなくても良い」といった利用者には、福音となり得るものでしょう。

脱線: 関数解析とか実解析あたり、知ってたほうが良いんだろうか

… というのが最近の悩みだったりする。上の Bowen 本が読めなかったのもそうだし、去年は遅延微分方程式の解析の論文を読もうとして結構苦労したし。ただ、このあたりの数学に強くなったからと言って、どれほど神経科学におけるモデリング能力が上がるのかは結構謎なんだよなあ。必要な論文が読めないのは困るけど、去年は上手く回避出来たし。ただ、これからもし必要になるんだったら PhD の初期で知ってたほうが絶対に良いよな…。

Screencasts on Functional Analysis | Explaining mathematics にある、 screencasts をみながらちょくちょく勉強するのも面白いんじゃないかと考えたりもしている。

Real analysis (Royden)

この本は3章くらいピックアップして読んで、 Bowen 本に挑戦しようと思ったけど芋づる式に分からない所が出てきて前の方の章に引き戻されていくので、危険を察して今は読まないことにしたw

多分、この本を読んでるあたりで SRB測度と自然不変測度の関係を初等的な数学で(略) にある初等的な方法を思いついたので、今は良いか、という気分になったのだと思われる。ただ、↑に書いた、実解析どうしようかなーという悩みがあるし、読もうかな…読みたいな…しかし時間が…。

確率と確率過程の基礎 (森真)

決定論的な系はまあまあ勉強していたけど確率過程は苦手だった (しかも理論神経科学はどっちもよく使う!) のでざっくり読めそうなこの本で勉強した。

こんなこと

これ読み終わった。確率過程は無勉強だったけど、物理で使える程度には分かったかな。最後のほうの章は、数式にミスが増えてきて、「ああ、書いてて疲れちゃったんだな」とか思いながら読んでた。 > 確率と確率過程の基礎: 森真: 本 http://amzn.to/pWq4yf — Twitter / @tkf

…や、こんなこと

エルゴード定理の証明が雑過ぎて読めなかったので、これに挑戦したけど2ページ目でダメだったw > [math/0608251] Easy and nearly simultaneous proofs of the Ergodic … http://bit.ly/n8GurI — Twitter / @tkf

なんであれ全部自明なんだよ！みたいな。 — Twitter / @tkf

…を考えながら読んでた。

ちなみに、エルゴード定理の証明は Probability and Stochastic Processes with Applications (Oliver Knil) (←PDF) を読んだらまあまあ理解できた。まあまあなのは、いくつか理解出来ない部分があったのと、書いてあることが理解出来ないから自分で別ルート見つけたけどこれはあってるか自信ないぞ、という部分があったということ。この辺の基礎的な数理物理っぽい部分はあんまりありがたみが今は理解出来ないので、またふらりと気になった時までお預けということで。

しかし、確率過程勉強してても気になる部分は力学系関連だというw

おまけ

Probabilistic aspects of entropy (Hans-Otto Georgii) にあった、ノイマンがシャノンにしたエントロピーに関するエピソード:

When Shannon had invented his quantity and consulted von Neumann how to call it, von Neumann replied: “Call it entropy. It is already in use under that name and besides, it will give you a great edge in debates because nobody knows what entropy is anyway.”

に感動した。 Maxwell’s Demon: Entropy, Information, Computing (H. S. Leff)

からの孫引きです。

CA certificate が invalid だと Mercurial に怒られたけど、実は google code がリポジトリのリンクを変えていたのが原因だった。

2011-08-30T00:00:00+00:00

CA certificate が invalid だと Mercurial に怒られたけど、実は google code がリポジトリのリンクを変えていたのが原因だった。

Mercurial には subrepository といって、リポジトリをどんどんネストしていく便利な機能があるんだけどそれ関連でハマったことのメモ。

ついさっき、 google code に置いてあるリポジトリを subrepository として持っているリポジトリで hg push とやると、

pushing subrepo XXX to https://XXX.googlecode.com/hg
abort: invalid certificate for XXX with fingerprint XX:XX:...(略)

と怒られてしまう問題に遭遇。

CA certificate 関連だと、この辺

…を参考にすれば解決するかな、と思って

hg push --insecure
hg push --config web.cacerts=
hg push --config web.cacerts=/etc/ssl/certs/ca-certificates.crt

とかを色々試していたけど上手くいかない。

これ、実は google code の URL が

https://XXX.googlecode.com/hg

から

https://code.google.com/p/XXX/

に変わっていたのが原因。なので、 .hgsub の

XXX = https://XXX.googlecode.com/hg

の行を

XXX = https://code.google.com/p/XXX/

に変更すればOK!

なんて分かりにくいエラーメッセージなんだ… そして google code はいつの間に URL 変わったんだ…

という訳で、 CA certificate 関連で怒られていると思いきや、 URL が変わっているだけ、ってことがあるので気をつけたいですね!!

SRB測度と自然不変測度の関係を初等的な数学で導けたのでカオスの熱力学の勉強中ノートを公開してみる

2011-08-23T00:00:00+00:00

SRB測度と自然不変測度の関係を初等的な数学で導けたのでカオスの熱力学の勉強中ノートを公開してみる

[ ][http://www.amazon.co.jp/gp/product/0521484510?ie=UTF8&tag=toshouldeofgi-22&linkCode=as2&camp=247&creative=7399&creativeASIN=0521484510]

カオスの熱力学 (勉強中) にて絶賛公開中。

Beck & Schlögl の Thermodynamics of Chaotic Systems: An Introduction に出会ってから早くも二年 (早い!)。自分のやってる研究に関係無いこともあってなかなか気合を入れて読む機会が無かったのだけど、ラボが夏休みに入って良い機会だし、と思ってここ二週間くらいでちょくちょく読んでみた。

この本、現代数学に疎くてもカオスについてかなり学べるし、(統計)熱力学的な方法をちゃんと勉強したこと無いからどこかでやらないとなーと思っていた自分には、一石二鳥の本だった。

ただ、この本の19章の議論の結構骨になっている部分で、「論文の結果を載せて終わり」になっている部分があり、議論が完結していなくてとてもむずむずしていてしょうがなかった。仕方ないなーちょっと数学やりなおしてから再挑戦かなーと思いつつ、最後の頼みの綱の前ラボの数学者の方にお伺いのメールを送ってやりとりをしていたところ、自己解決してしまった。忙しいのにいっぱいメールしてすいません＞＜!（ぉぃ。やっぱり最初にクマさんぬいぐるみメソッドを使うべきだったか…。

問題だった部分は Gibbs 測度と Perron-Frobenius 演算子との関係と、 SRB 測度と自然不変測度の関係。リンク先に、これらの関係を初等的な数学で導く方法を書いています。数学やってる人からだと怒られそうだけど、これくらい感覚的に分かっていないと納得出来ないんだよなあ。

実験データの整理用 wiki NEOrg v0.0.1 をリリースしました

2011-06-03T00:00:00+00:00

実験データの整理用 wiki NEOrg v0.0.1 をリリースしました

[ ][http://www.flickr.com/photos/arataka/5792936436/]

Python Package Index : neorg からインストール出来ます。まだまだかなりバギーなアルファ版ですが、私が使ってる限りバグは減っていく(はず)です。

NEOrg (Numerical Simulation Organizer) は reStructuredText で書ける wiki です。 (reStructuredText については reStructuredText - Wikipedia を見てください。 Sphinx のマークアップに使われてることで有名です。)

reStructuredText にはディレクティブという特殊なマークアップがあります。こんな感じです。

.. directive-name:: argument(s)
   :option: parameter
   :another_option: another_parameter

NEOrg は reStructuredText の基本的なディレクティブ以外に特別なディレクティブを定義することで、実験データを効率的に整理出来るようにしました。

サンプルに使ったなんちゃって実験データ

リサージュ曲線の x 軸周期, y 軸周期, 位相差を変えたグラフとそのグラフを書くために使ったパラメタが

lissajous/
 |-- period_x_0.20_period_y_0.20_phase_0.10/
 |   |-- data.yml
 |   `-- fig.png
 |-- period_x_0.20_period_y_0.20_phase_0.15/
 |   |-- data.yml
 |   `-- fig.png
 ...

というディレクトリ構成で保存されています。

パラメタに沿って結果のグラフを並べる - `grid-images`

grid-images ディレクティブを使えばパラメタに沿って実験結果の画像を並べることが出来ます。

[ ][http://www.flickr.com/photos/arataka/5792371931/]

この表は、こんなふうに grid-images ディレクティブを使って出力しました。

.. grid-images:: *_phase_0.25/*.yml
   :base: lissajous
   :image: fig.png
   :param: period_x period_y

データを保存しているディレクトリから lissajous/*_phase_0.25/*.yml にマッチするファイルを選んできて、 period_x と period_y を使ってソートし、同じディレクトリにある fig.png を表示しています。

ちなみに、パラメタは3種類以上選ぶことも可能で、こんな感じで入れ子になった表として表示されます:

[ ][http://www.flickr.com/photos/arataka/5792371793/]

ソース:

.. grid-images:: */*.yml
   :base: lissajous
   :image: fig.png
   :param: period_x period_y phase

(一番右の入れ子になった表が少し小さくなってしまうのは CSS どこかでミスってるからですね。どこだろう…)

結果のグラフとデータを一緒に並べる - `table-data-and-image`

実験に使ったパラメタと結果を一緒に見たい時ってありますよね。そういう時に使うディレクティブです。

[ ][http://www.flickr.com/photos/arataka/5792372055/]

ソース:

.. table-data-and-image:: *_period_y_0.20_phase_0.25/*.yml
   :base: lissajous
   :image: fig.png
   :data: *
   :sort: period_x
   :image-width: 0:150px
   :widths: 6 1
   :link: %(relpath)s

データを保存しているディレクトリから lissajous/*_period_y_0.20_phase_0.25/*.yml にマッチするファイルを探してきて、全てのデータを表示し(:data: *)、同時に同ディレクトリ下にある fig.png というファイルを表示しています。

データファイルの差分を表示する - `dictdiff`

実験したのは良いけどどのパラメタを変えたんだっけ、って場合がありますよね。そういう時に一発で分かるように差分のみを出力するディレクティブです。

[ ][http://www.flickr.com/photos/arataka/5792371655/]

ソース:

.. dictdiff:: *_phase_0.25/*.yml
   :base: lissajous
   :sort: phase_x phase_y
   :exclude: datadir

データファイルを保存しているディレクトリから lissajous/*_phase_0.25/*.yml にマッチするファイルを探してきて、 datadir 以外のキーで異なる値を持つデータを、 phase_x と phase_y でソートして表示しています。

テンプレートページ

ディレクティブ以外の NEOrg の重要な機能にテンプレートページがあります。テンプレートページとはそのURLに _temp_ を含むページです。例えば、

/my/page/_temp_/

はテンプレートページで、

/my/page/2011-06-03-094741/

という URL でアクセスすると、自動的に /my/page/_temp_/ が呼び出されて新しいページが動的に生成されます。生成されたページは、例えばこんな感じになります:

[ ][http://www.flickr.com/photos/arataka/5792376775/]

このページは、 lissajous/period_x_0.50_period_y_0.20_phase_0.25/ にアクセスした時にテンプレートページ lissajous/_temp_/ から生成されました。テンプレートページの中身は以下です。

Result of ``{{ args[0] }}``
==============================================================

.. table-data:: /*.yml
   :data: *
   :trans:

.. find-images:: *.png
   :base: {{ path }}

ソース中にある {{ args[0] }} と {{ path }} は、ページが生成される時に

{{ args[0] }} --> period_x_0.50_period_y_0.20_phase_0.25
{{ path }}    --> lissajous/period_x_0.50_period_y_0.20_phase_0.25/

のように置換され、上のようなページが表示されます。

Sphinx/Docutils で表計算をするための拡張 reStructuredSpreadsheet を書きました

2011-05-17T00:00:00+00:00

Sphinx/Docutils で表計算をするための拡張 reStructuredSpreadsheet を書きました

Python Package Index : rstspreadsheet にあります。ここに書いてある例が出来ることのすべてです。セルの値を計算する式は Python で書きます。なので、 Python で出来ることは全てできます!! ただしエラー処理をまったくやっていないので注意して使ってね☆(ぉ

(危なっかしいのでちゃんとエラー処理してくれ…とか要望あればコメントください。)

ちょとしたレポートを書く時に sphinx は便利で、 matplotlib の plot directive を使うとレポートのビルドとプロットを一緒にやってくれてすごく嬉しい。ただ、理論式に色々と値をぶちこんでみるときに使えそうな拡張が無かった。なので作りましたとさ。

Docutils の table node を作る例

2011-05-15T00:00:00+00:00

Docutils の table node を作る例

Docutils は python のドキュメントを書くのに使われているのに、そのドキュメント自体はあまり書かれてなくて “Use the Source, Luke!” なんておっしゃるのでがんばってソースを読まないと使い方がよく分からない。

勝手に table を作ってくれるオレオレ directive を作りたいなーと思ったので書いてみた例です。 my-table-2x2 という何の意味もない directive を作ってみました。

MathJax を導入。

2011-05-14T00:00:00+00:00

MathJax を導入。

MathJax は、 \$ \exp(i \pi) = -1 \$ と書くと $ \exp(i \pi) = -1 $ が、

$$
  I(t) := \lim_{\Delta t \to 0} \frac{1}{\Delta t}
  \int_{t}^{t+\Delta t} J \sum_{f} \delta(s - t^{(f)}) ds
$$

と書くと

$I(t) := \lim_{\Delta t \to 0} \frac{1}{\Delta t} \int_{t}^{t+\Delta t} J \sum_{f} \delta(s - t^{(f)}) ds$

が表示されるライブラリー!!

(もうひとつの displayed math 用の表記 \[...\] は markdown のマークアップとかぶって使えなかった。)

インストール方法は恐ろしく簡単でした。

大抵のブラウザで動いて、数式がスケールして、コピペ出来るらしいです。すげー。

Python と Haskell の import の書き方対応表

2011-05-09T00:00:00+00:00

Python と Haskell の import の書き方対応表

Python	Haskell
`from Module import *`	`import Module`
`from Module import func1, func2`	`import Module (func1, func2)`
	`import Module hiding (func)`
`import Module`	`import qualified Module`
`import Module as M`	`import qualified Module as M`

かな? (Learn You a Haskell for Great Good! - Modules)

Numpy の浮動小数点エラーの扱い方を選ぶための nose プラグイン

2011-05-05T00:00:00+00:00

Numpy の浮動小数点エラーの扱い方を選ぶための nose プラグイン

折角シミュレーション用プログラムのテストを書いても浮動小数点エラーを見逃してしまっていたら悲しいですよね。というわけで、書きました: Python Package Index : nose-numpyseterr

インストール方法:

easy_install nose-numpyseterr  # または、
pip install nose-numpyseterr

使い方

Numpy の浮動小数点エラーの取扱いは numpy.seterr — NumPy Manual (DRAFT) を見てください。

多分デフォルトでは 'ignore' か 'print' です。手元の Ubuntu だと all='ignore' で、野良ビルドした numpy だと under だけ 'ignore' で他は 'print' でした(何で違うんだろ??)。浮動小数点エラーの取扱いが 'ignore' だと、例えば

import numpy

def test_divide():
    1.0 / numpy.array([0])

を test_divide.py という名前で保存してテストすると

% nosetests test_divide.py
.
----------------------------------------------------------------------
Ran 1 test in 0.001s

OK

のように何事もなかったかのようにパスするはずです。

テストはパスして欲しいけど、浮動小数点エラーが起こったかどうかは確認したい場合は、 --npe-all=print をつけます:

% nosetests --npe-all=print test_divide.py
Warning: divide by zero encountered in divide
.
----------------------------------------------------------------------
Ran 1 test in 0.001s

OK

もうちょい詳しい情報が知りたいなら、 --npe-all=warn を使います。

% nosetests --npe-all=warn test_divide.py
test_divide.py:4: RuntimeWarning: divide by zero encountered in divide
  1.0 / numpy.array([0])
.
----------------------------------------------------------------------
Ran 1 test in 0.001s

OK

ただ、同じ場所のエラーは一度しか表示されません。

Python のエラーとして扱って欲しい場合は --npe-all=raise を使います。

% nosetests --npe-all=raise test_divide.py
E
======================================================================
ERROR: test_divide.test_divide
----------------------------------------------------------------------
Traceback (most recent call last):
  File ".../lib/python2.6/site-packages/nose/case.py", line 186, in runTest
    self.test(*self.arg)
  File ".../test_divide.py", line 4, in test_divide
    1.0 / numpy.array([0])
FloatingPointError: divide by zero encountered in divide

----------------------------------------------------------------------
Ran 1 test in 0.017s

FAILED (errors=1)

あとは nose-pudb で pudb に落としてデバッグすれば良いんじゃないでしょうか。

中身

驚くほどシンプルですw

落とし穴

単純な実装なので、テストコードの中で numpy.seterr を使っていると多分上手くうごきません。もうちょっと書き足せばどうにかなるはずなので、直してよ!って人がいたらコメント等で連絡下さい。

パラメタの組み合わせを一気に走らせるメタコマンド (マルチプロセス対応)

2011-05-04T00:00:00+00:00

パラメタの組み合わせを一気に走らせるメタコマンド (マルチプロセス対応)

メタコマンド実行スクリプトを Python で書いてみた - ny23の日記に触発されて、使ってたスクリプトをちょっと強化したバージョン(metarun.py)を晒してみる。

使い方

こんな感じでパラメタの全組み合わせ(直積)を走らせてくれる。 --dry-run (-n) オプションで実際に走らせるコマンドを表示してみる:

% metarun.py --dry-run echo param-a=1,2 param-b=x,y
echo --param-a 1 --param-b x
echo --param-a 1 --param-b y
echo --param-a 2 --param-b x
echo --param-a 2 --param-b y

実際に走らせるとこんな感じ:

% metarun.py echo param-a=1,2 param-b=x,y          
echo --param-a 1 --param-b x
--param-a 1 --param-b x
echo --param-a 1 --param-b y
--param-a 1 --param-b y
echo --param-a 2 --param-b x
--param-a 2 --param-b x
echo --param-a 2 --param-b y
--param-a 2 --param-b y

元のコマンドも表示される仕様でウザいけど気にしない（ぉ

--format (-f) オプションで、 %(a)s みたいな Python の文字列フォーマットが使える。パラメタにあわせてデータを吐く場所を変える時とかに使う。

metarun.py -nf 'python script.py -a %(a)s -b %(b)s --data=data/%(b)s%(a)s' a=1,2 b=x,y
python script.py -a 1 -b x --data=data/x1
python script.py -a 1 -b y --data=data/y1
python script.py -a 2 -b x --data=data/x2
python script.py -a 2 -b y --data=data/y2

複数プロセスを使うときは、 --processes (-p) オプションでプロセス数を指定。普通に動かすと3秒かかるジョブが、

% time tools/metarun.py -f 'sleep %(sec)s' sec=1,1,1
sleep 1
sleep 1
sleep 1
tools/metarun.py -f 'sleep %(sec)s' sec=1,1,1
0.09s user 0.03s system 3% cpu 3.123 total

-p 3 をつけると1秒で終わりました!:

% time tools/metarun.py -f 'sleep %(sec)s' sec=1,1,1 -p 3
sleep 1
sleep 1
sleep 1
tools/metarun.py -f 'sleep %(sec)s' sec=1,1,1 -p 3
0.10s user 0.07s system 14% cpu 1.143 total

この例だとジョブの数とプロセス数が等しいけど、ジョブの数が多い場合でも multiprocessing.Pool が勝手に空いたプロセスでどんどんジョブを実行してくれるはず。 multiprocessing モジュールすばらしい!!

`metarun.py`

icc でコンパイルした共有ライブラリって gcc でコンパイルされたプログラムから使えないのか!

2011-04-28T00:00:00+00:00

icc でコンパイルした共有ライブラリって gcc でコンパイルされたプログラムから使えないのか!

つまり普通の gcc でコンパイルされた Python からは、拡張モジュールとしても ctypes を通しても使えないってことかー!

… という訳で、昨日悩んでいた問題は解決してしまった模様。 numpy - Segfault occurs when my shared library is optimized by icc -O3 or -O2 and used via Python ctypes - Stack Overflow で質問したらtalonmiesさんという方が瞬殺してくれました。ありがとう! Stack Overflow 初めて使ったけど、良いシステムですね。

この問題はシミュレーションやってる人には結構深刻だよなあ。解決するにはふたつ方法がある:

Python とか Numpy とか、関連するモジュールを全部 icc でビルドする。
シミュレーションプログラムを単体で動くように全部書き換えて Python とはパイプやファイル経由でデータをやりとりする。

どっちも厳しいな… 前者(1)はそもそもコンパイル通せるのかという問題と、コンパイラが違うバージョンのPythonをどう共存させるかって問題がある。 prefix オプションで違う場所にインストールする感じになるんだろうか。あとその場合って virtualenv で管理出来るんだろうか。

後者(2)はそもそもその方法をやるのが嫌でPythonのC拡張やらctypesやらに手を出してきた経緯があるので、この便利さを知ったあとでそっちに戻るのは悲しい。堅実な方法ではあるのだけど。

残る疑問は、Stack Overflowでもコメントに書いたけど以下の2点:

gcc とは関係なく実行出来るはずの pypy がなんで C のライブラリを読み込む ctypes を実装出来ているのか。 (PyPy’s ctypes implementation — PyPy v1.5-alpha documentation)
gcc とは関係なく実行出来るはずの Haskell のライブラリを Python の ctypes から読み込むことが出来るのはなぜか。 (PythonVsHaskell - PythonInfo Wiki)

ELF やら ABI やら知らなかったキーワードが出てきたので、もうちょっと調べる必要がありそうだ。

icc で最適化(-O2)かけた共有ライブラリを ctypes から使うと segfault してしまうことがあって困っている

2011-04-27T00:00:00+00:00

icc で最適化(-O2)かけた共有ライブラリを ctypes から使うと segfault してしまうことがあって困っている

追記: icc でコンパイルした共有ライブラリって gcc でコンパイルされたプログラムから使えないのか! ということで一応解決(=どうにもなならないことが分かったw)。

この不具合が出るコードは最適化なしの icc や、 gcc だと最適化していても、そんな不具合は出ないしユニットテストも通しているので、自分のコードにあるバグでは無い気がする。

ちなみに不具合起こすコードセットは tkf / ctypes_icc / source – Bitbucket で管理しています。

自分のコードのミスでは無いとは思っていても、糞みたいなミスのせいだと良いなあ、だれか指摘してくれないかなあ、とか淡い期待を抱いています←ぉぃ

悩みどころ

このコードは、今研究で使っているシミュレーション用のコードを icc で動くか試していたら出会ってしまったもの。そのコードは ctypes を直接使わずに RailGun を使っていたので、RailGunなしでこの挙動を再現しようとして作ったのが↓のコードです。

悩みどころなのは、

ユニットテストは通しているとはいえ、 segfault するようなコードで研究続けるのが凄く気持ち悪い。
マシンによって segfault したりしなかったりして再現性が無いので python か intel にバグ報告するのも躊躇する。自分のマシンでしか起こらないような不具合って報告しても良いものか…。
cypesを介さないでCだけでプログラムを書くとこの不具合が再現できないので、valgrindというツールを使おうとしたんだけどCPython側の処理がうじゃうじゃでてきてついていけない。
最適化かけないと起こらない不具合なのでデバッガ(idb/gdb)で見ても意味不明…

…などなど。もっとCのスキルがあれば、あとは機械語読めたりすれば、頑張りようがあるんだろうか。

ソース

以下の strange.c と run.py を準備して

icc -O3  -Wall -std=c99 -shared strange.c -o libstrange.so
python run.py

ってやると、 segfault を起こす (マシンもある)。

`strange.c`

`run.py`

`icc -O{2,3}` だと segfault

コンパイラとフラグを網羅的に変えて試すと、 python run.py の終了コードは

gcc -O0: 0
gcc -O1: 0
gcc -O2: 0
gcc -O3: 0
icc -O0: 0
icc -O1: 0
icc -O2: 139
icc -O3: 139

という感じなので、どうやら icc -O{2,3} のみで segfault が起こるみたい。

マシン毎で違う挙動

3つのPCでの挙動を調べたらそれぞれ違っていたので、比較のためにスペックと挙動をまとめてみるとこんな感じになった:

	デスクトップA	ラップトップ	デスクトップB
このポストのコード	不具合でる	でない	でない
シミュレーション用のコード	不具合でる	不具合でる	でない
`uname -m`	i868	i868	x86_64
OS (`lsb_release -a`)	Ubuntu 10.04.2 LTS	Ubuntu 10.10	Scientific Linux SL release 5.5 (Boron)
icc version	12.0.0 20101006	12.0.3 20110309	12.0.0 20101006
Python version	2.6.5	2.6.6	2.6.5
Numpy version	1.3.0	1.3.0	1.5.0b1

PythonとCで数値計算をやる人のためのライブラリ RailGun v0.1.6 をリリースしてついでに日本語ドキュメントを充実させました

2011-04-17T00:00:00+00:00

PythonとCで数値計算をやる人のためのライブラリ RailGun v0.1.6 をリリースしてついでに日本語ドキュメントを充実させました

RailGun ってなんだ、っ人てはとりあずドキュメントの一番上にある例を見てみて下さい!

色々と機能が強化されています:

メモリのアロケーションをC拡張で書き直してかなり高速化されました。
Cの構造体メンバと関数をグループ分け(サブセット)出来るようにしました。これで、デバッグ用のみに巨大な配列を用意したいけど普段はそんなにメモリ使いたくない! みたいなケースに対応出来ます。
Cの構造体のメンバに別の(あるいは自分の)構造体またはそのポインタを使えるようになりました。これでかなり自由度が上がったはずです。
日本語ドキュメントを充実させました。

ドキュメントは、分かりにくい所が多いのでサンプルを増やしていきたいです。 Matplotlib の sphinx 拡張を使って自動的にサンプルページにグラフを埋め込めるようになった (Samples — RailGun documentation) のが楽しいので、にこれからどんどん追加されていく、はず。

ご意見・バグレポート等あればコメントまで!!

リンク:

GitHubのページを開くためのコマンド

2011-04-17T00:00:00+00:00

GitHubのページを開くためのコマンド

Gitのワーキングディレクトリに居る時にGitHubのプロジェクトページを開くためのコマンドです。

gith() {
    local P="$(git remote -v 2>/dev/null | grep 'github.com' | head -1)"
    local URL="https://"$(echo $P | sed -r \
        -e 's|.*[\t ](.*)[\t ].*|\1|' -e 's|\.git$||' \
        -e 's|https?://||' -e 's|:|/|' -e 's|^[a-z]*@||')
    [[ -n $URL ]] && gnome-open $URL || echo "No GitHub path found!"
}

Ubuntu 上の zsh で動きます． bash でも動くと思いますが、未確認。 gnome-open の部分を変更すれば、Macとかでも動くはず。

元ネタ: Open BitBucket from Bash / hg tip

Anything.elライクなCUIのzaw.zshやcanythingをMendeleyやgistyやz(もしくはj)と使う設定

2011-04-14T00:00:00+00:00

Anything.elライクなCUIのzaw.zshやcanythingをMendeleyやgistyやz(もしくはj)と使う設定

こんなの↓をやる設定です (zaw.zsh で Mendely で管理している論文PDFを選んでいる様子):

シェル環境で使える anything.el ライクな環境は zaw.zsh と canything のふたつがある (もっとあるかも?)。

zaw.zsh

zsh の魔術(ウィジェット)なのでカスタマイズするのにとっつきにくかった。

設定は、ウィジェットを定義したファイルを source すればOK。例えば、

source path/to/zaw-mendeley.zsh

を .zshrc で zaw.zsh を source したあとの行に加える。

canything

パイプで受け渡しができて使いやすい

<候補を出力するコマンド> | canything | <絞り込んだ結果を受け取るコマンド>`

という具合に使える。

~~ただ、空白をあけて複数の単語で絞り込み、っていう使い方が出来ないのが難点。~~

→ 修正されたようです! コメントで作者さんからAND検索が出来るようになったと教えてもらいました (2011-05-11 追記)。

使い方は canything: CUIでAnything にある。例えば、 .zshrc で下に書いてある ja とか gy ようなシェル関数を定義すれば良い。

Mendeley で管理しているPDFファイルを絞り込んで開く

Mendeley は論文を管理してくれるソフトウェア+ウェブサービス。ローカルにあるディレクトリにPDFを著者名や年や論文名を含めたファイル名で保存してくれるので、それを使って絞り込める。一番上の画像でやってるのがそれ。

→ Bitbucket で zaw-mendeley.zsh のソースを見る

gisty で管理しているリポジトリのワーキングディレクトリに一覧から選んで移動

gistyは、 Gist の管理をしてくれるコマンド。 (gistコマンドよりちょっと便利なgisty - SWDYH) gist list ってやればリポジトリ一覧を見せてくれるんだけど、ディレクトリ名がランダムで分かりにくいのでanythingライクに絞り込めると便利。

→ Bitbucket で zaw-gisty.zsh のソースを見る

canything バージョン:

gy(){
    local choice="`gisty list | canything`"
    if [ $? -eq 0 ]
    then
	local gitdir=`echo $choice | cut -d":" -f1`
	local destpath=$GISTY_DIR/$gitdir
	if [ -n "$gitdir" -a -d "$destpath" ]
	then
	    cd $destpath
	fi
    fi
}

z (もしくはj) を使って、よく使うディレクトリへ一覧から選んで移動

z/j はよく行くディレクトリに一発でジャンプできるコマンド。過去に行ったディレクトリを記録しててくれて、その頻度からジャンプ先を勝手に選んでくれる。例えば、 ~/repos/arataka.github.com/ なるディレクトリでよく作業をしているなら、 z arataka とやれば一発でそこに行ける。このコマンドにも anything ライクに使えるようにした。

ちなみに、 z/j には色々なバージョンがある(下)。 z が最新バージョンで、特別な設定なしでも zsh で使えるので、使うなら z が良いはず。

zaw.zshでディレクトリスタックを選択したい。 - hchbaw記とやりたいことは似ているけど、ディレクトリスタックだとそのセッション以外で行ったディレクトリにアクセス出来ないのが難点。 z/j だと過去に行ったディレクトリならどこへでも行けるし、よく使うものほど上に来るので使いやすいと思う。

→ Bitbucket で zaw-z.zsh のソースを見る

canything バージョン:

ja(){
    local destpath=`j 2>&1 | sed -n -e '2,$p' | sed 's/^[0-9\\. ]*//' | tac | canything`
    if [ $? -eq 0 -a -n "$destpath" -a -d "$destpath" ]
    then
	cd $destpath
    fi
}

Read It LaterにURLをまとめてポストするPythonスクリプト

2011-04-13T00:00:00+00:00

Read It LaterにURLをまとめてポストするPythonスクリプト

Read It Later は、AndroidやiPhoneから色々なページをオフラインで読めるようにしてくれるサービス/アプリ。まとめてタグ付けしたり投稿したりが面倒なのでコマンドラインから投稿できるスクリプト書きましたよ!

準備

tkf’s gist: 915752 — Gist から ril.py を落とす。
Surgo / RIL / overview – Bitbucket をインストールする。 readitlater/ディレクトリをPythonがモジュールとして認識できるところにおく。面倒だったら、 ril.py と同じディレクトリにおく。
Read It Later: Developer API: Signup で API Key を取る。

使い方

ril.py -a <API_KEY> -u <USER_NAME> -p <PASS_WORD> --tags <TAG_1,TAG_2,..> <URL_FILE>

もし、 <API_KEY>, <USER_NAME>, <PASS_WORD> がなければプロンプトが出てくるのでそこから入力。パスワードはコマンドラインから入れないほうがいいかも。

<URL_FILE> は、一行ごとにURLが入っているテキスト:

https://gist.github.com/915752
https://bitbucket.org/Surgo/ril/
http://arataka.github.com/2011/04/13/python-script-to-post-urls-to-read-it-later.html

URLのあとにスペースを空ければタイトルも入れられる:

https://gist.github.com/915752 tkf's gist: 915752 — Gist
https://bitbucket.org/Surgo/ril/ Surgo / RIL / overview – Bitbucket
http://arataka.github.com/2011/04/13/python-script-to-post-urls-to-read-it-later.html Read It LaterにURLをまとめてポストするPythonスクリプト

タイトルは入れないと Read It Later にアクセスしたときにURLがタイトル代わりに表示されちゃうので入れておいたほうが良い。

<URL_FILE> を省略すると標準入力から読み込みます。その他のオプションについては ril.py --help を見てね!

`ril.py` の中身

GithubのJekyllでLaTeX数式が出せるか試してみたけど出来なかった

2011-04-13T00:00:00+00:00

GithubのJekyllでLaTeX数式が出せるか試してみたけど出来なかった

$x^{n}+y^{n} \neq z^{n}$ for $n \geq 3$

[ \sum{n=1}^\infty \frac{1}{n} \text{ is divergent, but } \lim{n \to \infty} \sum_{i=1}^n \frac{1}{i} - \ln n \text{exists.} ]

$\beth \Subset \bigtriangleup \bumpeq \ggg \pitchfork$

… できない

MercurialやGitのコミット頻度などを可視化するPythonスクリプトを書いてみた

2011-04-11T00:00:00+00:00

MercurialやGitのコミット頻度などを可視化するPythonスクリプトを書いてみた

いくつかのオープンソースなソフトがあった時は，開発が活発なほうを選びたい． Google Code とかだと activity を出してくれてりするけど，

同じ activity の測り方で比較したい．
そもそも activity 表示してくれてないサイトだと比較できない．
今は盛り上がってるよ，じゃなくて継続的に盛り上がってるか知りたい．

などなど問題があるので，自力でやってみた．

その出力が↓にあるNumpyのリポジトリの activity (一日あたりのコミット数)の推移． 2006年あたりから盛り上がってるねーということが分かる．

ちなみに時刻が並んでいるデータ(点過程って言えば正確かな?)だったら何でもパイプ経由で食わせられるので，他の用途にも使えるはず．

今回使うスクリプト(datehist.py)は tkf’s gist: 913543 — Gist からダウンロード出来ます．このポストの一番下にも載っけてあります．Numpyとmatplotlibが必要です．

使い方

Activity を測りたいリポジトリのワーキングディレクトリで，以下を実行． MercurialやGit以外の方法は使ってないので知らない…:

hg log --template '{date}\\n' | datehist.py
git log --format='%at' | datehist.py

datehist.py に食わす標準入力 (hg log や git log の出力)はこんな感じ．コミットがあった時間の unix time を一行ごとにひたすら吐いてくれる．:

引数 -t (省略可)で出力グラフのタイトルを与えられるので，ワーキングディレクトリのあるフルパスをタイトルに使いたければ

hg log --template '{date}\\n' | datehist.py -t `hg root`
git log --format='%at' | datehist.py -t `git rev-parse --show-toplevel`

でOK.

応用例: 分散バグ管理システムはどれが元気あるかを調べてみた

比較したのは，次の4つのプロジェクト

b (Mercurialのプラグイン)
Bugs Everywhere (Python製)
Ditz (Ruby製)
pitz (DitzをPythonで書き直し)

結論: どれもあんまり元気ないなあ…

とりあえず，もろもろの理由から b を使ってみることにした．

`datehist.py` の改善点

この方法だと，いちいちローカルに clone 作る必要があるのが難点．リモートのリポジトリのログを見る方法って探せばありそう(←探せ)だし，そうすればwebアプリ的な感じにも出きるよね．誰かやってくれないかなあ（ぉぃ

追記 (2011-04-12)
- Mercurialだと無理みたい:
  4.23. How can I do a “hg log” of a remote repository? - FAQ - Mercurial
- Gitも無理そう:
  git - git log of remote repositories.

datehist.py

何か変更あれば，最新版は tkf’s gist: 913543 — Gist にあげときます．

google-diff-match-patchを使って文章の差分を単語単位でとるCLIプログラムを書いた

2011-04-02T00:00:00+00:00

google-diff-match-patchを使って文章の差分を単語単位でとるCLIプログラムを書いた

…と言っても実は google-diff-match-patch っていうライブラリを使えば簡単にできるって話で、そのデモサイト: Diff, Match and Patch: Demo of Diff と同じことが出来るCLIを書いただけ。要Python。

Python無かったりインストール面倒な人は、デモサイトの出力結果をHTMLメールにコピペして使えば良いんじゃないかな。

あと、自分で確認できれば良い時は wdiff っていうコマンドを使えば単語単位で diff がとれる。--terminal オプションをつければ見易くなるのでおすすめ。Ubuntuなら sudo apt-get install wdiff wdiff-doc でインストール出来る。

google-diff-match-patch をダウンロードしてインストール

wget http://google-diff-match-patch.googlecode.com/files/diff_match_patch_20110217.zip
unzip diff_match_patch_20110217.zip
cp diff_match_patch_20110217/python/diff_match_patch.py ~/pymodules/ #任意

~/pymodules/ は $PYTHONPATH に設定されている適当なディレクトリ。面倒なら次にダウンロードするスクリプト(gdmp.py)と同じディレクトリに置けばOK。

文章の差分をとる方法

Command line tool for google-diff-match-patch — Gist をダウンロードして使う。これが、今回書いたやつ。

wget https://gist.github.com/raw/899325/gdmp.py
python gdmp.py FILE1 FILE2 -o diff.html

これでdiff.htmlに差分が出力されるので、ブラウザで開いてHTMLメールに張り付けるなりファイルをそのままメールするなりすれば良い。

LaTeXファイルを扱う時は、 detex でLaTeXコマンドを消してから差分をとれば良い。zshなら、

python gdmp.py <(detex -l FILE1.tex) <(detex -l FILE2.tex) -o diff.html

でOK。

論文とかを人に添削してもらう時に、どこを変更したかを分かりやすく伝えたい時がある。ワードなり使ってれば良いんだろうけど、LaTeXや普通のテキストファイルを扱ってくれるプログラムが見つからなかったので書いてみた、という話でした。

Jekyll でブログ書いてみる

2011-04-02T00:00:00+00:00

ナンクル力学系

興奮・抑制均衡入門 (理論神経科学チュートリアル) のα版を公開します

興奮・抑制均衡入門 (理論神経科学チュートリアル) のα版を公開します

matplotlib を Flask から使う方法

matplotlib を Flask から使う方法

ENP DAYS 1日目 - PhDコースが始まりました

ENP DAYS 1日目 - PhDコースが始まりました

hg out で待たされるのが苦痛なのでローカルにキャッシュしてくれる Mercurial 拡張を書いた

hg out で待たされるのが苦痛なのでローカルにキャッシュしてくれる Mercurial 拡張を書いた

hg out の不満点

インストール/使い方

おまけ

単純固有値ってなんだっけ

単純固有値ってなんだっけ

Networks of the Brain (Sporns) が面白い。神経科学またはネットワーク理論好きな人にお勧め。

Networks of the Brain (Sporns) が面白い。神経科学またはネットワーク理論好きな人にお勧め。

8月は少し広めに勉強していたので読んだ本をまとめる

8月は少し広めに勉強していたので読んだ本をまとめる

Thermodynamics of Chaotic Systems: An Introduction (Beck & Schlögl)

Statistical Physics of Spin Glasses Information Processing (Nishimori)

Introduction to Lebesgue Integration (WWL Chen)

脱線: 関数解析とか実解析あたり、知ってたほうが良いんだろうか

Real analysis (Royden)

確率と確率過程の基礎 (森 真)

おまけ

CA certificate が invalid だと Mercurial に怒られたけど、実は google code がリポジトリのリンクを変えていたのが原因だった。

CA certificate が invalid だと Mercurial に怒られたけど、実は google code がリポジトリのリンクを変えていたのが原因だった。

SRB測度と自然不変測度の関係を初等的な数学で導けたのでカオスの熱力学の勉強中ノートを公開してみる

SRB測度と自然不変測度の関係を初等的な数学で導けたのでカオスの熱力学の勉強中ノートを公開してみる

実験データの整理用 wiki NEOrg v0.0.1 をリリースしました

実験データの整理用 wiki NEOrg v0.0.1 をリリースしました

サンプルに使ったなんちゃって実験データ

パラメタに沿って結果のグラフを並べる - grid-images

結果のグラフとデータを一緒に並べる - table-data-and-image

データファイルの差分を表示する - dictdiff

テンプレートページ

Sphinx/Docutils で表計算をするための拡張 reStructuredSpreadsheet を書きました

Sphinx/Docutils で表計算をするための拡張 reStructuredSpreadsheet を書きました

Docutils の table node を作る例

Docutils の table node を作る例

MathJax を導入。

MathJax を導入。

Python と Haskell の import の書き方対応表

Python と Haskell の import の書き方対応表

Numpy の浮動小数点エラーの扱い方を選ぶための nose プラグイン

Numpy の浮動小数点エラーの扱い方を選ぶための nose プラグイン

使い方

中身

落とし穴

パラメタの組み合わせを一気に走らせるメタコマンド (マルチプロセス対応)

パラメタの組み合わせを一気に走らせるメタコマンド (マルチプロセス対応)

使い方

metarun.py

icc でコンパイルした共有ライブラリって gcc でコンパイルされたプログラムから使えないのか!

icc でコンパイルした共有ライブラリって gcc でコンパイルされたプログラムから使えないのか!

icc で最適化(-O2)かけた共有ライブラリを ctypes から使うと segfault してしまうことがあって困っている

icc で最適化(-O2)かけた共有ライブラリを ctypes から使うと segfault してしまうことがあって困っている

悩みどころ

ソース

strange.c

run.py

icc -O{2,3} だと segfault

マシン毎で違う挙動

PythonとCで数値計算をやる人のためのライブラリ RailGun v0.1.6 をリリースしてついでに日本語ドキュメントを充実させました

PythonとCで数値計算をやる人のためのライブラリ RailGun v0.1.6 をリリースしてついでに日本語ドキュメントを充実させました

GitHubのページを開くためのコマンド

GitHubのページを開くためのコマンド

Anything.elライクなCUIのzaw.zshやcanythingをMendeleyやgistyやz(もしくはj)と使う設定

Anything.elライクなCUIのzaw.zshやcanythingをMendeleyやgistyやz(もしくはj)と使う設定

zaw.zsh

canything

Mendeley で管理しているPDFファイルを絞り込んで開く

gisty で管理しているリポジトリのワーキングディレクトリに一覧から選んで移動

z (もしくはj) を使って、よく使うディレクトリへ一覧から選んで移動

Read It LaterにURLをまとめてポストするPythonスクリプト

Read It LaterにURLをまとめてポストするPythonスクリプト

準備

使い方

ril.py の中身

GithubのJekyllでLaTeX数式が出せるか試してみたけど出来なかった

`hg out` の不満点

確率と確率過程の基礎 (森真)

パラメタに沿って結果のグラフを並べる - `grid-images`

結果のグラフとデータを一緒に並べる - `table-data-and-image`

データファイルの差分を表示する - `dictdiff`

`metarun.py`

`strange.c`

`run.py`

`icc -O{2,3}` だと segfault

`ril.py` の中身

`datehist.py` の改善点