Slow Starter Blog

UbuntuへのCeleryのインストール

2013-01-26T23:14:00.001+09:00

Ubuntu12.10にCeleryをインストール。
Djangoアプリのバックエンドのバッチ処理用に。
Cronでも十分だけど、今後を考えて。

pipでインストール。

sudo pip install celery django-celery

インストール中にネイティブライブラリのコンパイルにPython.hが無い、という
コンパイルエラーが出る場合、python-devをaptでインストールします。

sudo apt-get install python-dev

settings.pyは

INSTALLED_APPS = (
    'django.contrib.auth',
    'django.contrib.contenttypes',
    'django.contrib.sessions',
    'django.contrib.sites',
    'django.contrib.messages',
    'django.contrib.staticfiles',
    'django.contrib.admin',
    'django.contrib.humanize',
    'south',
+    'kombu.transport.django',
+    'djcelery',
    'myapp',
)

+#celery
+BROKER_URL = "django://"
+import djcelery
+djcelery.setup_loader()

こんな感じで追加。

そしてmyapp/tasks.pyを作り、

from celery.task.schedules import crontab
from celery.decorators import periodic_task

@periodic_task(run_every=crontab(hour="*", minute="*", day_of_week="*"))
def test(*args, **kwargs):
print "TEST!"

こんなふうに書く。

試す。

>python manage.py celery worker -B

死ぬ。こんな感じのが出る。

*** glibc detected *** /usr/bin/python: munmap_chunk(): invalid pointer: 0x00007f5b9ee73fd4 ***
======= Backtrace: =========
/lib/x86_64-linux-gnu/libc.so.6(+0x7eb96)[0x7f5b9fe10b96]
/usr/local/lib/python2.7/dist-packages/_billiard.so(+0x40db)[0x7f5b9eebd0db]
（中略）
Traceback (most recent call last):
File "<string>", line 1, in <module>
File "/usr/local/lib/python2.7/dist-packages/billiard/forking.py", line 528, in main
    self = load(from_parent)
File "/usr/lib/python2.7/pickle.py", line 1378, in load
    return Unpickler(file).load()
File "/usr/lib/python2.7/pickle.py", line 858, in load
    dispatch[key](self)
File "/usr/lib/python2.7/pickle.py", line 1133, in load_reduce
    value = func(*args)
File "/usr/local/lib/python2.7/dist-packages/celery/app/utils.py", line 130, in _unpickle_app
    return pickler()(cls, *args)
File "/usr/local/lib/python2.7/dist-packages/celery/app/utils.py", line 109, in __call__
    self.prepare(app, **kwargs)
File "/usr/local/lib/python2.7/dist-packages/celery/app/utils.py", line 113, in prepare
    app.conf.update(kwargs['changes'])
File "/usr/local/lib/python2.7/dist-packages/kombu/utils/__init__.py", line 293, in __get__
    value = obj.__dict__[self.__name__] = self.__get(obj)
File "/usr/local/lib/python2.7/dist-packages/celery/app/base.py", line 473, in conf
    return self._get_config()
File "/usr/local/lib/python2.7/dist-packages/celery/app/base.py", line 338, in _get_config
    s = Settings({}, [self.prepare_config(self.loader.conf),
File "/usr/local/lib/python2.7/dist-packages/kombu/utils/__init__.py", line 293, in __get__
    value = obj.__dict__[self.__name__] = self.__get(obj)
File "/usr/local/lib/python2.7/dist-packages/celery/app/base.py", line 485, in loader
    return get_loader_cls(self.loader_cls)(app=self)
File "/usr/local/lib/python2.7/dist-packages/celery/loaders/__init__.py", line 23, in get_loader_cls
    return symbol_by_name(loader, LOADER_ALIASES)
File "/usr/local/lib/python2.7/dist-packages/kombu/utils/__init__.py", line 80, in symbol_by_name
    module = imp(module_name, package=package, **kwargs)
File "/usr/lib/python2.7/importlib/__init__.py", line 37, in import_module
    __import__(name)
File "/usr/local/lib/python2.7/dist-packages/djcelery/loaders.py", line 15, in <module>
    from django import db
File "/usr/local/lib/python2.7/dist-packages/django/db/__init__.py", line 11, in <module>
    if DEFAULT_DB_ALIAS not in settings.DATABASES:
File "/usr/local/lib/python2.7/dist-packages/django/utils/functional.py", line 184, in inner
    self._setup()
File "/usr/local/lib/python2.7/dist-packages/django/conf/__init__.py", line 42, in _setup
    self._wrapped = Settings(settings_module)
File "/usr/local/lib/python2.7/dist-packages/django/conf/__init__.py", line 95, in __init__
    raise ImportError("Could not import settings '%s' (Is it on sys.path?): %s" % (self.SETTINGS_MODULE, e))
ImportError: Could not import settings 'myproj.settings' (Is it on sys.path?): cannot import name connection

ImportErrorではあるけども、その前にglibcのエラーがドバドバ出るので
sys.path云々ではなく拡張モジュールがおかしいんだろう。

githubのissueを色々みたところ、

/usr/local/lib/python2.7/dist-packages/_billiard.so を消せ

というのがあって、たしかにそれを消すとOKなんだけども、
そうすると起動時に

[2013-01-26 22:46:14,897: WARNING/MainProcess] /usr/local/lib/python2.7/dist-packages/billiard/__init__.py:318: RuntimeWarning: force_execv is not supported as the billiard C extension is not installed

とか出てなんかちょっと気分が悪い。

個人的な趣味で、オプション付ける方を選ぶ。

>python manage.py celery worker -B

-------------- celery@ubuntu v3.0.13 (Chiastic Slide)
---- **** -----
--- * *** * -- [Configuration]
-- * - **** --- . broker:      django://localhost//
- ** ---------- . app:         default:0x3885090 (djcelery.loaders.DjangoLoader)
- ** ---------- . concurrency: 2 (processes)
- ** ---------- . events:      OFF (enable -E to monitor this worker)
- ** ----------
- *** --- * --- [Queues]
-- ******* ---- . celery:      exchange:celery(direct) binding:celery
--- ***** -----

[2013-01-26 22:53:13,887: WARNING/MainProcess] celery@ubuntu ready.
[2013-01-26 22:54:04,286: WARNING/PoolWorker-2] TEST!

動いた。

djceleryをsouthと使ってschemamigrationが上手くいかない場合の対処法

2013-01-26T12:57:00.001+09:00

Djangoのプロジェクトで、バックエンド処理にCeleryを使い始めました。
Southも使っています。

celeryとdjango-celeryはpipでインストールしました。

settings.pyはこんな感じです。

INSTALLED_APPS = (
    'django.contrib.auth',
    'django.contrib.contenttypes',
    'django.contrib.sessions',
    'django.contrib.sites',
    'django.contrib.messages',
    'django.contrib.staticfiles',
    'django.contrib.admin',
    'django.contrib.humanize',
    'south',
    "kombu.transport.django",
    'djcelery',
    'myapp',
)

動かすにはdjcelery用のテーブルを作る必要があります。

manage.py schemamigration djcelery --init

しかし、pipでインストールした事により、djceleryは

/usr/local/lib/python2.7/dist-packages/djcelery

にインストールされるので、ユーザ権限でmigrationディレクトリが作成できません。

回避策は、それらサードパーティーのアプリをsouthの管理下から外すことです。
settings.pyに以下を書き足します。

SOUTH_MIGRATION_MODULES = {
'django': 'ignore', #kombu.transport.djangoのこと
'djcelery': 'ignore',
}

あとは普通にmanage.py syncdbでOK。

kombu.transport.django が "django" になるのは若干気になるのだけど。

xmodmapでvimっぽくカーソル動かせるようにした

2012-10-31T13:32:00.002+09:00

左手マウスのおすすめ
http://www.biwa.ne.jp/~chiro/kannkyou/mausu.htm
これを見て、試してみました。

気付いたことは
・左手は案外不器用で、軽いマウスだとなかなかポインタが定まらない
・これまでCtrlキーを常にインレンジにおさめていた左手が動くことで
　ショートカットキーを案外打ち損ねる
・右手をあまり動かさないようになると、思ったよりカーソルやPage Up/Down，Home/Endが
　遠く感じるようになる

特に最後のが結構意外で、結構右手首を小指側にぐっと曲げるような動きになってしまいます。

私はデスクのできる限り奥にモニタとキーボードを置き、
デスクの上に両肘をがっちりついてタイピングするのですが、
これまではマウスを動かすため右腕は頻繁に肘を浮かさざるを得ず、
そのためカーソルなどへも特に気にせず手を動かしていました。
ですが、右手の動きが減ると今度はそこが気になり、
しばらくすると少し右手首が痛くなってきてしまいました。

カーソルをvimっぽくhjklあたりで動かせればいいのにな…と思い、
xmodmapを書いてみました。

CapsLockを押しながらhjklでカーソル、
y/bをHome/End、u/nをPageUp/Downにしてみました。
間違って押すと鬱陶しいCapsLockも殺せて一石二鳥。

ついでに勢い余ってgにBackSpace，スペースバーにEnterまで割り当ててみたものが以下。

~/.Xmodmap

clear Lock
remove Control = Mode_switch
keycode 66 = Mode_switch
keycode 29 = y Y Home Home
keycode 30 = u U Prior Prior
keycode 42 = g G BackSpace BackSpace
keycode 43 = h H Left Left
keycode 44 = j J Down Down
keycode 45 = k K Up Up
keycode 46 = l L Right Right
keycode 56 = b B End End
keycode 57 = n N Next Next
keycode 65 = space NoSymbol Return

ちなみに一応書いておくと環境はUbuntu 12.10、英語キーボードです。

慣れたら相当快適なんじゃないかという予感を感じております。

#HHK使えばいいんじゃねとか禁止w

ちなみにエントリの趣旨的にもはやどうでもいいことですが
個人的にはマウスのボタンは入れ替えない方が使いやすく感じました。

Ubuntu 12.10入れた(VirtualBox編)

2012-10-21T00:00:00.002+09:00

Ubuntu 12.10。

というわけでまずはメインの職場の開発環境であるVirtualBox (on Win7) に
クリーンインストールしてみた。

以前のバージョンまで、VirtualBoxのゲストでは3Dアクセラレータを有効にすると
フルスクリーンにした時に描画がフリーズしてしまうという現象が出てしまい、
（参照→ http://www.youtube.com/watch?v=WOLv-9VwcTc ）
Unity 2Dでしか使えず。
まあその後結局 xubuntu で使っている。
とりあえずインストールは普通に終了。
その後VirtualBox Guest Additionをインストールする必要があるが、
VirtualBox 4.1.22に付属のGuest Additionは、
Ubuntu 12.10のXの方がバージョンが新しいせいかインストールに失敗。

さてどうしようかなと思ったが、何のことはなく

sudo apt-get install virtualbox-guest-additions

でOK。

そして問題のフルスクリーン。
一応フリーズはせずちゃんと動く…が。
重い。重いぞこれ。
とりあえずCompiz ConfigでFadingやAnimationを切って
何とかまあ許容できるかなというレスポンスになった。

そして次にランチャー。
画面は出来るだけ広く使いたくてランチャーは隠れていてほしいので
System SettingsのAppearanceのBehaviorタブで（私は英語でインストールしているので）で
Auto-hide the Launcherをonにした…ら、残念なことが。

ランチャーが非表示になったところの壁紙の色がおかしいまでなら全然構わないのだが、
そこにウィンドウを持っていったらその謎の帯の下に入ってしまうという残念な現象。
これは致命的。

というわけでさっさと諦めてxubuntuにする。さようなら新Unity。
色々新機能付いたLensとか見るまで行かなかったよ。

sudo apt-get install xubuntu-desktop

そしてXubuntuで再起動し、色々アプリをapt-get install。
それと私は開発用のIDEにはAptana Studio 3を使っているのでダウンロードして展開。
ランチャーに登録。同梱のアイコンを設定…

なんだこれ。
どうやらxpm形式の扱いがうまくいかなくなってる。

convert icon.xpm -resize 48x48 icon.png

変換したpngを割り当てればOK。

そして、仕事上Google Talkをよく使うため、Empathyを設定。
Empathyを起動し、アカウントを追加しようとしたところ、
こんなダイアログが表示される。

うん？

Empathyは、今回のUbuntuの目玉の一つである「ネットワークサービスアカウントの管理」に
関係していたはず。
ここの「Personal」の並びに「Online Accounts」というのがあったはずだが、それがない。
kupferでOnline Accounts打ってみるとアイコンは出るが、
やはり同じ画面に。

どうやらまあ要するにXubuntuだとだめ、という状態である模様。
ログアウトしてUbuntuで入りなおして設定したら、
Xubuntuの方でもEmpathyがちゃんと動いた。
まあ一度設定したらしばらく変更する事はないものなのでよしとする。

というわけでUbuntuというかXubuntu12.10。
特に何が変わった感じはしません。
そりゃXubuntuだしね。

変わったか？と思ったこととすれば、mozcの変換候補で
同音異議語に「用例」が出るようになってる。
これはありがたい。

あとXubuntuの壁紙はグラデーションの右下に○がいくつか並んでるようなものだけど
これはシンプルかつスタイリッシュでいいと思う。

以上、何かあんまり他の人の役に立たなそうなUbuntuインストール記。

PHPのarrayの入れ子を作るのに苦労して=&とunsetを使って何とかした話

2012-09-21T01:25:00.003+09:00

PHPで、

こんな感じのDBから読んできたデータから、

こんな構造を作りたいなと思ったのです。

こんな感じかな。

<?php
//ここから
function row($type,$typeName,$value1,$value2){
    return array("type" => $type,
                 "typeName" => $typeName,
                 "value1" => $value1,
                 "value2" => $value2);
}
$rows = array(row(1,"あ","ABC","DEF"),
            row(1,"あ","AAA","BBB"),
            row(1,"あ","XXX","YYY"),
            row(2,"い","BEEF","PORK"),
            row(2,"い","COFFEE","TEA"),
            row(2,"い","MILK","COCOA"));
//ここまではサンプルデータを作っているところなので本題とは関係なし。
//データはソートはされているものとする。

$tree = array();    // $treeが最終的なルート配列オブジェクト
$prevType = null;   // Typeが変わったらこの処理をする…というためのもの
foreach($rows as $r){  //1行ずつ読む
    if($prevType !== $r["type"]){ //もしTypeが変わったら
        // 変更チェック用の変数を更新し
　　　　　$prevType = $r["type"];
        // 親のノードを新規作成し、$typenodeを差し替え
        $typenode = array("type" => $r["type"],
                          "typeName" => $r["typeName"],
                          "values" => array()); // 親のノードは子を格納する配列を持つ
        // 作った親のノードをルート配列に追加
        $tree[] = $typenode;
    }
    // 子のノードを作成
    $valuenode = array("value1" => $r["value1"],
                        "value2" => $r["value2"]);
    // 今の時点で $typenode で親ノードが参照出来るはずで、
    // それに対して"values"で引ける子ノード格納用配列に、
    // 子のノードを追加
    $typenode["values"][] = $valuenode;
}

実行してみた結果。

（ ಠ益ಠ)
ステップ実行してみると、

        :
        // 作った親のノードをルート配列に追加
        $tree[] = $typenode;
    }
        :
    // 今の時点で $typenode で親ノードが参照出来るはずで、
    // それに対して"values"で引ける子ノード格納用配列に、
    // 子のノードを追加
    $typenode["values"][] = $valuenode;
}

この下の方の$valuenodeを追加しているところで、
「$typenode」には追加されるものの、
「$treeからたどれる『$typenodeと同じものであるはずのもの』」
には追加されているように見えない。

        $tree[] = $typenode;

で、$typenodeそのものがコピーされてしまっているように見える。
本当は違っててその後変更が発生しそうになった時にコピーされるんだろうけど。

なのでこうしてみた。=&で参照渡し的な何かになるはずと聞いて。

        $tree[] =& $typenode;

実行してみた結果。

（╬ಠ益ಠ)

今度は、二週目の

        // 親のノードを新規作成し、$typenodeを差し替え
        $typenode = array("type" => $r["type"],
                          "typeName" => $r["typeName"],
                          "values" => array()); // 親のノードは子を格納する配列を持つ
        // 作った親のノードをルート配列に追加
        $tree[] =& $typenode;

の上の方のところで「新しいノードを作って$typenodeを差し替えた」だけのつもりが、
既に一周目でセットした$tree[0]の要素までも差し替わってしまった。

参照渡し…ってそこまで参照なの！？
これ、そもそもマインドモデルが上の図と違ってて、模式図で表せない。

最終的にこうしたら何とかなった。

$tree = array();
$prevType = null;
foreach($rows as $r){
    if($prevType !== $r["type"]){
        $prevType = $r["type"];
        unset($typenode);
        $typenode = array("type" => $r["type"],
                          "typeName" => $r["typeName"],
                          "values" => array());
        $tree[] =& $typenode;
    }
    $valuenode = array("value1" => $r["value1"],
                        "value2" => $r["value2"]);
    $typenode["values"][] = $valuenode;
}

差し替える前にunsetをする事で、
$typenodeというシンボルと実体との紐付けが解放されるので、
あらためて作ったarrayをセットしても既存のデータ構造に影響を与えない。

なんだこの仕様。

array関数で新たに配列作って変数に代入する、って
「mallocしてそのポインタを返す」的な感覚かと思ってたら、
「返す先のポインタがあったら指している領域に上書きする」みたいな
日本語すら怪しくなるような動きもするとは。
理解に苦しむ。

mroongaのデータを壊してテーブルも消せなくなったのを何とかした風

2012-09-18T11:51:00.001+09:00

先週末ハマった件のメモ書き。
これで合っているかどうか保証も何も全く無いので
参考にする場合は自己責任で。

mroongaをストレージモードで使った開発中、
安直な設計でテーブル作って膨大なデータのinsertクエリを実行してしまった。

全然戻ってこないのでクエリのキャンセルをしたのだがそれでも戻ってこず。
mysqldのrestartも実行したが戻ってこず。
仕方なくkill -9で抹殺。

その後再起動し、この設計じゃダメだなと思いdrop tableしようとしたら
drop tableも戻ってこない。

プロセスリストを見てみると

select count(*) into @discard from `information_schema`.`PARTITIONS`

というSQLをdebian-sys-maintが実行していて全然戻ってきていない。
こいつがロックしている線が濃厚。

当該のSQLやdebian-sys-maintでググってみると
「debian系のおせっかいだからスクリプトいじって黙らせちゃえよ」
みたいな記事が見つかるが、
それもなんだかイカン気がする。

やけくそでmysql止めて

/var/lib/mysql/【スキーマ名】.mrn.*

のファイルを全消しして
再起動してdrop tableしてみる。
瞬時にdisconnected from server的なメッセージが出て、
mysqldのプロセスIDが変わってる。
悪化／（^o^）＼

repair tableとかあがいてみる。
「このエンジンはリペアとかないよ」的なメッセージが出る。

そこでふと、以前mysqlのバージョンだけ上がってmroongaプラグインが読み込めなくなって
mysqlの起動が出来なくなってヒイコラした時、
その後drop tableは普通にできたよなーという記憶が。

ということでUNINSTALL PLUGINして、dropしてみる。
…成功！

あらためてINSTALL PLUGINして、テーブル作ってまともな量insert。
無事動作している模様。

多分こうなった場合、

UNINSTALL PLUGIN
drop table
mrnファイル削除
INSTALL PLUGIN
create table

とすればいいのかなという気がしているけど
実はまずいのかもしれない。不明。

やってみる場合自己責任で。

ubuntuでusermod -Gでやらかしてsudo出来なくなった場合

2012-08-06T13:05:00.001+09:00

開発PCの/var/lib/mysqlの中のファイルをいちいちsudoせずに参照したくなった。
ubuntuのユーザ名はadmin。
mysqlグループでの権限追加して、自分もmysqlグループに入ればいいだろ。

$ sudo chmod g+rx /var/lib/mysql
$ sudo usermod -G mysql admin

ログアウトしてログイン。

$ cd /var/lib/mysql

よし入れた。
おっと、見たいのはこの中のデータベースごとのディレクトリ内。

$ cd db1
bash: cd: db1: Permission denied

おおっと、データベースごとのディレクトリにも権限を足さないといけない。

$ sudo chmod g+rx db1
[sudo] password for admin:admin is not in the sudoers file. This incident will be reported.

？…！！　やっちまった！

usermod -G は所属グループを上書きするので,
元々所属していたsudoグループから引っ剥がされてしまった！
もとい、引っ剥がしてしまった orz

まあまあ、ありがちありがち。
一度深呼吸して、PCをブチ切り再起動。

grubで[recovery mode]を選択して起動し、rootシェルを選択。

# mount -o rw,remount /
# usermod -G adm,cdrom,sudo,dip,plugdev,mysql admin
# reboot

再起動で復活。

後の方のusermod -G以降は、ほぼ同じ設定で立てていたVMから拾ってきたもの。
そういうのが無い方でやらかしてすぐだった方は
/etc/group- に直前の設定が残っているので
rootシェルで入ったあとすぐ参照して控えましょう。

複数回usermodやっちゃった方は南無。
でもとりあえずadmとsudoぐらい入っておけば何とかなるでしょう。

Wineで3Dなソフトがうまく動かないとき

2012-06-18T00:40:00.002+09:00

普段使っているのはIntelのしょぼいグラフィックチップのPCなのだが
Windows用の3DなソフトをWineで動かしてみようとしたら

Unhandled page fault on read access

なんていうのが出た。

色々調べてみたところ、テクスチャの圧縮展開ライブラリ関係に問題があるらしい。
まあそりゃそもそもmesaドライバだしな。

libtxc-dxtn-s2tc というのを入れると改善するかも、とのこと。

sudo apt-get install libtxc-dxtn-s2tc-bin libtxc-dxtn-s2tc0

おお。魔法のようだ。

Win7でユーザのログインIDなどを変更する

2012-06-17T20:35:00.000+09:00

Windows 7 は基本的にユーザの表示名が使われるようになっているので
表示名だけ変えれば普段は気にならないが、
リモートデスクトップなどで繋ぐ時に混乱の元になる。

リモートデスクトップで繋ぐ際に指定するユーザ名称を変更するには、
　　管理ツール→コンピューターの管理

で

　　コンピューターの管理→システムツール→ローカルユーザーとグループ→ユーザー

を開き

　　「名前」をクリックして変更。
基本的にはこれでOK。

ただしこれだとユーザフォルダの名前が古いままで若干気持ちが悪い。

ユーザフォルダの名称を揃えるには、別な管理者アカウントでログインし、

C:\Users\の下のフォルダ名称を変更した上で、

レジストリエディタで

　　HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\WindowsNT\CurrentVersion\ProfileList

の下の
　　ProfileImagePath
の値をそれに揃えてやる事で、
次に該当ユーザでログインした際に辻褄が合う。　
この過程で、フォルダ名を変えようとして管理者アカウントでログインする時に
「ユーザの切り替え」をしてしまうと、元のユーザフォルダは使用中になっていて変更できないので
PCごと再起動する方がよい。

また、PCを再起動して別な管理者アカウントでログインしただけなのに
既に使用中になっていることもある。
自分の場合、Windows Media Playerのサービスがアクセスしていた。
　管理ツール→サービス
を開き、
　Windows Media Player Network Sharing Service
を「停止」させたところ、フォルダ名の変更ができた。

フォルダ操作をしようとしたときに「使用中です」となってしまう場合、
Unlocker を使うと何のプログラムがロックしているのか分かって便利。

ubuntuにapache-google-apps-ssoをインストール

2012-06-14T01:08:00.001+09:00

https://github.com/epotocko/apache-google-apps-sso
ApacheのレイヤーでGoogle Apps認証かけちゃうというもの。
mod_auth_memcookieというモジュールとphpを使ってる。

まずapt関係で必要なものをゲット。

apt-get install memcached php5-memcache
apt-get install apache2-prefork-dev libmemcache-dev

次に、mod_auth_memcookieをビルド。
http://sourceforge.net/projects/authmemcookie/files/
からソースをDLし展開。

tar zf mod_authmemcookie_v1.0.2.tar.gz
cd mod_authmemcookie_v1.0.2

ubuntuの場合apxs2のインストールパスが違うので、Makefileを修正。

MY_APXS=/usr/sbin/apxs2
↓
MY_APXS=/usr/bin/apxs2

ビルド＆インストール。

make
sudo make install

apacheのロードスクリプトを書く。
/etc/apache2/mods-available/auth_memcookie.load

#一行で書く
LoadModule mod_auth_memcookie_module /usr/lib/apache2/modules/mod_auth_memcookie.so

有効化。

sudo a2enmod auth_memcookie

引き続き、phpなどの設定。

/var/www/auth ディレクトリを認証モジュール用に使い、
その他サイト全体を認証の対象とすることにする。

https://github.com/epotocko/apache-google-apps-sso
の中のsrc/public直下のphpファイルと、src/GAppsディレクトリ自体を
/var/www/auth/下にコピー。

git clone https://github.com/epotocko/apache-google-apps-sso.git
cd apache-google-apps-sso/src
sudo mkdir /var/www/auth
sudo cp -rf GApps /var/www/auth/
sudo cp -rf public/* /var/www/auth/.

次にphp-openid。
12.04ならばaptで入れたものでもOKだった。

apt-get install php-openid

10.04だとバージョンが古くてうまく動かなかったので、公式から落としてきて
その中のAuthディレクトリを/var/www/auth/以下にコピーする。

git clone https://github.com/openid/php-openid.git
cp -rf php-openid/Auth /var/www/auth/

ここから下は https://github.com/epotocko/apache-google-apps-sso の
公式の情報と基本的に同じ。

/var/www/auth/settings.phpファイルを更新。
コメントアウトされていない二行を編集。

GApps_Session::$BASE_URL = 'http://【ホスト名】/auth/'; //動かすホスト名
GApps_Session::$DOMAIN_NAME = '【Google Appsドメイン名】';

apacheの設定を書き足す。
default編集するなり、別ファイル作ってVirtualHostに入れるなり。

<IfModule mod_auth_memcookie.c>
    <Location />
        Auth_memCookie_CookieName GOOG_SESSIONID
        Auth_memCookie_Memcached_AddrPort 127.0.0.1:11211
        ErrorDocument 401 "/auth/login.php"
        Auth_memCookie_Authoritative on
        AuthType Cookie
        AuthName "GApps Login"
    </Location>
</IfModule>

<LocationMatch "^/(?!auth)">
    Require valid-user
</LocationMatch>

apache再起動。

sudo /etc/init.d/apache restart

gitで名前やメールアドレスを置換する

2012-06-10T15:46:00.001+09:00

毎回調べてしまうので自分用メモ。

git filter-branch --commit-filter '
if [ "$GIT_COMMITTER_NAME" = "【修正前の名前】" ]; then
    GIT_AUTHOR_NAME="【修正後のAUTHORの名前】"
    GIT_AUTHOR_EMAIL="【修正後のAUTHORのメールアドレス】"
    GIT_COMMITTER_NAME="【修正後のCOMMITTERの名前】"
    GIT_COMMITTER_EMAIL="【修正後のCOMMITTERのメールアドレス】"
fi
git commit-tree "$@"
' HEAD

DjangoのURL namespacesのところを和訳した

2012-06-09T16:09:00.000+09:00

https://docs.djangoproject.com/en/dev/topics/http/urls/#url-namespaces
何回流し読みしてもよく分からないので、和訳した。

URL namespaces
URL ネームスペース

Namespaced URLs are specified using the : operator. For example, the main index page of the admin application is referenced using admin:index. This indicates a namespace of admin, and a named URL of index.

ネームスペースに関連付けられたURLは、：演算子を使い表現されます。例えば、adminアプリケーションのメイントップページは admin:index で参照されます。これはadminネームスペースのindexと名付けられたURLを示します。

Namespaces can also be nested. The named URL foo:bar:whiz would look for a pattern named whiz in the namespace bar that is itself defined within the top-level namespace foo.

ネームスペースは入れ子にできます。 foo:bar:whiz というURL名は、それ自身がfooというトップレベルのネームスペース内に定義されているbarというネームスペース内のwhizと名付けられたパターンを指します。

When given a namespaced URL (e.g. myapp:index) to resolve, Django splits the fully qualified name into parts, and then tries the following lookup:

与えられたネームスペースに関連付けられたURL（例…myapp:index）を解読する場合、Djangoは完全記述された名称を要素単位に分割し、以下の検索を試みます。

1. First, Django looks for a matching application namespace (in this example, myapp). This will yield a list of instances of that application.

まず、Djangoは一致するアプリケーションネームスペースを探します（この例の場合myapp）。該当するインスタンスのリストが抽出されます。

2. If there is a current application defined, Django finds and returns the URL resolver for that instance. The current application can be specified as an attribute on the template context - applications that expect to have multiple deployments should set the current_app attribute on any Context or RequestContext that is used to render a template.

もしカレントアプリケーションが定義されていれば、Djangoはそのインスタンスに対するURLリゾルバを探して返します。カレントアプリケーションはテンプレートコンテキストの属性として特定されます。複数デプロイされる事が想定されているアプリケーションは、テンプレートをレンダリングする時に使われるContextおよびRequestContextにcurrent_app属性がセットされるべきです。

3. The current application can also be specified manually as an argument to the reverse() function.

カレントアプリケーションはreverse()関数の引数として明示的に指定も出来ます。

4. If there is no current application. Django looks for a default application instance. The default application instance is the instance that has an instance namespace matching the application namespace (in this example, an instance of the myapp called myapp).

もしカレントアプリケーションが指定されない場合、Djangoはデフォルトアプリケーションインスタンスを探します。デフォルトアプリケーションインスタンスとは、アプリケーションネームスペースと一致するインスタンスネームスペースを持つインスタンスです（この例の場合myapp、と呼ばれているmyappのインスタンス（訳注：namespace="myapp",app_name="myapp"という事ですかね））

5. If there is no default application instance, Django will pick the last deployed instance of the application, whatever its instance name may be.

もしデフォルトアプリケーションインスタンスが無い場合、Djangoは最後にデプロイされたアプリケーションのインスタンスを取り上げます。そのインスタンス名（訳注：インスタンスネームスペース名？）が何であれ。

If the provided namespace doesn't match an application namespace in step 1, Django will attempt a direct lookup of the namespace as an instance namespace.

もし与えられたネームスペースがステップ１のアプリケーションネームスペースにマッチしない場合、Djangoはインスタンスネームスペースであるとして直接検索を試みます。

If there are nested namespaces, these steps are repeated for each part of the namespace until only the view name is unresolved. The view name will then be resolved into a URL in the namespace that has been found.

もしネームスペースが入れ子になっている場合、ビュー名が解決されるまでネームスペースの各要素ごとにこれらのステップが繰り返されます。ビュー名は見つかったネームスペース内のURLとして解決されます（訳注：ここ適当。ここに限らないけど）。

To show this resolution strategy in action, consider an example of two instances of myapp: one called foo, and one called bar. myapp has a main index page with a URL named index. Using this setup, the following lookups are possible:

この解決手順を順を追ってお見せするため、例として２つのmyappのインスタンスを考えます。片方はfoo、もう片方はbarです。myappのトップページのURLにはindexという名前がついています。この設定に基づき、以下の検索が可能です。

・If one of the instances is current - say, if we were rendering a utility page in the instance bar - myapp:index will resolve to the index page of the instance bar.

もしどちらかのインスタンスがカレントならば…すなわち、barインスタンスのユーティリティページをレンダリングしていた場合、myapp:indexはbarインスタンスのトップページとして解決されます。

・If there is no current instance - say, if we were rendering a page somewhere else on the site - myapp:index will resolve to the last registered instance of myapp. Since there is no default instance, the last instance of myapp that is registered will be used. This could be foo or bar, depending on the order they are introduced into the urlpatterns of the project.

もしカレントインスタンスが無い場合…すなわちサイト内の何か別なページをレンダリングしていた場合…myapp:indexはmyappのうち最後に登録されたインスタンスに対して解決されます。デフォルトインスタンスが無いので、登録されたmyappの内最後のインスタンスが使われます。fooでもbarでも、プロジェクトのurlpatternsに登録された順に依存します。

・foo:index will always resolve to the index page of the instance foo.

foo:index は常にfooインスタンスのトップページとして解決されます。

If there was also a default instance - i.e., an instance named myapp - the following would happen:

もしデフォルトインスタンスもあった（インスタンス名がmyappとなっていた）場合、以下のようになります。

・If one of the instances is current - say, if we were rendering a utility page in the instance bar - myapp:index will resolve to the index page of the instance bar.

もしどちらかのインスタンスがカレントならば…すなわち、barインスタンスのユーティリティページをレンダリングしていた場合、myapp:indexはbarインスタンスのトップページとして解決されます。

・If there is no current instance - say, if we were rendering a page somewhere else on the site - myapp:index will resolve to the index page of the default instance.

もしカレントインスタンスが無い場合…すなわちサイト内の何か別なページをレンダリングしていた場合…myapp:indexは、デフォルトインスタンスのトップページとして解決されます。

・foo:index will again resolve to the index page of the instance foo.

foo:index はこの場合もfooインスタンスのトップページとして解決されます。

和訳したけど正直なところイマイチピンとこない。
とりあえずインスタンスネームスペースの方がアプリケーションネームスペースより粒度が小さい…という解釈でいいのだろうか。

Glipperがエラーで落ちまくるのを直す

2012-06-07T10:54:00.000+09:00

Ubuntu 12.04 preciseにしてからなぜかGlipperがエラーで落ちまくっていた。

単に再インストールしたら直った。

sudo apt-get remove glipper
sudo apt-get autoremove
sudo apt-get install glipper

あるディレクトリ以下のファイルの拡張子の一覧を取得するワンライナー

2012-06-04T17:07:00.000+09:00

find -type f | sed -e 's/^.*$[\.|\/].*$$/\1/' | sort | uniq

拡張子無しの場合はファイル名を出す。ような動きになるはず。

こういうの書くときsedよりperl使うようにしようかなー。
perlの正規表現の方がメジャーだし。
いい思い出ないけど。

Vimで文字コード変更

2012-05-31T23:47:00.001+09:00

MySQL4にEUCで入っているデータをUTF-8に変換しようとして、
mysqldumpでSQL出してnkfで文字コード変換した。

それを流し込んだところ、SQLの構文エラーが出る。
よく見てみたところ、SQL内の文字列の終わりのクォーテーションが無い。

(1,2,'あいうえお1かきくけ,'さしすせそ')

みたいになっている。

nkfの変換前のデータをあらためて調べてみると、
その部分にマルチバイト文字の前半がゴミとして挟まっていた。

(1,2,'あいうえお1かきくけゴミ','さしすせそ')

こんな感じ。
nkfだとそのゴミを直後のクォーテーションと絡めて消してしまうようだ。

さほど巨大ではないSQLだったので、Vimで変換した。
Vimで開き、

:e ++enc=eucjp-ms
:set fileencoding=utf8
:wq!

これでEUC→UTF-8に変換して保存できる。

該当箇所のゴミは「?」になるようだ。

(1,2,'あいうえお1かきくけ?','さしすせそ')

virt-managerでlibvirtdに繋ぐ場合

2012-05-26T21:37:00.000+09:00

何も考えずにlibvirtdインストールして動かして、
そこにvirt-managerインストールして動かして接続しようとすると
Not Connectedの状態になって繋がらない。
でもsudoで動かすと繋がる。

そんな場合はユーザをlibvirtdグループに追加すればよい。

sudo usermod -a -G libvirtd 【自分のユーザ名】

設定したら一度ログアウトしてログインしなおす。

mysqldumpでlocalhostのポート指定

2012-05-21T15:49:00.001+09:00

リモート環境のmysqlをsshポートフォワード経由でlocalhost:13306にマップして接続し、
ローカル環境のmysqlとスキーマ等の違いを確認するためにmysqldumpを使った。
manを見る限り、ポート番号は -P または --port= で指定出来ると書いてある。

mysqldump -h localhost -P 13306 -u XXX -p XXX -d --compact XXX > out.sql

そしてローカルのmysqlに対し同様に出したsqlと比較。

奇跡の完全一致。

そんなバカな。

ローカルのmysqlを停止させて実行してみる。

mysqldump: Got error: 2002: Can't connect to local MySQL server through socket '/var/run/mysqld/mysqld.sock' (2) when trying to connect

やっぱり。

エラーメッセージからするに、ドメインソケットを使ってるっぽい。
-P 指定していてもお構いなしっていうのはどっちかというとバグなんじゃないのかな。

強制的にTCPを使用させればうまくいく。

mysqldump --protocol=TCP -h localhost -P 13306 -u XXX -p XXX -d --compact XXX > out.sql

mysql5.5のcharset指定

2012-05-03T20:13:00.002+09:00

ubuntu 12.04のmysqlは5.5。

DBのデフォルトの文字コードをutf8にするのに前までは
/etc/mysql/conf.dの下に charset.cnf とか適当な名前で

[mysqld]
default-character-set=utf8

と書いていたけど、5.5だとエラーになってしまう。

[mysqld]

character-set-server=utf8

に書き換える。

Ubuntu 12.04入れてみていくつか

2012-04-28T01:43:00.002+09:00

Ubuntu 12.04入れてみました。
ネイティブで11.10が動いているもののアップグレードと、
VirtualBox上にクリーンインストールと。

気付いた点を何点か。

まず11.10からのアップグレードの方。

アップグレードの場合、まずパッケージファイルをダウンロードした後に
一つずつインストールされていきますが、
私の場合そのインストール中にウィンドウやランチャーなどが消え
壁紙だけの状態になってしまいました。

やむなく電源を落として再起動したところ、途中で固まってしまう状態に。

解決策は、grubで古いカーネルのリカバリモードを選択して起動し、
そこからdpkgを選択してインストールの続きを行うこと。
設定ファイルが修正されていて、残すか上書きするかを聞いてきたりしたときは
見づらいですが頑張って読みましょう。

　　それ以外は特になし。

次に12.04のクリーンインストールの方。

ランチャーをAuto hideにするとうまく動作しません。
マウスカーソルを左端に持っていっても表示されません。
http://ubuntuforums.org/showthread.php?t=1965991
どうやらバグのようです（ちなみに11.10からアップグレードした方は普通に大丈夫）。
修正を待ちましょう。

フォントの変更がデフォルトではできません。
gnome-tweakをインストールします。

こっちの環境では英語キーボードを使っていて、Alt+「`」でiBusのon/off切り替えをするのですが
デフォルトだと「同じアプリ内のウィンドウのスイッチ」として動作してしまいます。
1. System Settings...から
2. [Keyboard]-[Shortcuts]-[Navigation]と辿り、
3. [Switch Windows of an application]がデフォルトで[Disabled]となっているのですが、
  一度それに何か適当なショートカットキーを割り当て、削除します。
  これで解決。

開発にAptana Studio 3を使っているのですが、
ダウンロードして展開してaptana_studio_3を起動しても
ランチャー上で固定できません。
解決策として、

alacarte を起動
Programmingを選択して「New Item」をクリック
メニュー項目の設定をして保存する
dash homeから3.で作った項目を検索し、クリックして実行する
ランチャーに出てきたアイコンを固定する

とするのが楽。

Ubuntuにmecab+groonga+mroongaをソースからインストール

2012-04-28T01:08:00.001+09:00

Ubuntuにmecab+groonga+mroongaをソースからインストールする。

mroongaのサイトにある手順ではリポジトリ追加してapt-get install、で
それはもう簡単にインストールできたのですが
その後mysqlがアップデートされたらうまく動かなくなってしまったので
ひと通りソースからビルドしました。

以下はバイナリやライブラリは/usr/bin/,/usr/lib/など、
confは/etc/に配置する手順です。

ビルドに必要なものをインストール
sudo apt-get install build-essential
sudo apt-get install libtool
sudo apt-get install autoconf
sudo apt-get install apt-src
sudo apt-get install libmysqlclient-dev
mecabをビルドしてインストール

http://mecab.googlecode.com/svn/trunk/mecab/doc/index.html#download
ここからのリンクでソースをゲット。
今はmecab-0.993.tar.gzでした。
tar zxf mecab-0.993.tar.gz
cd mecab-0.993
./configure --prefix=/usr \
--sysconfdir=/etc \
--with-charset=utf8
make
sudo make install
sudo ldconfig
mecabの辞書をビルドしてインストール

上のリンク先の「IPA辞書」をダウンロード。
今はmecab-ipadic-2.7.0-20070801.tar.gzでした。
tar zxf mecab-ipadic-2.7.0-20070801.tar.gz
cd mecab-ipadic-2.7.0-20070801
./configure --prefix=/usr \
--sysconfdir=/etc \
--with-charset=utf8
make
sudo make install
groongaをビルドしてインストール

https://github.com/groonga/groonga/tags
から、タグ振ってあるものをダウンロード。
今回はgroonga-groonga-v2.0.1-0-g700532f.tar.gz
というファイル名でダウンロードしました。
tar zxf groonga-groonga-v2.0.1-0-g700532f.tar.gz
cd groonga-groonga-4627bd1
./autogen.sh
./configure --prefix=/usr \
--sysconfdir=/etc \
--with-default-encoding=utf8
make
sudo make install
sudo ldconfig
mroongaをビルドしてインストール

mysqlのソースをaptでゲット。
apt-src install mysql-server
今回はmysql-5.1-5.1.62というディレクトリにソースが落ちました。

https://github.com/mroonga/mroonga/tags
から、タグ振ってあるものをダウンロード。
今回はmroonga-mroonga-v2.01-0-g8378adf.tar.gz
というファイル名でダウンロードできました。
tar zxf mroonga-mroonga-v2.01-0-g8378adf.tar.gz
cd mroonga-mroonga-1bfcbe2
./autogen.sh
./configure --prefix=/usr \
    --sysconfdir=/etc \
    --with-mysql-source=$PWD/../mysql-5.1-5.1.62 \
    --with-mysql-config=/usr/bin/mysql_config \
    --with-default-parser=TokenMecab
make
sudo make install
apparmorの設定を変更

ubuntuではmysqldの動きはapparmorで制限されていて、
このままではMecabの辞書もgroongaの設定ファイルも参照できないので、
アクセス出来るように設定を追加します。

以下の内容のファイルを作成します。
/etc/apparmor.d/abstractions/mysql-server-mroonga
/usr/lib/groonga/plugins/ r,
/usr/lib/groonga/plugins/** rm,
/etc/mecabrc r,
/usr/lib/mecab/ r,
/usr/lib/mecab/** r,
以下のファイルに、追記します。
/etc/apparmor.d/local/usr.sbin.mysqld
#include <abstractions/mysql-server-mroonga>
mysqlにプラグインを登録

mysqlにログイン。
mysql -uroot -p
password:
プラグイン登録。
mysql> INSTALL PLUGIN mroonga SONAME 'ha_mroonga.so';
funtionの登録。
mysql> CREATE FUNCTION last_insert_grn_id RETURNS INTEGER soname 'ha_mroonga.so';

以上で、動くようになりました。

この情報は2012/04/26頃の情報です。

apacheでhttps→httpにリバースプロキシかける場合

2012-04-15T23:44:00.000+09:00

社内で使う用にgitlab をセットアップしようと思った。
公式ドキュメントを参考にやってみる。

rubyはバージョン間の互換性がアレなので、rvmを使うことにした。
そこまでで既にrubygemsのバージョンが古くてうまくいかないとか心が折れそうになったが、
ひとまずgitlab用のユーザで入るとruby1.9.2が見えるようにはなり、
WEBrickで起動も確認できた。
（そこまでのところは、変なものを書き残してしまうと逆に
　後世の人に対する罠になりそうなのであえて書かないｗ）
（あえて一点いうなら、sudo -u gitlab bundle exec rake gitlab_status のところは
　sudo -u gitlab bundle exec rake gitlab_status app:gitlab:status が正しい）

そして公式ドキュメントではunixドメインソケットでunicornとnginxを繋いでいるが、
今回のサーバでは既にapacheが動作しているので
unicornをlocalhostの適当なポートで動かして
mod_proxyでそこにアクセスを回すことにした。

さらに外からのアクセスはHTTPSにしようとした。

<VirtualHost _default_:443>
        ServerName XXX.XXX.XXX.com

        <Proxy *>
                Order deny,allow
                Allow from all
        </Proxy>
        
        ProxyPass / http://localhost:8081/
        ProxyPassReverse / http://localhost:8081/

            :

みたいな感じの設定を書いてみたのだが、
アクセスしてみるとgitlab内でリダイレクトが起きた時に
「http://localhost:8081/〜」に飛ばすレスポンスが帰ってきてしまった。
よく考えれば、gitlabの立場からすれば相手にしているのは
「http://localhost:8081/〜」でアクセスしてきたapacheなので当たり前。

設定に以下を追加して、ひと通りきちんと動くようになった。

ProxyPreserveHost On
RequestHeader set X_FORWARDED_PROTO 'https'

RequestHeaderは mod_headersの機能なので、それも追加する。

ubuntu oneがうまくアップロードされなくなった場合(ubuntu)

2012-04-11T09:09:00.001+09:00

以前のエントリでUbuntu OneのWindows版クライアントが
うまく動作しなくなった場合の対策を書いたが、
Ubuntuの方もファイルがあるのにうまくアップロードされていない、という現象がたまに起きる。

自宅で書いたサンプルコードをUbuntu Oneディレクトリ内にgit pushして、
翌日やる気満々で職場のPCでpullしてobjectファイルが無い、と出ると
かなり精神的ダメージがでかい。

Windows版の対策と同じような処理をするのは
こんなシェルスクリプトでいけそう。

u1refresh.sh

#!/bin/bash
u1sdtool -q
rm ~/.local/share/ubuntuone/syncdaemon/tritcask/*
u1sdtool --start

実行後しばらく待つと、再度同期が始まる。はず。

ご利用は自己責任で。

FireFoxをTLSv1で繋がせる

2012-04-08T15:31:00.000+09:00

FireFox11.0でhttpsで通信すると、SSLv3で接続される。

何が問題かというと、
SSLサーバをVirtualHostでリバースプロキシしているところにアクセスしようとしたとき。
Client Helloの時にサーバ名が渡されないので、
アクセスしようとしているVirtualHostで設定している証明書が渡されず、
エラーとなってしまう。
ChromeだとOK。

サーバ側の設定で何とかできないか調べたけど結局良く分からない。
とりあえずWorkaroundとしてはこれ。
https://addons.mozilla.org/en-US/firefox/addon/force-tls/
Force TLSというアドオンを入れ、URLを設定する。
これでひとまずはエラーが出ないようになる。

Django+MySQL+Cast as SIGNED INTEGERでTruncated incorrect INTEGER valueでUnicodeEncodeErrorなところから逃げ延びる

2012-04-06T16:12:00.001+09:00

Django+MySQLで、unicodeの全角文字と数字が混じった列のdistinctな一覧を
【数字の昇順】→「文字順」で取得したい。
単純に文字順にしてしまうのは 1,10,11,2,3,4 になるのでだめなパターン。

QuerySet APIの distinct はPostgreSQLでしかサポートされていないので、
DBのViewを書いた。

create view app_view1 as
select distinct col1,
    case when length(col1) = 0 then 0
                when cast(col1 as UNSIGNED INTEGER) > 0 then cast(col1 as UNSIGNED INTEGER)
                else 2147483647 end as sort
from table1

ちなみに本題とはあまり関係ないけどModelはこんな感じ。

class View1(models.Model):
    col1 = models.CharField(max_length=10,blank=True,primary_key=True)
    sort = models.IntegerField()
    class Meta:
        app_label="app"
        ordering=["sort","col1"]
        managed=False

文字はsortを十分に大きくしておいた上でsort昇順→col1昇順にすればいいはず。

MySQL Workbenchからだとゴキゲンに動作する。

実際に実行する。タイトルのような文字列を叫んで憤死する。

原因としては、実際にはMySQL内で実行した際にcastで「Truncated incorrect INTEGER value：'【文字列】'」というwarningが出ており、
それをMySQLdbモジュールが拾おうとしてしまって、【文字列】部分がUnicodeになっているせいでUnicodeEncodeErrorになるという
余計な事すんなよというもの。

何とかする方法を考える。
・MySQLdbをいじる（UnicodeEncodeErrorを吐かないようにする）→できればやりたくない
・Djangoをいじる（warningを拾わないようにする）→できればやりたくない
・継承で何とかする→djangoのdb backendを作れば何とか出来るんだろうができればやりたくない
・MySQLでWarningを出さないようにできないか→MySQL Suppress Warningとかでググる。死屍累々。
・あきらめてPython上で並べ替えをする→今回はいいがこんな感じので大量のデータに対してやろうとしたらどうするよ

SQLに立ち戻る。
要は数字だけ以外の場合に、CASTさえしなければよい。

MySQLにはREGEXPがあった。

create view app_view1 as
select distinct col1,
    case when length(col1) = 0 then 0
                when col1 REGEXP '^[[:digit:]]+$' then cast(col1 as UNSIGNED INTEGER)
                else 2147483647 end as sort
from table1

何とか逃げ延びた。

MySQLでSELECT時に連番生成

2012-04-06T10:37:00.000+09:00

OracleでいうROWNUM()みたいなやつがやりたい。

アドホッククエリとしては、こうすればできるっちゃできる。
SELECT @rownum:=@rownum+1 rownum, t.* FROM (SELECT @rownum:=0) r, table1 t;

でもこれをViewにしようとしたら、MySQLはView内でサブクエリ使えない。

詰んだ。