少年よ大志を抱け

ブログ更新休止

2011-06-14T16:59:00.001+09:00

2年近くまともに更新していないところに休止もなにもないけど、今後ですら技術系知見を

深めていけなさそうなので、いったんこのブログは「休止」とします。

といいつつ、buzzやtwitterと棲み分けたとりとめのない近況ブログをはじめる、かもしれな

い。。。

Androidからの更新テスト

2011-02-05T21:08:00.001+09:00

1年以上ぶりの更新は仕事もせず、旅行先のインドからのエントリー。
すっかりbuzzでしか近況をつづってないけど、このblogger公式アプリもなかなか使いやすそうなのでがんばって更新してみよう。

Nexus Oneがやってきた

2010-01-16T19:43:00.002+09:00

いわゆるGoogle Phone(HT-03A)を使ってたけど、Nexus OneよさげだなぁとぼやいていたらNYにいる方が送ってくれるかもしれないとのこと!
日本でちゃんと使えるかどうかわからないし、今年早々にはソニエリだのSHARPだのが出すのだろうけど、海外からの嬉しいメッセージにノリで反応してみたらこれが大正解!(ちなみに$529+NY州税$46.95+送料速いやつで$40ぐらいらしい)。

仕事で死んでるので軽いレビューとしては下記の通り。

HT-03Aと比べると速度が別次元に近く速い。ホームに戻る時に固まった感じになることが多かったのが、まるでなくなって相当快適。
巷では片手で使えない？らしいのだけど、普通に片手で使ってる。
箱から出してDoCoMoのSIMを指して起動 → ロケールを見てるんだかで日本語が表示される。
APNの設定をmopera.net(open.mopera.net)に設定(ビズホ契約が必要かも) → 3Gで繋がります(mpr.bizho.net、mpr2.bizho.netはダメでした)

パケ死するかどうかは引き続きチェック中だけど、大丈夫みたい。

(続報)翌日、再チェック。増えてない。大丈夫、大丈夫、、、

↓

PdaNetでBluetooth経由でのインターネット接続ができる!

Bluetooth Keyboard(RBK-2100BTJ)はやっぱり繋がらず、、、KeyProも入れてみたけど使い方がよくわからず断念。。。前やったみたいにrootとればいけるとは思うけど、また暇だったらいじってみる。
地味に便利になったこと

連絡帳の検索は前方一致のみだったけど、部分一致になった。
「実行中のサービス」というアプリから使用メモリの確認や終了ができるようになった。
Quickofficeがバンドルされていてオフィス文書とかPDFが普通に見れる。
ステレオミニジャックが上についている、ということは充電しなが音楽が聞ける(HT-03Aはそれができなかった)。

まだ不満なこと

GMailの文章からコピーができない、電話番号とか書かれていると悶絶する。
正直ホームとかバックボタンはHT-03Aのハードウェアボタンのほうが使いやすい。

【宣伝】マネージドサービスFORTS+Plusの裏側を聞いてみた

2009-11-26T15:27:00.000+09:00

その昔、インテルオンラインサービスという当時としてはものすごく豪華絢爛なサービスにいたく感激。自分たちも、求められているのは単なるサーバの箱貸しではなく、人と人とで信頼してまかせてもらえるサーバインフラなのかもしれない、と思いたった2003年のはじめ頃。FORTSというサービス名でフルマネッジド・ホスティングサービスを立ち上げてから、はや6年。大幅にパワーアップさせたらしい「FORTS +Plus」について詳細を聞いてみた。

Q. プラス(+Plus) ってついてるけど、今までと何が変ったの？

A. [担当I] 基本的なサービス構成に変更はありませんねー。

Q. え、、じゃあこの不況下だからって値段下げただけ？

A. [担当K] 確かに、そう思わてもしょうがないかも。

Q. おいおい、せっかくプレスリリース出したんでしょ。。。なにか説明しようよ、、、

A. [担当I] うーん、でも新サービス用に上位回線を増強したり、ルータからラックからまったく別の見直しをしてセキュアな構成を実現したと言ってもそれが売りになるわけでもなく。。。

[担当K] 実際リモートでコンソールを覗いたり、ネットワークブートできるようにしてるからどうだって感じですしね。

Q. まーそりゃお客さんにとっちゃどーでもいい話なのかもだけどさ、、、

A. [担当K] あー前からちょっと違うのはステージングサーバを仮想化させましたよ。

Xenを使って共有サーバだろうが、専有サーバだろうが、コンテンツ毎に提供されるので、だいぶと使いやすくなっているはずです。

Q. おーそうそう、そういうの大事。世の中でMSPを名乗る企業はいっぱいあるけど結局Webにおける制作や開発は開発用サーバがないと話にならないし、そこを含めてパッケージして、、、

A. [担当I] まぁでも前からやってますしね、、、セキュリティや利便性の度合はだいぶと上がりましたけど。それに結局規模が大きくなるとサーバを20台とか並べてどん、みたいな案件になってしまいますし、、、

Q. だよね、、、うーむ、やっぱりわかりにくい、、、が、まーよりキャンペーン展開やECを載せる環境としては充実しましたよーってことで。

A. [担当I] ですね。あまり目玉とか売り、とかよりもマネージドを昔からやってきた老舗として正常に進化してきましたってのをお客様にちゃんとご説明していきたいです。

はい。IさんKさん、ありがとうございました。
また、かなり役員からいろんな部署の人達が走りまわって仕上げていたとのことで、おつかれさまです!
というまったくのネタぽい内容のみで申し訳ございませんが、皆様どうかよろしくお願い致します! m(__)mペコ

最強ランチャ「ファイル名を指定して実行」

2009-09-11T23:02:00.004+09:00

(bloggerが「続きを読む」に対応したぽいので、細いネタをアップしてみる)
スタートメニューの「ファイル名を指定して実行」をランチャとして使っている人は、、、時々いるらしい。
calcとかnotepadとか一発で起動するものはこちらとかこちらが詳しいけど、個人的に便利に使っている方法は、、、
Read more »

Emacs + Ant でAndroid開発

2009-08-29T16:43:00.006+09:00

つくづくいい時代になってきたなぁと思うのが、自分でモバイル端末のアプリをすぐ作れること。

もちろん、PalmからはじまってWindowsCE、IPhone、iアプリ(?)とかいろんな端末を触ってきてなんか作ってみたいなと試してみたけれど、どれも途中挫折。なんか、本気入れてプログラム開発して商売するのであれば開発ツールにコストかけたり、低級言語でがんばるけどもっと気軽に自分専用のちょっとしたアプリでもいいからモバイル端末で走らせたい、ってとこにはいかなかった。

が、Androidの開発はすごくやりやすい(もちろん個人的にだけど)。エディタで修正 → コンパイル指示 → 実機確認がすぐに実行できる環境がフリーで提供されている。

そして、こんなアプリでも全世界に公開しちゃったりできる(開発者登録には$25かかるけど。)

てことで、自分がやってる方法は下記の通り。

Emacsでソースを開いてC-cC-cでコンパイルから実機インストールまで一発で実行する!

Android 1.5 SDKと、JDK、antをインストール。

Cygwin

NTEmacs

ソース中に日本語を書きたいので、テンプレートを修正しておく

c:/android-sdk-windows-1.5_r2/platforms/android-1.5/templates/android_rules.xml
        <javac encoding="ascii" target="1.5" debug="true" ...
                        ↓
        <javac encoding="utf-8" target="1.5" debug="true" ...

開発したアプリには署名をしなくてはいけないので、鍵をつくっておく[JDKに附属しているコマンド]

$ keytool -genkey -keystore (キーストアファイル名) -validity 10000 -alias (キーエイリアス)
いろいろ聞かれるので、(ストアパスワード)と(キーパスワード)を入力

さっそく開発用のプロジェクトを作成

$ android create project --package test.hello --activity HelloAndroid --target 2 --path ./HelloAndroid

スケルトンが展開されるので、build.xmlに下記を追加

    <setup />
    ...ここから...
    <property name="out-signed-package" value="${out-folder}/${ant.project.name}.apk"/>
    <target name="deploy" depends="compile">
      <signjar jar="${out-folder}/${ant.project.name}-unsigned.apk"
               signedjar="${out-signed-package}"
               alias="(キーエイリアス)" storepass="(ストアパスワード)"
               keypass="(キーパスワード)" keystore="(キーストアファイル名)"
               />
      <exec executable="${adb}" failonerror="true">
        <arg value="-d" />
        <arg value="install" />
        <arg value="-r" />
        <arg path="${out-signed-package}" />
      </exec>
    </target>
...ここまで...
</project>

Android携帯をUSBに接続

設定→アプリケーション→開発から「USBデバック」と「スリープモードにしない」をONしておく

これで準備OK～。

下記のコマンドで実機インストールまで一発で終る
$ ant deploy
Buildfile: build.xml
    [setup] Project Target: Android 1.5
    [setup] API level: 3

dirs:
     [echo] Creating output directories if needed...

resource-src:
     [echo] Generating R.java / Manifest.java from the resources...

aidl:
     [echo] Compiling aidl files into Java classes...

compile:
    [javac] Compiling 2 source files to d:\dev\HelloAndroid\bin\classes

deploy:
     [exec]     pkg: /data/local/tmp/HelloAndroid.apk
     [exec] Success
     [exec] 446 KB/s (13246 bytes in 0.029s)

BUILD SUCCESSFUL
Total time: 4 seconds

;; Emacs上では
(add-hook 'java-mode-hook
          '(lambda ()
             (define-key java-mode-map "\C-c\C-c" 'compile)
             ))
を.emacsに追加。
ソースを開いてる状態でC-cC-c、コマンドは
cd (ソースの展開ディレクトリ) && ant -emacs deploy
を指定してEnter

CodeIgniterでCookieにsecure属性をつける

2008-11-20T14:13:00.003+09:00

すごい久しぶりの更新。
ひょんなことでお話しさせていただいたyudouhuさんから「CodeIgniter いいですよ」と聞き、ひょ
んなタイミングで調べてみたら、存外よかった。
特徴的だと思ったのはセッションの管理機構がデフォルトではCookieをそのまま使用するらしく、
暗号化もできるということで、ちょっと調べてみたらsecure属性はつけられないみたいだった。
ここでもちょっと書いたけど、我が国ではCookieのsecure属性については敏感な部分がある
ので、パッチにしてみた。
まるでたいした修正じゃないし、set_cookie というヘルパー関数も初期インストール状態では
どこからも参照されていなかったので、そのままいじる。

$this->load->helper('cookie');
#で
set_cookie($name, $value, $expire, $domain, $path, $prefix, 1);
#もしくは
$cookie = array(
                'name'   => 'The Cookie Name',
                'value'  => 'The Value',
                'expire' => '86500',
                'domain' => '.some-domain.com',
                'path'   => '/',
                'prefix' => 'myprefix_',
                'secure' => '1'
               );
set_cookie($cookie);

と書く。以下、パッチ。

*** cookie_helper.php.orig Thu Nov 20 12:25:28 2008
--- cookie_helper.php Thu Nov 20 12:28:52 2008
***************
*** 40,54 ****
   * @param string the cookie domain.  Usually:  .yourdomain.com
   * @param string the cookie path
   * @param string the cookie prefix
   * @return void
   */
  if ( ! function_exists('set_cookie'))
  {
!  function set_cookie($name = '', $value = '', $expire = '', $domain = '', $path = '/', $prefix = '')
   {
    if (is_array($name))
    {  
!    foreach (array('value', 'expire', 'domain', 'path', 'prefix', 'name') as $item)
     {
      if (isset($name[$item]))
      {
--- 40,55 ----
   * @param string the cookie domain.  Usually:  .yourdomain.com
   * @param string the cookie path
   * @param string the cookie prefix
+  * @param bool the cookie secure flag
   * @return void
   */
  if ( ! function_exists('set_cookie'))
  {
!  function set_cookie($name = '', $value = '', $expire = '', $domain = '', $path = '/', $prefix = '', $secure = 0)
   {
    if (is_array($name))
    {  
!    foreach (array('value', 'expire', 'domain', 'path', 'prefix', 'name', 'secure') as $item)
     {
      if (isset($name[$item]))
      {
***************
*** 89,95 ****
     }
    }
   
!   setcookie($prefix.$name, $value, $expire, $path, $domain, 0);
   }
  }
   
--- 90,96 ----
     }
    }
   
!   setcookie($prefix.$name, $value, $expire, $path, $domain, $secure);
   }
  }

joomla-users.jpをいじる

2008-07-15T00:32:00.000+09:00

会社の同僚が当然ノープランでjoomla-users.jpをとってさっそく運営をはじめた。

まずこの初期デザイン変更しようよって思いつつも、まー日本では全然知名度ないしある程度有意義なサイトになればと願ってます(協力もするよー)。

PHP: セッションにセキュリティ対策する

2008-07-12T09:44:00.001+09:00

PHPには標準でセッションの管理機能が組み込まれているので平易に使うことができるけれど、これがなかなか曲者。
そのまま使ってダメな理由はここが詳しくて、ざっくり書くと下記の通り。

そもそもセッションIDの書式チェックがされてない
初期設定ではCookieにsecure属性がついてない
SSLに移行しても同じIDを使い続ける

ここらへんは設定の問題や、回避処理を忘れずに入れておけば問題ないのだけど、HTTPからHTTPS、HTTPSからHTTPへのセッションの移行とかが必要になるとちょっと別口の方法を用意しておかないと簡単には実現できない。ようわ、

HTTP中をセッションID12345で移動しているとして、
SSLに移行時には同じIDが危険なので67890に変更する
ただ、CookieにsecureフラグがついているのでHTTPに戻った時に67890が取得できないので
HTTPとHTTPSの両方で保持しておきたい情報はセッションには入れられない
よって、都度渡すか別途データベース等に外部的に保存しておくしかない

(大嘘だったらゴメンナサイ)
そこらへんもろもろの対策と外部DBではなくCookieに保存するようにしたのが下記の通り。(CSRF対策と冗長な注意事項と言い訳のおまけ付き)

<?php
/* strict_session.php (セキュアなセッション管理)
 *
 * - PHP5.1.0以上じゃないと使えない
 * - 携帯には対応してない。Cookieに対応していない端末やUA、IPが
 *   ころころ変ることがある為。
 * - session_idは特定のルールで設定し、書式チェックを行う
 * - ハッシュ生成はsha1を使うように
 * - また、SSLかはポートで判別してるのでProxyの裏側でも使えない
 * - セッションの破棄はstrict_session_destroy()を使ってhttpとhttpsで
 *   それぞれやる必要がある
 * - セッションIDの変更時には元のセッションを破棄
 * - Cookieのパスや有効期間は都度設定する必要があるかもしれない
 * - HTTPSに移動したらセッション名とIDを変更
 * - Cookie以外でセッションのやりとりをしない(trans_sidをOFF)
 * - UAとIPが一致しなかったら新規セッションとする
 * - そのままだとHTTPのセッションはHTTPSで使えないが、明示的に
 *   strict_session_serializeを使うことで値の受渡しが可能。
 * - POSTで渡さない場合は外部DB化することが必要
 * - まとめると
 *   HTTPとHTTPSの両方から参照したいデータ: カートのデータ等
 *     -> 外部DB化して、両方から参照できるようにする
 *   HTTPSのみのデータ: 個人情報系
 *     -> HTTPSのセッションに保存する(HTTPには決っして飛ばない)
 * - 外部DBをCookieで代替、あまり大きいデータは保持できない
 */

// UAを保存するセッション名
define('STRICT_SESSION_UA_NAME','strict_session_user_agent');

// IPアドレスを保存するセッション名
define('STRICT_SESSION_RA_NAME','strict_session_remote_addr');

// HTTP <-> HTTPS 間で受渡しされるセッション名
define('STRICT_SESSION_ENCRYPT_NAME','strict_session_serialized');

// HTTP <-> HTTPS 間で受渡しされる暗号化キー文字列
// 外部に漏れると中身が見られてしまう恐れがある。
// サイト毎に変更すること
define('STRICT_SESSION_ENCRYPT_KEY','keuiqdzR87m4X7xDF39sSqoH');

// CSRF対策用のセッション名
define('STRICT_SESSION_CSRFM_NAME','strict_session_csrfm');

/*
 * セキュアなセッションを開始
 */
function strict_session_start() {

    // セッションはCookieのみを使用
    ini_set( 'session.use_only_cookies', 1 );
    // md5よりさらに予測困難なsha1でセッションIDを生成
    ini_set( 'session.hash_function', 1 );
    // セッションIDをURLパラメータに書かない
    ini_set( 'session.use_trans_sid', 0 );
    // HTTP <-> HTTPS 間でセッションの受渡しやCSRF対策でフォームに
    // 自動付与されるoutput_add_rewrite_varでURLパラメータに書かれ
    // ないようにする
    ini_set( 'url_rewriter.tags', 'form=' );

    // HTTPS通信時にはCookieにセキュア属性をつけ、セッションの名前
    // も変更する
    if($_SERVER['SERVER_PORT']==443){
        ini_set( 'session.cookie_secure', 1 );
        session_name('SECURE_'.session_name());
    }

    // セッションの開始
    session_start();

    $invalid=FALSE;

    // sha1でセッションIDのハッシュ値を生成した場合の書式チェック
    if(! preg_match('/[0-f]{40}/', session_id())){
        $invalid=TRUE;
    }
    
    // IPとUAが同時に一致しなかった時のみエラーとする
    if(
       (
        $_SERVER['HTTP_USER_AGENT'] && $_SESSION[STRICT_SESSION_UA_NAME] &&
        ($_SERVER['HTTP_USER_AGENT'] != $_SESSION[STRICT_SESSION_UA_NAME])
        )
       &&
       (
        $_SERVER['REMOTE_ADDR'] && $_SESSION[STRICT_SESSION_RA_NAME] &&
        ($_SERVER['REMOTE_ADDR'] != $_SESSION[STRICT_SESSION_RA_NAME])
        )
       ){
        $invalid=TRUE;
    }
    
    $_SESSION[STRICT_SESSION_UA_NAME]=$_SERVER['HTTP_USER_AGENT'];
    $_SESSION[STRICT_SESSION_RA_NAME]=$_SERVER['REMOTE_ADDR'];
    
    if($invalid){
        // セッションを破棄して新しいセッションを開始
        strict_session_destroy();
    }
    
}

/*
 * セッションIDを変更して元のIDを削除する。
 * - PHP 5.1.0 以降でのみ正しく動作
 */
function strict_session_regenerate_id(){
    return session_regenerate_id(TRUE);
}

/*
 * セッションを完全に削除
 */
function strict_session_destroy(){
    // セッション変数を全て解除する
    $_SESSION = array();

    // セッションを切断するにはセッションクッキーも削除する。
    // Note: セッション情報だけでなくセッションを破壊する。
    if (isset($_COOKIE[session_name()])) {
        setcookie(session_name(), '', time()-42000, '/');
    }

    // HTTP <-> HTTPS 間でセッションの受渡し用Cookieも削除
    if (isset($_COOKIE[STRICT_SESSION_ENCRYPT_NAME])) {
        setcookie(STRICT_SESSION_ENCRYPT_NAME, '', time()-42000, '/');
    }

    // 最終的に、セッションを破壊する
    session_destroy();
}

/*
 * HTTP <-> HTTPS 間でセッションの受渡し用関数
 * 与えられた変数をシリアライズして、STRICT_SESSION_ENCRYPT_KEYで定義した
 * キーを元に暗号化。
 */
function strict_session_serialize($d=null) {
    $iv = mcrypt_create_iv(mcrypt_get_iv_size(MCRYPT_3DES, MCRYPT_MODE_CFB), MCRYPT_RAND);
    setcookie(STRICT_SESSION_ENCRYPT_NAME, base64_encode($iv.mcrypt_encrypt(MCRYPT_3DES, STRICT_SESSION_ENCRYPT_KEY, serialize($d), MCRYPT_MODE_CFB, $iv)), 0, '/');
}

/*
 * HTTP <-> HTTPS 間でセッションの受渡し用関数
 * strict_session_serializeによって暗号化され変数を復号化する。
 */
function strict_session_unserialize() {

    if(isset($_COOKIE[STRICT_SESSION_ENCRYPT_NAME])){
        $is = mcrypt_get_iv_size(MCRYPT_3DES, MCRYPT_MODE_CFB);
        $et = base64_decode($_COOKIE[STRICT_SESSION_ENCRYPT_NAME]);
        return unserialize(mcrypt_decrypt(MCRYPT_3DES, STRICT_SESSION_ENCRYPT_KEY, substr($et,$is), MCRYPT_MODE_CFB, substr($et, 0, $is)));
    }

    return FALSE;
    
}

/*
 * CSRF対策: ID(トークン)を生成してフォームに付与する
 * - output_add_rewrite_varによってページの全てのFORMに自動付与される。
 *   外部サイトへのフォームにも付与されてしまうので注意。
 */
function strict_session_csrfm_set() {
    $_SESSION[STRICT_SESSION_CSRFM_NAME]=strict_session_csrfm_id();
    output_add_rewrite_var(STRICT_SESSION_CSRFM_NAME,$_SESSION[STRICT_SESSION_CSRFM_NAME]);
}

/*
 * CSRF対策: ID(トークン)を比較して違っていたらFALSEを返す
 * POSTのみ対応。
 */
function strict_session_csrfm_check() {

    // セッションに保存されたIDとPOSTされたIDを比較。
    if($_POST[STRICT_SESSION_CSRFM_NAME] && $_POST[STRICT_SESSION_CSRFM_NAME] == $_SESSION[STRICT_SESSION_CSRFM_NAME]){
        return TRUE;
    }
    
    return FALSE;
    
}

/*
 * CSRF対策: ID(トークン)の生成
 */
function strict_session_csrfm_id() {
 mt_srand((double)microtime()*1000000);
    return sha1(uniqid(mt_rand(),1));
}

?>

会社のホームページにオンライン状態を表示2

2008-07-08T04:19:00.001+09:00

これの続きで、会社のトップページに社員のメッセンジャーへのログインやアクティブかどうかを表示するようにしたのに加え、社内にいるかどうかも表示させるようにした。

アクティブユーザ数 : ログイン数 : 社内にいる人数

社内にいる人数は入退室カードの読み取り装置がいつ入ったり出たりしたかの情報をSubjectに含んだメールで送信してくれるので、それをこんな感じ

# /var/qmail/alias/.qmail-webcast
| sed '/^$/q' | sed -n 's/^Subject: =?Shift-JIS?B?\(.*\)?=$/\1/p' | nkf -mB -S -e | /bin/bash webcast.sh
# | 改行までを読み込み | 先頭がSubjectを抜き出し | デコード | 結果をDBに

でパースしてカウントしてるだけ。

他、数字だけだとちょっと味気なしなんのことかわからないので、マウスオーバすると説明文を出すようにした。ここらへんがグリグリ動くのはAnimator.js というライブラリを使わせていただいていて、大変簡単に動きがつけられるので楽しい。

64bit版のGentoo Linux AMIを作ってみた

2008-07-05T19:31:00.003+09:00

ちょっと前にAmazon EC2でハイパフォーマンスタイプのインスタンスが出ていたので64bit版のGentoo AMIを作ってみることにした。(32bit版はこちら)

が、、、かなり手こずる。

で、だいたい大事なところをすっかり省いて無理矢理動かしてみた。

AMI ID: ami-8cba5ee5
AMI Manifest: fork/gentoo-base-x86_64/200807051035.manifest.xml

tezulyにすごーく基本的なところから教えてもらってありがとう!
hardened-2008.0_beta2のstage3ベースというかそれだけ。なんもしてない
カーネルコンパイルしないでfedra8のカーネルを読み込みしてる(まだここらへんがよくわかってない)
/procや/sysがマウントできない問題があるっぽかったので、HOWTO Xen and Gentooに沿って修正。
起動後に/bin/nash(nash-hotplug)がCPUを100%使い続けるのもおかしいので強引に修正。

起動時にマウントの仕方でエラーになってるので/etc/fstabを

/dev/sda1               /                       ext3    defaults 1 1
/dev/sdb               /mnt                     ext3    defaults 0 0

のように修正。また後で直そ...

しばらく検証してみて、問題なさそーだったらこっちみたいにAmazon Machine Images (AMIs)に登録するつもり。

# またfedra8(ami-2a5fba43)上で作業
mv /tmp /mnt && ln -sf /mnt/tmp /
mkdir /mnt/gentoo
# ベータ版の64bit Gentoo Linux 2008.0(hardened) のstage3を使う
wget -O- http://gentoo.osuosl.org/releases/amd64/2008.0_beta2/stages/hardened/stage3-amd64-hardened-2008.0_beta2.tar.bz2 | tar xjC /mnt/gentoo
wget -O- http://gentoo.osuosl.org/snapshots/portage-latest.tar.bz2 | tar xjC /mnt/gentoo/usr
# fedra8のカーネルモジュールをそのまま使う、カーネルも落してこない
wget -O- http://s3.amazonaws.com/ec2-downloads/ec2-modules-2.6.21-2952.fc8xen-x86_64.tgz | tar xzC /mnt/gentoo

\cp -f /etc/resolv.conf /mnt/gentoo/etc
\cp -f /etc/fstab /mnt/gentoo/etc
cat /proc/mounts > /mnt/gentoo/etc/mtab
chroot /mnt/gentoo /bin/bash
env-update
source /etc/profile

cd /lib/modules/
ln -s 2.6.21-2952.fc8xen 2.6.21.7-2.fc8xen

cat >> /etc/ssh/sshd_config <<\EOF
UseDNS no
PermitRootLogin without-password
EOF
perl -p -i -e 's/^c([^1])/\#c$1/g' /etc/inittab
perl -p -i -e 's/(try mount.* \/proc .*)$/\#$1/' /sbin/rc
perl -p -i -e 's/(try mount.* \/sys .*)$/\#$1/' /sbin/rc

# Shared AMI Guidelinesに沿った設定と
# nash-hotplugの問題を修正
cat >> /etc/conf.d/local.start <<\EOF
[ ! -e /root ] && cp -r /etc/skel /root
if [ -f "/root/firstrun" ] ; then
  usermod -p `dd if=/dev/urandom count=50 2> /dev/null | md5sum | cut -d " " -f1-1` root
  rm -f /root/firstrun
else
  echo "* Firstrun *" && touch /root/firstrun
fi
if [ ! -d /root/.ssh ] ; then
        mkdir -p /root/.ssh
        chmod 700 /root/.ssh
fi
curl http://169.254.169.254/2008-02-01//meta-data/public-keys/0/openssh-key > /tmp/my-key
if [ $? -eq 0 ] ; then
        cat /tmp/my-key >> /root/.ssh/authorized_keys
        chmod 600 /root/.ssh/authorized_keys
        rm /tmp/my-key
fi
wget -q -O- http://169.254.169.254/2007-12-15/user-data | sh
pkill -9 nash
EOF

cat >> /etc/make.conf <<\EOF
MAKEOPTS="-j9"
CFLAGS="${CFLAGS} -mno-tls-direct-seg-refs"
CXXFLAGS="${CFLAGS} -mno-tls-direct-seg-refs"
EOF

echo 'dhcp_eth0="release nodns nontp nonis"' >> /etc/conf.d/net
rc-update add net.eth0 default
rc-update add sshd default

emerge dhcpcd ruby curl unzip

cd /usr/local
wget http://s3.amazonaws.com/ec2-downloads/ec2-ami-tools.zip
unzip ec2-ami-tools.zip
rm -rf ec2-ami-tools.zip

export EC2_AMITOOL_HOME=/usr/local/ec2-ami-tools-1.3-21885
PATH=$EC2_AMITOOL_HOME/bin:$PATH

# 別環境からpemの転送
> scp *.pem root@ec2-75-101-xxx-xxx.compute-1.amazonaws.com:/mnt/gentoo/root

# ボリューム作成
ec2-bundle-vol -b -e /root -d /mnt -c /root/cert.pem -k /root/pk.pem -u ***** -s 9216 -r x86_64 -p 200807051035

# Amazon S3へアップロード
ec2-upload-bundle -b fork/gentoo-base-x86_64 -m /mnt/200807051035.manifest.xml -a ***** -s *****

# 別環境からEC2へ登録、publicにして公開
> ec2-register fork/gentoo-base-x86_64/200807051035.manifest.xml
> ec2-modify-image-attribute ami-8cba5ee5 --launch-permission -a all

ビルドしては失敗、登録しては削除ってのを繰り返したそこらへんのコマンドは下記の通り。

# コンソール出力を確認する
ec2-get-console-output i-*****

# EC2へ登録したAMIを解除
ec2-deregister ami-******

# S3へアップしたボリュームを削除
ec2-delete-bundle -b fork/gentoo-base-x86_64 -m /mnt/200807050950.manifest.xml -a ***** -s *****

64bit CPUx8 (c1.xlarge)でのベンチとかはまた後日...

rrdの日時をリセットする

2008-06-30T22:34:00.005+09:00

MRTGとRRDtoolを使ってこんな感じ

のグラフを生成してサーバの状態を監視してる。
たまにサーバの時計がずれてたりすると

2008-06-30 19:49:44: ERROR: Cannot update /var/foo/data/server.rrd with '1214822984:53:20' illegal attempt to update using time 1214822984 when last update time is 1214855107 (minimum one second step)

というエラー表示がでてしまい、

# データファイルの最終更新日付を表示
$ rrdtool last data.rrd | awk '{print strftime("%c",$1)}'
Tue Jul  2 08:50:04 2008

日付が明日だ。。。。
こうなると、サーバの時間を正しく合わせても明日になるまで更新されないので、すぐに記録を開始するにはデータファイルをいったん消したりする。
最終更新日時だけ戻すことはできないかと探して、まともな方法じゃないかもだけどスクリプト化してみた。

#!/bin/bash
if [ "$1" = "" -o ! -e "$1" ] ; then
    echo usage rrdreset [filename.rrd]
exit
fi

RRD="$1"
DUMP=`mktemp`

rrdtool dump ${RRD} > ${DUMP}
perl -pi -e "s#<lastupdate> (.*) </lastupdate>#<lastupdate> `date +%s` </lastupdate>#" ${DUMP}
mv -f ${RRD} ${RRD}.orig
rrdtool restore ${DUMP} ${RRD}
rm -rf ${DUMP}

使い方はこんな感じ

$ ls
data.cfg data-day.png  data-week.png  data.rrd
# 最終更新日時を現在日時でリセット
$ rrdreset.sh data.rrd
# オリジナルは.origで保存される
$ ls
data.cfg data-day.png  data-week.png  data.rrd  data.rrd.orig
# 現在日時でリセットされていることを確認
$ rrdtool last data.rrd | awk '{print strftime("%c",$1)}'
Tue Jul  1 08:50:04 2008
# 大丈夫そうだったらmrtgで再読み込みさせて、オリジナルやキャッシュ画像は消しておく
$ mrtg data.cfg
$ rm -rf data.rrd.orig data-*.png
# 全般的にずれてしまってたら検索して適用したり。
$ find /data -name "*.rrd" -exec rrdreset.sh {} \; -print

erlang-users.jpをいじる

2008-06-23T17:29:00.010+09:00

ここでボヤいてた甲斐あって(?)、Erlang 分散システム勉強会の後の懇談会でhamanoさんの「おれはやるよ」という不敵な笑み(?)より翌日、めでたく erlang-users.jpがお目見え!
でも、githubか、、、git使ったことないよ、git、、、
まーせっかくコミットしていいって言われたので、設定してみたのは下記の通り。
環境は

Windows Vista Ultimate SP1
Cygwin (DLL version: 1.5.25)

Emacsの設定は

;; .emacsに追加
(setq ispell-program-name "aspell")
(require 'git-emacs)

として、あとはhamanoさんに用意してもらったgithubのREADMEにある通り、チェックアウト、コミット。Emacs的な操作では

ファイルを開いて編集
内容に問題がなければCtrl-x v vでコミットログの画面が表示されるので
ログを書いて、UTF-8で記録するにはCtrl-x Enter cで文字コードを聞かれるので、utf-8と指定して、
Ctrl-c Ctrl-cでコミット

% index.html -> index.yaws ってしたらどうなるのかな～

会社のホームページにオンライン状態を表示

2008-06-20T07:18:00.004+09:00

昔株式会社メディアライツさんのホームページを教えてもらった時にいたく感動。
ページヘッダのFlashに社員のインスタントメッセンジャー(IM)のステータスを拾って、オンライン状態を表示してるのがすごく可愛いくて、がんばってます、みたいノリにすごく親近感をもってしまった。
あとはアークウェブさんのお仕事状況ってのも、手動更新かもしれないけど、なんかやる気がみえていいと思う。

うちの会社界隈はちょっと前に全員Google Talkを使うように統一してたので、ステータスとってページに載せられないかなと思ってやってみた。

1. ステータスを収集するJabberクライアントをつくってみんなに登録してもらう。
2. ログイン状態を監視して、集計値をWebから見えるとこに置く。
3. あとは表示するだけ、だけなんだけど、なにげに手間だったな。。。

小さっ。

まーあとはきっとデザイナさんが素敵な表示にしてくれるに違いない。一応

アクティブユーザ数:ログインユーザ数

で5分ぐらいで更新されるようになってる。じつはアニメーションもしてる。

TwitterからFriendFeed通してPipesで加工してAmazonでごちゃごちゃ

2008-06-16T04:22:00.012+09:00

「このミステリーがすごい」にインスパイアされて勝手に「この漫画がすごい」とTwitterにつぶやいていた。
ある日友人からリストでとってこれんのかと言われ、APIを参照しようとしたけど、FriendFeedのほうがレスポンスよさそうだったので、こっちをつかってみよう、と思ったのがはじまり。
結局コード書かないで、

Twitterで「この漫画がすごい竹光侍」とかつぶやく
FriendFeedで「この漫画がすごい」の文字列検索をしてRSSを生成
Pipesで題名だけ抽出したあとAmazonのアソシエイトをくっつけてリンク生成
同時にBadge(ブログパーツ)化できるのでそれをブログに貼る
(ﾟдﾟ)ｳﾏｰ?

とサービスが連携していく様に感動。まあこの場合FriendFeedとか余計なのかもだけど、作り方は下記の通り。

FriendFeedで検索してRSS化

気軽にAdvanced Searchから検索して

下のほうにあるRSSアイコンから

フィードのURLを表示すれば毎回ここからリストが得られる。
URL的には
http://friendfeed.com/search?q=この漫画がすごい&service=twitter&who=howking
わかりやすい。

Pipesでごちゃごちゃする

Pipesはさる御大から教えていただいて、感動した。

ある意味プログラミングするよりややこしい気がするし、使い方間違ってる気がするけど設定した方法は下記の通り。

Source->FetchFeed
Operators->Regex
Operators->Rename
Operators->Rename
Operators->Regex

Pipe Output

こちら

貼る

LVS(ipvsadm)で安全にシステムリリース

2008-06-12T21:20:00.005+09:00

システムのアップデートでは規模が大きくなってくるほど切り替えのタイミングが一番危険で、予期しにくい問題が発生しがち。
どんなにがんばってデバックをしても結局本番で稼働させてみたらエラーになってしまった、とか置き換えの手順が複雑でミスった、とかそれを回避するのに長ったらしいダウンタイムを予定したりとか。
もちろん本番で動かさないとどうしてもわからないことはあるにせよ、限りなく本番と同じ環境で動かしつつ、切換えを一瞬にして安全に行うのに自分が好んで使う手順は下記の通り。

前提条件。

Webサーバが複数台の同じ構成で運用されていること
上位ルータでNetfilter(iptables)とLVS(ipvsadm)が利用されていること

想定しているネットワーク構成は下記の通り。

[一般ユーザ]     [テスト環境]
     |             ゲートウェイIPアドレス: 222.151.197.yyy
     |                 |
     +--------+--------+
              |
       (インターネット)
              |
           [ルータ]
              コンテンツURL: http://www.foo.com/
              グローバルIPアドレス: 202.53.20.xxx
              |
     +--------+---------+-------------+
     |                  |             |
     | (本番コンテンツ) |             |
     |                  |             |
 [Webサーバ1]     [Webサーバ2]  [開発用サーバ]
 192.168.0.1      192.168.0.2

手順の概要は下記の通り。

まず[Webサーバ2]を更新するとして、[ルータ]に[一般ユーザ]からの接続を切る設定をする
[一般ユーザ]は[Webサーバ1]にしか接続されないので安心して[Webサーバ2]を更新する。
[ルータ]に[テスト環境]からアクセスがあった時「のみ」[Webサーバ2]に接続するように設定する
[テスト環境]からはほぼ本番公開時と同じデバックが行える。
リリースの日時になったら、[一般ユーザ]のアクセスを[Webサーバ1]から[Webサーバ2]に切り替えるだけ。一瞬。問題が発生してしまったら、[Webサーバ1]に戻すのも一瞬。

巷ではldirectordとかkeepalivedとかで管理するのが一般的だけど、男は黙ってコマンドラインの方法を書いておく。

# 最初は元々の設定
# 202.53.20.xxx宛のパケットにFWM(ファイアーウォールマーク)の1番をつける
iptables -t mangle -D PREROUTING -d 202.53.20.xxx -p tcp -m tcp --dport 80 -j MARK --set-mark 1
# FWM1に対してロードバランスする設定を追加
ipvsadm -A -f 1 -s wlc
ipvsadm -a -f 1 -r 192.168.0.1:80 -m -w 1
ipvsadm -a -f 1 -r 192.168.0.2:80 -m -w 1

# こっからが更新手順
# 振り分けのウェイトを0にして接続がなくなるのを確認
ipvsadm -e -f 1 -r 192.168.0.2:80 -m -w 0
ipvsadm -Ln | grep -E -A2 "^FWM.*90"
FWM  1 wlc
   -> 192.168.0.1:80              Masq    1      17         357
   -> 192.168.0.2:80              Masq    0      0          0
# [Webサーバ2]への接続が0になっていればOK

# テスト環境からのアクセスはFWM2をつけて[Webサーバ2]に割り振りする
# マークは順番に評価されて最後にマッチしたものがセットされるの(確か)で、
# -Aを使うか-Iを使うかは場合による
iptables -t mangle -A PREROUTING -d 202.53.20.xxx -s 222.151.197.yyy -p tcp -m tcp --dport 80 -j MARK --set-mark 2
ipvsadm -A -f 2 -s wlc
ipvsadm -a -f 2 -r 192.168.0.2:80 -m -w 1

# 用意が完了したので、[Webサーバ2]にファイルをアップして更新する。
# テスト環境からのアクセスは全て[Webサーバ2]に飛ぶのでクライアントは
# 特別な設定を意識することなくテストができる。

# テストOKだったら切換え作業
# 一般ユーザに[Webサーバ2]への接続を復活させ、[Webサーバ1]の接続を切る
ipvsadm -e -f 1 -r 192.168.0.2:80 -m -w 1
ipvsadm -e -f 1 -r 192.168.0.1:80 -m -w 0

# 問題発生! すぐに直らないバグだったら[Webサーバ1]に戻す
ipvsadm -e -f 1 -r 192.168.0.1:80 -m -w 1
ipvsadm -e -f 1 -r 192.168.0.2:80 -m -w 0

# テスト完了して問題なかったら設定の掃除をして終り
# [Webサーバ1]も更新した上で再接続(ここを同じ手順で個別にテストしてもいい)
ipvsadm -e -f 1 -r 192.168.0.1:80 -m -w 1
# FWM2はもう使わないので削除
ipvsadm -d -f 2 -r 192.168.0.2:80
ipvsadm -D -f 2
iptables -t mangle -D PREROUTING -d 202.53.20.xxx -s 222.151.197.yyy -p tcp -m tcp --dport 80 -j MARK --set-mark 2

todo.shをGoogle Talk経由で使う4

2008-06-07T16:06:00.003+09:00

todo.shの使い方をもっかい見直してみたので、そのメモを書いておく。もちろん下記のコマンドは gttodo@gmail.com を経由する場合の話であって、普通にコマンドラインで打つ場合はtodo.shを頭につけたり、日本語入力の設定をしなければいけない。

TODOを追加する

add @fooweb サンプル
a @fooweb サンプル
a 06/03 @fooweb サンプル2
a 06/04 @barsys サンプル3

TODOを修正する

append 1 テスト
app 1 テスト

@fooweb サンプル テスト

prepend 1 06/14
prep 1 06/14

06/14 @fooweb サンプル テスト

replace 1 06/13 @fooweb サンプル更新

06/13 @fooweb サンプル更新

del 1
rm 1
do 1

01 x 2008-06-03 06/13 @fooweb テスト更新

pri 1 a
p 1 a

TODOを表示する

list
ls
listall
lsa
ls @fooweb
lsa 06/.*
lsa 06 08
listpri a
lsp a

その他

remdump
report

todo.shをGoogle Talk経由で使う3

2008-06-07T15:52:00.004+09:00

※ 最新情報はこちら。 「todo.shをGoogle Talk経由で使う」をさらにカスタマイズ。プライオリティをAに設定しているTODOのみ離席の後や、ログイン後に話しかけてくれる。よーわけっこう重要ではやめにやらなければいけないことをタイミングよく知らせてほしかったので入れてみた。

--- gttodo.php  2008/06/02 20:47:17 1.2
+++ gttodo.php  2008/06/07 06:50:35 1.3
@@ -1,6 +1,7 @@
 <?php
 require("class.jabber.php");
 define('ME','junji.shiokawa@gmail.com');
+$_i=true;
 $j = new Jabber();
 $j->server = 'gmail.com';
 $j->connect_server = 'talk.google.com';
@@ -15,22 +16,24 @@
 $j->RosterUpdate();
 $j->SendPresence();
 chat(ME,'up');
+$_i=false;
 while(1){
     if($j->connected == FALSE){
         $j->Disconnect();
         exit;
     }
-
-    $c=("grep `date \"+%y/%m/%d/%H:%M\"` /service/gttodo/data/*.todo");
-    $p=popen($c, "r");
-    while (!feof($p)) {
-        $l=explode(".todo:",substr(fgets($p, 1024),21));
-        if($l[0] && $l[1]){
-            chat($l[0],$l[1]);
+
+    $r=array();
+    $r=explode("\n",com("grep `date \"+%y/%m/%d/%H:%M\"` /service/gttodo/data/*.todo"));
+    foreach ($r as $l) {
+        $t=explode(".todo:",substr($l,21));
+        if($t[0] && $t[1]){
+            chat($t[0],$t[1]);
         }
     }
-    pclose($p);

+    com("rm -rf /mnt/supervise/gttodo/data/*.touch");
+
     $j->CruiseControl(60);
  }

@@ -44,19 +47,8 @@
         $j->Disconnect();
         exit;
     }else{
-
-        $c="/bin/bash /mnt/supervise/gttodo/todo.sh -f -d /mnt/supervise/gttodo/data/$e.cfg ". ecmd($b) ." 2>&1";
-        $p=popen($c, "r");
-        while (!feof($p)) {
-            $m.=fgets($p, 1024);
-        }
-        pclose($p);
-        if(!trim($m)){
-            $m='ok';
-        }
-        chat($e,$m);
+        chat($e,todo($e,$b));
     }
-
 }

 function Handler_presence_subscribe($p) {
@@ -67,14 +59,21 @@
 }

 function Handler_presence_available($p) {
-    global $j;
+    global $j,$_i;
     $e = email($j->GetInfoFromPresenceFrom($p));
-    exec("echo 'TODO_DIR=/mnt/supervise/gttodo/data
+    com("echo 'TODO_DIR=/mnt/supervise/gttodo/data
 TODO_FILE=$e.todo
  DONE_FILE=$e.done
   REPORT_FILE=$e.report
    TMP_FILE=$e.tmp
  ' > /mnt/supervise/gttodo/data/$e.cfg");
+
+    $m=todo($e,"lsp a");
+    $t="/mnt/supervise/gttodo/data/$e.touch";
+    if($m != 'ok' && ! file_exists($t) && ! $_i){
+        chat($e,$m);
+        com("touch $t");
+    }
 }

 function chat($e,$m) {
@@ -96,4 +95,22 @@
     return $c;
 }

+function todo ($e,$a) {
+    $m=com("/bin/bash /mnt/supervise/gttodo/todo.sh -f -d /mnt/supervise/gttodo/data/$e.cfg ". ecmd($a) ." 2>&1");
+    if(!trim($m)){
+        $m='ok';
+    }
+    return $m;
+}
+
+function com ($c) {
+    $p=popen($c, "r");
+    while (!feof($p)) {
+        $m.=fgets($p, 1024);
+    }
+    pclose($p);
+    echo "COM: $c -> [$m]\n";
+    return $m;
+}
+
 ?>

todo.shをGoogle Talk経由で使う2

2008-06-03T05:47:00.006+09:00

※ 最新情報はこちら。 「todo.shをGoogle Talk経由で使う」にリマインダ機能をつけた、といってもごく簡単に。

08/06/03/05:42

という書式の文字列を探しにって発見したらその行をユーザに返すだけ。使い方はこんな感じ

Junji: ls
gttodo: 02 (A) 月末の経費精算がまだだ。。。
01 暇になったらリマインダー機能をつける @gttodo
--
TODO: 2 tasks in junji.shiokawa@gmail.com.todo.
Junji: app 1 08/06/03/06:00
gttodo: 暇になったらリマインダー機能をつける @gttodo
Junji: ls
gttodo: 02 (A) 月末の経費精算がまだだ。。。
01 暇になったらリマインダー機能をつける @gttodo 08/06/03/06:00
--
TODO: 2 tasks in junji.shiokawa@gmail.com.todo.
# 指定の時間になると...
暇になったらリマインダー機能をつける @gttodo 08/06/03/06:00
# と話しかけられる。

差分ファイルはこちら。(ちなみに、CruiseControlでチェックしているので、指定時間ぴったりかどうか怪しいし、タイミングによってはスルーされることもあるかも。)

--- gttodo.php  2008/06/02 20:45:54 1.1
+++ gttodo.php  2008/06/02 20:47:17 1.2
@@ -21,7 +21,17 @@
         exit;
     }

-    $j->CruiseControl(300);
+    $c=("grep `date \"+%y/%m/%d/%H:%M\"` /service/gttodo/data/*.todo");
+    $p=popen($c, "r");
+    while (!feof($p)) {
+        $l=explode(".todo:",substr(fgets($p, 1024),21));
+        if($l[0] && $l[1]){
+            chat($l[0],$l[1]);
+        }
+    }
+    pclose($p);
+
+    $j->CruiseControl(60);
  }

 function Handler_message_chat($p) {

Erlang: どう書く？org に投稿3

2008-06-03T04:27:00.003+09:00

最近ご無沙汰だったどう書く？org。久しぶりに覗いたら、プラス評価いただいてものとかがあって身に余る光栄、恐縮です。。。ついでにちょこっと投稿したので、過去分と合わせて書いておく。

% erlang-users.jpとかまだ空いてるなぁ... % とかつぶやいてみるテスト。

todo.shをGoogle Talk経由で使う

2008-06-01T08:46:00.006+09:00

※ 最新情報はこちら。 もうTODO管理なんてテキストファイルでいいじゃん、て思いつつもこっちの使い方でRTMも併用してて、でもそういえばtodo.shとか昔あったなとふいに思い出したので、IM(メッセンジャー)経由で使えるようにしてみた。使えるかは微妙。

設定ID: gttodo@gmail.com

もちろんGoogleTalkだけじゃなくiChatやJabberクライアント経由でも使えるはず。一応マルチユーザ対応。コマンドライン引数をそのまま渡して結果を受けとるだけ、という恐しい仕様なのでいたずら禁止、自己責任で。

Junji: -h
gttodo: Usage: todo.sh [-fhpqvV] [-d todo_config] action [task_number] [task_description]

Actions:
add "THING I NEED TO DO p:project @context"
a "THING I NEED TO DO p:project @context"
Adds TODO ITEM to your todo.txt.
...(そのまんまやん)
Junji: a 暇になったらリマインダー機能をつける @gttodo
gttodo: ok
Junji: a 時計の再修理の為、東急ハンズに行く
gttodo: ok
Junji: a 月末の経費精算がまだだ。。。
gttodo: ok
Junji: ls
gttodo: 02 時計の再修理の為、東急ハンズに行く
01 暇になったらリマインダー機能をつける @gttodo
03 月末の経費精算がまだだ。。。
--
TODO: 3 tasks in junji.shiokawa@gmail.com.todo.
Junji: pri 3 A
gttodo: ok
Junji: do 2
gttodo: 時計の再修理の為、東急ハンズに行く
Junji: lsa
gttodo: 003 (A) 月末の経費精算がまだだ。。。
002 x 2008-06-01 時計の再修理の為、東急ハンズに行く
001 暇になったらリマインダー機能をつける @gttodo
Junji: archive
gttodo: ok
Junji: ls
gttodo: 02 (A) 月末の経費精算がまだだ。。。
01 暇になったらリマインダー機能をつける @gttodo
--
TODO: 2 tasks in junji.shiokawa@gmail.com.todo.
Junji: ls gttodo
gttodo: 01 暇になったらリマインダー機能をつける @gttodo

自分だけの環境で使いたい場合は下記のソースでどうぞ(Python使える人はこっちにもっとまともな実装がある)。

<?php
require("class.jabber.php");
define('ME','junji.shiokawa@gmail.com');
$j = new Jabber();
$j->server = 'gmail.com';
$j->connect_server = 'talk.google.com';
$j->port = 5222;
$j->username = 'gttodo';
$j->password = '*****';
$j->resource = 'fork';
$j->log_filename = 'php://stdout';
$j->enable_logging = true;
$j->Connect();
$j->SendAuth();
$j->RosterUpdate();
$j->SendPresence();
chat(ME,'up');
while(1){
    if($j->connected == FALSE){
        $j->Disconnect();
        exit;
    }
    $j->CruiseControl(300);
 }

function Handler_message_chat($p) {
 global $j;
 $e = email($j->GetInfoFromMessageFrom($p));
 $b = body($j->GetInfoFromMessageBody($p));
    
 if ( $e == ME && $b == "kill" ) {
        chat($e,'ok');
        $j->Disconnect();
        exit;
    }else{

        $c="/bin/bash /mnt/supervise/gttodo/todo.sh -f -d /mnt/supervise/gttodo/data/$e.cfg ". ecmd($b) ." 2>&1";
        $p=popen($c, "r");
        while (!feof($p)) {
            $m.=fgets($p, 1024);
        }
        pclose($p);
        if(!trim($m)){
            $m='ok';
        }
        chat($e,$m);
    }
    
}

function Handler_presence_subscribe($p) {
    global $j;
    $f = $j->GetInfoFromPresenceFrom($p);
    $j->SubscriptionAcceptRequest($f);
    $j->RosterUpdate();
}

function Handler_presence_available($p) {
    global $j;
    $e = email($j->GetInfoFromPresenceFrom($p));
    exec("echo 'TODO_DIR=/mnt/supervise/gttodo/data
TODO_FILE=$e.todo
DONE_FILE=$e.done
REPORT_FILE=$e.report
TMP_FILE=$e.tmp
' > /mnt/supervise/gttodo/data/$e.cfg");
}

function chat($e,$m) {
    global $j;
    $j->SendMessage($e, "chat", NULL, array("body" =>$m));
}

function email($f) {
    return strtolower(array_shift(explode('/',$f)));
}

function body ($b) {
    return trim(mb_convert_kana($b,'KVas','UTF-8'));
}

function ecmd ($c) {
    $c=preg_replace('/-f|-d/','',$c);
    $c=preg_replace('/([#&;\|`<>\^\(\)\[\]\{\}\$\\\])/','\\\$1',$c);
    return $c;
}

?>

※IM系のネタではこっちでgtgchat@gmail.comを登録すると使えるグループチャットもどきもつくってみた。

Slony-Iでレプリケーション設定

2008-05-30T19:10:00.005+09:00

PostgreSQLでレプリケーションできるSlony-Iはpgpoolと一緒に使ってるけど、運用手順がけっこうしんどい。ある程度は運用スクリプトでカバーさせつつも、確実に再設定させる手順は下記の通り。(最近はGUIでpgAdmin III,phppgadminとかあるらしいけどどうなんだろう)

pgpoolの接続切り変え

ssh web01 "perl -pi -e \"s/^backend_host_name = '.*'$/backend_host_name = 'master01'/\" /etc/pgpool.conf ; svc -du /service/pgpool"
ssh web02 "perl -pi -e \"s/^backend_host_name = '.*'$/backend_host_name = 'master01'/\" /etc/pgpool.conf ; svc -du /service/pgpool"

PostgreSQLとSlonyIのサービスを落とす

#マスタ、スレーブのslonyを落す
svc -d /service/slony
ssh slave01 svc -d /service/slony
ssh slave02 svc -d /service/slony
# スレーブのPostgreSQLを再起動
ssh slave01 svc -diu /service/postgresql
ssh slave02 svc -diu /service/postgresql

daemontools

こちら

同期設定(Slony-I)の削除

#!/bin/bash

slonik <<EOF
cluster name = pg_cluster;
node 1 admin conninfo='dbname=postgres host=master01 port=5432 user=postgres';
node 2 admin conninfo='dbname=postgres host=slave01  port=5432 user=postgres';
node 3 admin conninfo='dbname=postgres host=slave02  port=5432 user=postgres';
uninstall node (ID=1);
uninstall node (ID=2);
uninstall node (ID=3);
EOF

psql -h slave01 -U postgres postgres -e "drop schema _pg_cluster cascade;"

DBスキーマのコピー

dropdb -U postgres postgres -h slave01
createdb -U postgres postgres -E EUC-JP -h slave01
pg_dump -s -U postgres postgres | psql -U postgres -d postgres -h slave01
vacuumdb -U postgres -afz -h slave01
# 最初はこれが必要かも
createlang -U postgres -h slave01 plpgsql postgres

dropdb -U postgres postgres -h slave02
createdb -U postgres postgres -E EUC-JP -h slave02
pg_dump -s -U postgres postgres | psql -U postgres -d postgres -h slave02
vacuumdb -U postgres -afz -h slave02

マスタにレプリケーション設定

#!/bin/bash

slonik <<EOF
cluster name = pg_cluster;
node 1 admin conninfo='dbname=postgres host=master01 port=5432 user=postgres';
node 2 admin conninfo='dbname=postgres host=slave01  port=5432 user=postgres';
node 3 admin conninfo='dbname=postgres host=slave02  port=5432 user=postgres';

init cluster (id=1, comment='node 1[master01]');
create set (id=1, origin=1, comment='postgres');
set add table (set id=1, origin=1, id=1,  fully qualified name = 'public.sample_table', comment='sample_table');
store node (id=2, comment='node 2[slave01]');
store node (id=3, comment='node 3[slave02]');
store path (server=1, client=2, conninfo='dbname=postgres host=master01 port=5432 user=postgres');
store path (server=2, client=1, conninfo='dbname=postgres host=slave01  port=5432 user=postgres');
store path (server=1, client=3, conninfo='dbname=postgres host=master01 port=5432 user=postgres');
store path (server=3, client=1, conninfo='dbname=postgres host=slave02  port=5432 user=postgres');
store listen (origin=1, provider=1, receiver=2);
store listen (origin=1, provider=1, receiver=3);
EOF

スレーブにレプリケーション設定

echo "cluster name = pg_cluster;
node 1 admin conninfo='dbname=postgres host=master01 port=5432 user=postgres';
node 2 admin conninfo='dbname=postgres host=slave01  port=5432 user=postgres';
subscribe set (id=1, provider=1,receiver=2, forward=no);
" | ssh slave01 "cat | slonik"
echo "cluster name = pg_cluster;
node 1 admin conninfo='dbname=postgres host=master01 port=5432 user=postgres';
node 3 admin conninfo='dbname=postgres host=slave02  port=5432 user=postgres';
subscribe set (id=1, provider=1,receiver=3, forward=no);
" | ssh slave02 "cat | slonik"

同期開始

#マスターで立ち上げ
svc -u /service/slony
#スレーブで立ち上げ
ssh slave01 svc -u /service/slony
ssh slave02 svc -u /service/slony

これ

pgpoolの接続を戻す

ssh web01 "perl -pi -e \"s/^backend_host_name = '.*'$/backend_host_name = 'slave01'/\" /etc/pgpool.conf ; svc -du /service/pgpool"
ssh web02 "perl -pi -e \"s/^backend_host_name = '.*'$/backend_host_name = 'slave02'/\" /etc/pgpool.conf ; svc -du /service/pgpool"

やっぱりdaemontoolsが好き

2008-05-25T20:07:00.007+09:00

新しい技術についていけてないだけなのかもしれないけど、昔からdaemontoolsを愛用してきて卒業できそうにない(runitはちょっと気になる)。理由は下記の通り。

デーモンのを一元管理できる

svc -d /service/*

ログをちゃんと保持できる
いわゆるデーモンが作りやすい

ucspi-tcp

まあようわ、「全部daemontoolsでやる」ていう方針じゃないとほころびが見えてしまうけれど、まとまっていればそこそこ使いやすい。デーモン君達とは向き合う方法は下記の通り。

# qmailで再送信
svc -a /service/qmail-send

# PostgreSQLで安全に落す
svc -di /service/postgresql

# プロセスのチェックがわかりやすい
pstree
-----
init-+-6*[agetty]
     |-svscan-+-supervise---qmail-send-+-qmail-clean
     |        |                        |-qmail-lspawn
     |        |                        `-qmail-rspawn
     |        |-6*[supervise---multilog]
     |        |-supervise---sshd---sshd---bash---pstree
     |        |-2*[supervise---socklog]
     |        |-supervise---tcpserver
     |        `-supervise---crond
     `-udevd
-----

# multilogは指定の容量になったら自動的に消してくれるけど、できるだけ
# 残しておきたい場合は以下のジョブをcronに追加しておく。
# 指定の容量を1日で使い果す時以外はログが消えることはない。
0 4  * * * find /var/log/multilog -name "@*" ! -name "*.bz2" -exec bzip2 {} \;

# 時刻の記録が人間には判別できないけど、それほど不都合にはならないと思う。
# 特定の日付と時間帯(2008/05/01 16時台)にシステムで起きた全てのイベント(ロ
# グ)を拾うコマンドは下記の通り。
cat /var/log/multilog/*/*/* | tai64nlocal | grep "^2008-05-01 16:" | sort

古いのもあるけど、使ってきた起動スクリプトは下記の通り。 socklog-notify/run

#!/bin/sh
PATH=/bin:/usr/bin:/sbin:/usr/sbin:/var/qmail/bin
MAILTO=root
HOST=`hostname -f`
PIPE=/var/socklog/.notify

if [ ! -p "${PIPE}" ]; then mkfifo -m 0620 "${PIPE}"; chown socklog:socklog "${PIPE}"; fi
exec <> "${PIPE}"
exec setuidgid socklog uncat -s1999 -t5 \
    sh -c "tai64nlocal | mailsubj Notify\@${HOST} ${MAILTO}"

dcron/log/run

#!/bin/sh

exec setuidgid dcronlog multilog t s2500000 n40 /var/log/multilog/dcron/main

dcron/run

#!/bin/sh

exec /usr/sbin/crond -f 2>&1

slony/log/run

#!/bin/sh

exec setuidgid slonylog multilog t s2500000 n40 /var/log/multilog/slony/main

slony/run

#!/bin/sh

exec setuidgid slony env - slon [cluster_name] "[connection_string]" 2>&1

statd/log/run

#!/bin/sh

exec setuidgid statdlog multilog t s2500000 n40 /var/log/multilog/statd/main

statd/run

#!/bin/bash

exec 2>&1
exec rpc.statd -Fd -p 32765 -o 32766

msessiond/log/run

#!/bin/sh

exec setuidgid msesslog multilog t s2500000 n40 /var/log/multilog/msessiond/main

msessiond/run

#!/bin/sh

MSESSION_DIR=/usr/local/phoenix/msession
ALLOWIP="-a 255.255.255.255/127.0.0.1 -a 255.255.255.0/192.168.0.0"
cd ${MSESSION_DIR}

exec 2>&1
exec setuidgid msess ./msessiond \
        ${ALLOWIP} \
        -d 900 \
        -e 60 \
        -g globals \
        -A 5 \
        -S "/tmp/msession_data" \
        -F ./fileplug.so

socklog-klog/log/run

#!/bin/sh
exec 2> /var/socklog/.notify
exec setuidgid socklog multilog t s2500000 n40 /var/log/multilog/socklog-klog/main \
  -* +'* error *' e

socklog-klog/run

#!/bin/sh
exec </proc/kmsg
exec 2>&1
exec softlimit -m 2000000 socklog ucspi

socklog-unix/log/run

#!/bin/sh
exec 2> /var/socklog/.notify
exec setuidgid socklog multilog t s2500000 n40 /var/log/multilog/socklog-unix/main \
  -* +'* *.err: *' e

socklog-unix/run

#!/bin/sh
exec 2>&1
exec softlimit -m 2000000 envuidgid socklog socklog unix /dev/log

qmail-smtpd/log/run

#!/bin/sh

exec setuidgid qmaill multilog t s2500000 n40 /var/log/multilog/qmail-smtpd/main

qmail-smtpd/run

#!/bin/sh
QMAILDUID=`id -u qmaild`
NOFILESGID=`id -g qmaild`
exec /usr/bin/softlimit -m 8000000 \
        /usr/bin/tcpserver -H -R -v -p -c 256 -x /etc/tcp.smtp.cdb \
        -u ${QMAILDUID} -g ${NOFILESGID} 0 smtp rblsmtpd /var/qmail/bin/qmail-smtpd 2>&1

qmail-send/log/run

#!/bin/sh

exec setuidgid qmaill multilog t s2500000 n200 /var/log/multilog/qmail-send/main

qmail-send/run

#!/bin/sh
exec /var/qmail/rc

mountd/log/run

#!/bin/sh

exec setuidgid mountdlog multilog t s2500000 n40 /var/log/multilog/mountd/main

mountd/run

#!/bin/bash

exec 2>&1
exec rpc.mountd -F -p 32767

net-snmp/log/run

#!/bin/sh

exec setuidgid net-snmplog multilog t s2500000 n40 /var/log/multilog/net-snmp/main

net-snmp/run

#!/bin/sh

#exec /usr/sbin/snmpd -fLo -d 2
exec /usr/sbin/snmpd -l /dev/null -f -L 2>&1

pgpool/log/run

#!/bin/sh

exec setuidgid pgpoollog multilog t s2500000 n40 /var/log/multilog/pgpool/main

pgpool/run

#!/bin/sh

# trick gentoo's pgpool.ebuild
echo 0 > /var/run/pgpool.pid
chown pgpool:pgpool /var/run/pgpool.pid

exec 2>&1
exec setuidgid pgpool /usr/bin/pgpool -n -f /etc/pgpool.conf

apache2/log/run

#!/bin/sh

exec setuidgid apachelog multilog t s2500000 n40 /var/log/multilog/apache2/main

apache2/run

#!/bin/sh

. /etc/conf.d/apache2

exec 2>&1
exec env - /usr/bin/pgrphack /usr/sbin/apache2 -DFOREGROUND ${APACHE2_OPTS} 2>&1

openssh/log/run

#!/bin/sh

exec setuidgid opensshlog multilog t s2500000 n40 /var/log/multilog/openssh/main

openssh/run

#!/bin/sh

exec /usr/sbin/sshd -De 2>&1

postgresql/log/run

#!/bin/sh

exec setuidgid postgreslog multilog t s2500000 n40 /var/log/multilog/postgresql/main

postgresql/run

#!/bin/sh

. /etc/conf.d/postgresql

exec setuidgid postgres env - PGDATA=${PGDATA} /usr/bin/postmaster 2>&1

taiclockd/log/run

#!/bin/sh

exec setuidgid clocklog multilog t s2500000 n40 /var/log/multilog/taiclockd/main

taiclockd/run

#!/bin/sh
exec 2>&1
exec setuidgid clock /usr/bin/taiclockd

clockspeed/log/run

#!/bin/sh

exec setuidgid clocklog multilog t s2500000 n40 /var/log/multilog/clockspeed/main

clockspeed/run

#!/bin/sh

if [ -d /var/lib/clockspeed ] ; then
    chown -R clock:clockspeed /var/lib/clockspeed
fi

if [ -f /var/lib/clockspeed/adjust ] ; then
    rm -rf /var/lib/clockspeed/adjust
fi

exec 2>&1
exec setuidgid clock /usr/bin/clockspeed

portmap/log/run

#!/bin/sh

exec setuidgid portmaplog multilog t s2500000 n40 /var/log/multilog/portmap/main

portmap/run

#!/bin/bash

exec 2>&1
exec /sbin/portmap -d

dnscache/log/run

#!/bin/sh

exec setuidgid dnslog multilog '-*' t s2500000 n40 /var/log/multilog/dnscache/main

dnscache/run

#!/bin/sh
dd if=/dev/urandom of=/var/dnscache/seed bs=128 count=1 > /dev/null 2>&1
exec 2>&1
exec </var/dnscache/seed
exec envdir /var/dnscache/env sh -c '
  exec envuidgid dnscache softlimit -o250 -d "${DATALIMIT}" /usr/bin/dnscache
'

syslog-ng/log/run

#!/bin/bash

exec env - /usr/bin/setuidgid daemon \
  /usr/bin/multilog t s2500000 n40 /var/log/multilog/syslog-ng/main

syslog-ng/run

#!/bin/bash
exec 2>&1
exec env - /usr/sbin/syslog-ng -d -F -f /etc/syslog-ng/syslog-ng.conf

vixie-cron/log/run

#!/bin/sh
exec env - /usr/bin/setuidgid daemon \
  /usr/bin/multilog t s2500000 n40 /var/log/multilog/vixie-cron/main

vixie-cron/run

#!/bin/sh

exec /usr/sbin/cron -n 2>&1

mysql/log/run

#!/bin/bash

exec env - /usr/bin/setuidgid daemon \
  /usr/bin/multilog t s2500000 n40 /var/log/multilog/mysql/main

mysql/run

#!/bin/bash

exec setuidgid mysql \
  /usr/sbin/mysqld \
  2>&1

ntpd/log/run

#!/bin/bash
exec env - /usr/bin/setuidgid daemon \
  /usr/bin/multilog t s2500000 n40 /var/log/multilog/ntpd/main

ntpd/run

#!/bin/bash
exec /usr/sbin/ntpd -n

※まあけっこうsvc -d でも死なないデーモンもあるけど、そこは御愛嬌。initスクリプトだって絶対確実に落して立ち上げてくれるわけではないし、そこらへんの面倒をちゃんと見なくちゃいけないのはどういう管理方法でも同じだと思う。

PHP: use_trans_sidの注意点

2008-05-22T23:54:00.004+09:00

まず、そもそもCookieを使わずにリンクにセッションIDをつけるリスクは下記の通り。

セッションIDを誤って外部サイトへ送信してしまうと、第三者にセッションをのっとられる(いわゆるセッション・ハイジャック)。
明示的に送信しなくても、外部サイトへのリンクがあればReferer(リファラ)からログに残ってしまったり、プログラムによって取得されてしまう。

PHPではsession.use_trans_sidをonに設定すれば全てのリンクにセッションIDを付与してくれるけど、挙動が今いちわからなかったのでちょっと調べてみた。

一応外部サイトへのリンクにセッションIDは付与されない。
外部サイトへのリンクとは、リンクの文字列に":"(コロン)があるかどうかで判別している。

ちなみに、output_add_rewrite_varも同じ動作をする。実際の動きは下記の通り。

<?php
ini_set('session.use_cookies','off');
ini_set('session.use_trans_sid', '1');
session_start();
output_add_rewrite_var("foo", "bar");
?>
<!-- 普通の内部リンク ○ -->
<a href="./next.php">next</a>
<!-- 普通の内部POST ○ -->
<form method="POST" action="./next.php">
<input type="submit">
</form>
<!-- 外部リンク × -->
<a href="http://www.fork.co.jp/">next</a>
<!-- 外部へPOST ○ -->
<form method="POST" action="http://www.fork.co.jp/">
<input type="submit">
</form>
<!-- 内部リンクだけど:(コロン)付き × -->
<a href="./next.php?param:1=1">next</a>
<a href="javascript:location.href='next.php'">next</a>

実行結果のソースは下記の通り。

<!-- 普通の内部リンク ○ -->
<a href="./next.php?PHPSESSID=9d1ed5529291d7f9ce445e62dc85f8e4&foo=bar">next</a>
<!-- 普通の内部POST ○ -->
<form method="POST" action="./next.php"><input type="hidden" name="PHPSESSID" value="9d1ed5529291d7f9ce445e62dc85f8e4" /><input type="hidden" name="foo" value="bar" />
<input type="submit">
</form>
<!-- 外部リンク × -->
<a href="http://www.fork.co.jp/">next</a>
<!-- 外部へPOST ○ -->
<form method="POST" action="http://www.fork.co.jp/"><input type="hidden" name="PHPSESSID" value="9d1ed5529291d7f9ce445e62dc85f8e4" /><input type="hidden" name="foo" value="bar" />
<input type="submit">
</form>
<!-- 内部リンクだけど:(コロン)付き × -->
<a href="./next.php?param:1=1">next</a>
<a href="javascript:location.href='next.php'">next</a>

Subversionのコマンドの流れ

2008-05-16T23:34:00.005+09:00

そろそろgitもよさそーだなと思いつつもそれほど毎日がっつりプログラマでもなく、久方ぶりのブランチにマージとかでいつも混乱するのでSubversionでのざっくりメモを残しておく。

# まずはプロジェクト用のリポジトリを作成
svnadmin create --fs-type fsfs /var/svn
# 次にプロジェクト用のディレクトリを作成
mkdir -p work/myprj
# 初期用のディレクトリを作成
cd work/myprj
mkdir branches tags trunk
# インポート
cd ../
svn import -m import myprj file:///var/svn/myprj
# 必要ないので消す
rm -rf myprj
# 開発はmyprj/trunkでやる
mkdir myprj
svn co file:///var/svn/myprj/trunk myprj/trunk
cd myprj/trunk
echo read me. > README
svn add README
svn st
svn ci -m "commit"
# リリースをつくる
svn copy -m "rel" file:///var/svn/myprj/trunk file:///var/svn/myprj/tags/1.0.0
# リリースしたファイルを持ってくる
cd ../
svn co file:///var/svn/myprj/tags/1.0.0 1.0.0
# ブランチをつくる
svn copy -m "branch" file:///var/svn/myprj/trunk file:///var/svn/myprj/branches/1.1.x
# できたブランチで開発
svn co file:///var/svn/myprj/branches/1.1.x 1.1.x
cd 1.1.x
echo add 1.1.x. >> README
svn st
svn ci -m "commit"
# trunkでも修正が入る
cd ../trunk
svn up
perl -pi -e 's/read/Read/' README
svn st
svn ci -m "commit"
# trunkにおいてマージ作業、変更点のチェック
# trunkにおける現在のリビジョンを取得 -> 6
svn up
# branchを分けた時のリビジョン番号を取得 -> 4
svn log --verbose --stop-on-copy file:///var/svn/myprj/branches/1.1.x
# 変更点のチェック
svn diff -r 4:6 file:///var/svn/myprj/branches/1.1.x
# マージ前にチェック
svn merge --dry-run -r 4:6 file:///var/svn/myprj/branches/1.1.x
# マージ
svn merge -r 4:6 file:///var/svn/myprj/branches/1.1.x
# 変更点をチェック
svn st
# コンフリクトを解消してコミット
emacs README
svn resolved README
svn ci -m "commit"
# キーワード置換の設定(やらなくてもよし)
~/.subversion/config
[miscellany]
global-ignores = *.o *.lo *.la #*# .*.rej *.rej .*~ *~ .#* .DS_Store *.LCK #*# *.bak *.swp %* _notes _mm _baks
enable-auto-props = yes
[auto-props]
*.php=svn:keywords=Id
find ./modules -name "*.php" -exec svn propset svn:keywords Id

# ログの確認
svn log -v -r 5:5
# ログを日付で確認
svn log -r {2008-05-16}:HEAD
# リポジトリの中を一覧
svnlook tree /var/svn
# 指定したリビジョンのファイルを一覧
svn list -r 3
# 指定したリビジョンでのファイルの内容を表示
svn cat -r 2 README
# ロックをはずす
svn cleanup
# 最新のリビジョンを確認
svn log -r BASE:HEAD
# コミットされているもので変更があったものを一覧で取得
svn log -v -r 83:HEAD file:///var/svn/myprj/branches/1.1.x | grep "^ *M" | awk '{print $2}'
# 元に戻す (r6からr4へ元に戻す)
svn merge -r 6:4 ./README
#ログの修正
# 1. 記録されているログを確認
svn log file:///var/svn/pjdmp -r 5
# 2. ログの入力
echo 'modified log' > log.tmp
# 3. ログの設定
svnadmin setlog --bypass-hooks /var/svn -r 5 log.tmp

ちなみに構成管理でメインラインをどう保持していくとかはあまり情報がない気がする。どっかから下記の本を見つけて、ちょっと難解な部分はあるけど、基本て大事だなって思った。