blog.hori-uchi.com

Amazon ELBを5つ以上作る方法

2010-01-17T21:42:00.004+09:00

ELBはデフォルトでは1アカウントあたり5つまでしか作れない。

それ以上作ろうとすると以下のように怒られる。


$ elb-create-lb test-lb --availability-zones us-east-1d --listener "protocol=HTTP, lb-port=80, instance-port=80"
elb-create-lb:  Malformed input-Exceeded quota of account xxxxxxxxxx

5つ以上作るためには、アマゾンに申請しないといけない。
申請は下記のフォームから行える。

http://aws.amazon.com/contact-us/elb-request/

Shindig + Partuzaでキャッシュさせない設定

2009-12-15T12:19:00.003+09:00

Shindig + Partuzaで開発するならキャッシュ機能をオフにしないと不便。
Shindig,Partuzaの両方ともキャッシュに関する設定があるので、両方ともオフにする。

Shindig (PHP版)

cache_timeを0に設定する。


$ cat /path/to/shindig/php/config/local.php
'PartuzaService',
                     'activity_service' => 'PartuzaService',
                     'app_data_service' => 'PartuzaService',
                     'messages_service' => 'PartuzaService',
                     'oauth_lookup_service' => 'PartuzaOAuthLookupService',
                     'extension_class_paths' => '/Library/WebServer/Documents/partuza/Shindig',
                     'cache_time' => 0,
                     );

Partuza

こちらもcache_timeを0に設定する。


$ cd /path/to/partuza/html/
$ diff -u config.php.org config.php
--- config.php.org      2009-12-15 12:27:12.000000000 +0900
+++ config.php  2009-12-15 12:25:25.000000000 +0900
@@ -20,7 +20,7 @@

$config = array(
// Language to use, used for gettext / setenv LC_ALL
-'language' => 'en_US',
+'language' => 'ja_JP',

// prefix of where partuza lives, empty means it's /
'web_prefix' => '',
@@ -58,7 +58,7 @@
// If you use CacheStorageMemcache as caching backend, change these to the memcache server settings
'cache_host' => 'localhost',
'cache_port' => 11211,
-'cache_time' => 24 * 60 * 60,
+'cache_time' => 0,

デフォルトのストレージエンジンをInnoDBにする

2009-12-14T16:08:00.003+09:00

LeopardにdmgからインストールしたMySQLのデフォルトのストレージエンジンがMyISAMだってことに最近気付いた。
デフォルトのストレージエンジンを変更するにはmy.cnfでdefault-storage-engineを指定すればOK


$ sudo vi /etc/my.cnf
$ cat /etc/my.cnf
[mysqld]
default-storage-engine=InnoDB

mysqlを再起動して、実際にInnoDBになったか確認


$ mysql -uroot
mysql> create database foo;
mysql> use foo
mysql> create table bar(id int not null);
mysql> show table status bar ¥G
*************************** 1. row ***************************
      Table: bar
Create Table: CREATE TABLE `bar` (
 `id` int(11) NOT NULL
) ENGINE=InnoDB DEFAULT CHARSET=latin1
1 row in set (0.00 sec)

MySQL 主キーの追加・削除

2009-12-03T10:36:00.002+09:00

忘れるのでメモ

主キーの追加


ALTER TABLE テーブル名 ADD PRIMARY KEY (カラム名1[,カラム名2...]);

主キーの削除


ALTER TABLE テーブル名 DROP PRIMARY KEY

削除時下のようなエラーがでたら制約を疑う


OperationalError: (1025, "Error on rename of './foo/#sql-b6f_3958' to './foo/bar' (errno: 150)")

制約を確認


mysql> SHOW CREATE TABLE foo;

AmazonRDSでslow queryを出力するようにする方法

2009-11-24T16:15:00.007+09:00

AmazonRDSは、デフォルトの設定ではslow queryを出力するようになっていない。
また、MySQLが動いているサーバにアクセスすることができないので、slow queryをログファイルに出力したとしてもそれを閲覧する術がない。
RDSでも採用されているMySQL 5.1からは、slow queryをテーブルに保存できるようになったので、それを使う。

方針

ログはテーブル(mysql.slow_log)に出力する。

実行に1秒以上かかったクエリを記録する

100行以上を読み込んだクエリを記録する

普通なら以下のオプションをmy.cnfに設定すればOK。


[mysqld]
slow_query_log = ON
long_query_time = 1.000
log_output = TABLE
min_examined_row_limit=100

RDSの場合は、db-parameter-groupを作成し、パラメータを編集し、db-instanceに適用する。
今回はacme-param-grpというdb-parameter-groupを作成し、acmeというdb-instanceに適用する。

db-parameter-groupを作成


$ rds-create-db-parameter-group acme-param-grp -e MySQL5.1 -d "parameter group for acme"

db-parameter-groupのパラメータを編集
(log_outputはデフォルトでTABLEになっているので設定しない。設定しようとしてもできない)


$ rds-modify-db-parameter-group acme-param-grp \
--parameters="name=slow_query_log, value=ON, method=immediate" \
--parameters="name=long_query_time, value=1, method=immediate" \
--parameters="name=min_examined_row_limit, value=100, method=immediate"

methodに指定できる値はimmediate もしくは pending-reboot

編集したパラメータの確認


$ rds-describe-db-parameters acme-param-grp --source user
DBPARAMETER  long_query_time         1    user  integer  dynamic  true
DBPARAMETER  min_examined_row_limit  100  user  integer  dynamic  true
DBPARAMETER  slow_query_log          1    user  boolean  dynamic  true

sourceに指定できる値はuser 、system、 engine-default

db-parameter-groupをdb-instanceに適用


$ rds-modify-db-instance acme --db-parameter-group-name=acme-param-grp

db-instanceを再起動


$ rds-reboot-db-instance acme

db-instanceにdb-parameter-groupが適用されているか確認


$ rds-describe-db-instances
DBINSTANCE  acme  2009-11-04T10:59:28.860Z  db.m1.large    mysql5.1  100  xxxx  available  acme.xxxxxxx.us-east-1.rds.amazonaws.com  3306  us-east-1d  1
     SECGROUP  xxxx  active
     PARAMGRP  acme-param-grp  in-sync

PARAMGRPがacme-param-grpになっていて、ステータスがin-syncになっていればOK。

さらにmysqlにアクセスしパラメータが有効になっているか確認する。


mysql > show global variables like 'slow_query_log';
+----------------+-------+
| Variable_name  | Value |
+----------------+-------+
| slow_query_log | ON    |
+----------------+-------+
1 row in set (0.00 sec)

mysql> show global variables like 'long_query_time';
+-----------------+----------+
| Variable_name   | Value    |
+-----------------+----------+
| long_query_time | 1.000000 |
+-----------------+----------+
1 row in set (0.00 sec)

mysql> show global variables like 'min_examined_row_limit';
+------------------------+-------+
| Variable_name          | Value |
+------------------------+-------+
| min_examined_row_limit | 100   |
+------------------------+-------+
1 row in set (0.00 sec)

Python 今日覚えたこと

2009-11-20T20:36:00.003+09:00

utf-8な文字列を内部で扱う形式にデコードする際、


unicode_str = utf8_data.decode('utf-8')

とするとutf8_dataにデコードできないバイト列があった場合、UnicodeDecodeErrorの例外をだす。


UnicodeDecodeError: 'utf8' codec can't decode byte 0xb4 in position 1: unexpected code byte

デコードできない文字列を削除してしまっていいのなら'ignore'を引数で渡してやればよい。


unicode_str = utf8_data.decode('utf-8', 'ignore')

さらにdecodeよりunicodeの方が高速らしい。


unicode_str = unicode(utf8_data, "utf-8", 'ignore')

エンコード、デコードの概念はPerlと同じなので理解しやすかった。

参考
http://snippets.hachinos.net/lang/python/user/piro_suke/3/
http://d.hatena.ne.jp/methane/20090816/1250433407

saveをオーバーライドする時はforce_insert、force_updateを渡す

2009-11-18T18:39:00.002+09:00

Djangoでdjango.db.Modelsのsaveメソッドをオーバーライドする際


def save(self):

とすると、create()とget_or_create()で以下のようなエラーを吐いた。


TypeError: save() got an unexpected keyword argument 'force_insert'

saveにforce_insert,force_updateを渡すようにしないといけないらしい。
正解はこう


def save(self, force_insert=False, force_update=False):

http://code.djangoproject.com/wiki/BackwardsIncompatibleChanges

create() and get_or_create() will never update existing objects ¶

In [8670] a change was made to both create() and get_or_create() that affects people in two ways:

Firstly, if you have a custom save() method on your model and it is going to be called using create() or get_or_create(), you should make sure you accept the force_insert parameter (best to accept force_update as well, just like django.db.models.base.Model.save()). You don't have to do anything with these parameters, just pass them through to the Model.save() method.

urllib2でgzipされたデータを扱う

2009-11-17T14:52:00.003+09:00

ここに書いてあった。
http://diveintomark.org/projects/misc/httpgzip.py.txt

StringIOよりcStringIOのが高速でよいと聞いたのでそちらを使ってみる。
それ以外はまるパクリ。



import urllib2, gzip, cStringIO

def get(uri):
    request = urllib2.Request(uri)
    request.add_header("Accept-encoding", "gzip")
    usock = urllib2.urlopen(request)
    data = usock.read()
    if usock.headers.get('content-encoding', None) == 'gzip':
        data = gzip.GzipFile(fileobj=cStringIO.StringIO(data)).read()
    return data

if __name__ == '__main__':
    import sys
    uri = sys.argv[1:] and sys.argv[1] or 'http://mixi.jp/'
    print get(uri)

MySQL 外部キー制約の追加、削除

2009-11-13T11:38:00.004+09:00

忘れるのでメモ

MySQL 5.1で確認した。

外部キー制約の確認

SHOW CREATE TABLE テーブル名;

show create table bbs_thread;

外部キー制約の追加

ALTER TABLE テーブル名 ADD FOREIGN KEY (制約を張りたいカラム) REFERENCES 張りたいテーブル(張りたいカラム);

alter table bbs_thread add foreign key (creator_id) references accounts_user(id);

外部キー制約の削除

ALTER TABLE テーブル名 DROP FOREIGN KEY 制約名;

ALTER TABLE bbs_thread drop foreign key creator_id_refs_id_75448b6c;

Leopardでcapistrano

2009-11-11T14:59:00.002+09:00

Leopardにはデフォルトでcapistranoが入っているが、バージョンが古いので、更新する

$ sudo gem install capistrano

複数環境にデプロイできるように。capistrano-extをインストールする

$ sudo gem install capistrano-ext

LeopardにPILをpipでインストール

2009-10-26T19:26:00.003+09:00

$ pip install PIL

とすると
IOError: [Errno 2] No such file or directory: '/Path/to/build/PIL/setup.py'
というエラーがでてインストールできない。

ソースのURLを指定してインストール。

$ pip install http://effbot.org/downloads/Imaging-1.1.6.tar.gz

Jpeg support not availableとログに出た場合は、
jpegを利用できるようにするために、libjpegをインストール

$ wget http://www.ijg.org/files/jpegsrc.v7b.tar.gz
$ tar zxvf jpegsrc.v7b.tar.gz
$ cd jpeg-7
$ ./configure
$ make && sudo make install

そんでもいっかいpip

$ pip install http://effbot.org/downloads/Imaging-1.1.6.tar.gz

JPEG support ok とでればOK。

safari3でjTemplatesがうまく動かない問題を解決

2009-10-22T15:08:00.005+09:00

jTemplatesのsetTemplateElementメソッドを使ってテンプレートをロードする際、テンプレートに日本語が含まれていると、safari3では何も表示されないという問題に遭遇。
jQuery,jTemplatesのバージョンはそれぞれ現在最新の、1.3.2と0.7.8。

原因を調べるため、jquery-jtemplates.jsを見てみると、なんのことはない、replaceの正規表現がうまくマッチせず、テンプレート内のコメント部分の除去がうまくいってないだけだった。

具体的にはjquery-jtemplates.jsの中のjQuery.fn.setTemplateElement内にある下のコード。


s = s.replace(/^<\!\[CDATA\[([\s\S]*)\]\]>$/im,'$1');                                                                                                                                       
s = s.replace(/^<\!--([\s\S]*)-->$/im, '$1');

これがsafari3だとうまくマッチせず、が除去されず、そのままコメント扱いになり、表示されていなかった。

とりあえず、上記コードを下記のように修正することで対応した。


s = s.replace(/^<\!\[CDATA\[/m, '').replace(/\]\]>$/m, '').replace(/^<\!--/m, '').replace(/-->$/m, '');

mixiアプリの表示領域(高さ)を調整する最適な方法

2009-09-14T16:47:00.016+09:00

mixiアプリの開発をはじめてからずっと表示領域(高さ)の調節に悩まされていたのですが、下記の記述でうまく調整されるようになりました。

gadgets.window.adjustHeight($(document).height());

$(document).height()でjQueryを使ってdocumentの高さを取得し、
コンテナの提供するgadgets.window.adjustHeightに渡すようにしています。

そもそも、gadgets.window.adjustHeightは引数を渡さず実行すると、表示領域の高さを自動調整してくれるはずなので、引数なしで呼びだせばそれでOKなはずなのですが、これが結構うまく動作してくれません。
その結果コンテンツが全て画面に入りきらずに、スクロールバーが表示されてしまい、見づらいし、使いずらいということになってしまいます。

ここで問題なのが、開発環境と本番環境で挙動が異なるということで、
僕の場合ローカルの開発環境(Partuza+Shindig)では高さの自動調整がうまく行くのに、mixi上で動作させると高さがうまく調整されずスクロールバーがでてしまうという現象になやみました。

そこで上記の解決策です。jQueryで高さを取得することで、コンテナに依存しなくなるので、開発環境でも本番環境でも同じ挙動を得ることができるようになりました。

コンテナが成熟してくればこの手の問題はある程度解決していくとは思いますが、コンテナ毎の微妙な差異というのは少なからず残るのではないかと思います。

そのため、今回のようにコンテナに依存しないような方法を取るというのは、様々なプラットフォームで動かすアプリを作る時には考えなければいけないなと思います。

10日でおぼえるPython入門教室

2009-06-04T04:12:00.000+09:00

CMSコミュニケーションズの寺田さんから「10日でおぼえるPython入門教室」を献本いただきました!
どうもありがとうございます!!

ちょうど僕の中で「Python」が熱くなっていたところだったんです!
まさにベストなタイミング!

10日目にはGoogle App Engineの使い方の解説もあるみたい。
これからじっくり読んでみます。

10日でおぼえる Python 入門教室

posted with amazlet at 09.06.03

穂苅実紀夫寺田学中西直樹堀田直孝永井孝
翔泳社
売り上げランキング: 5963

Amazon.co.jp で詳細を見る

OpenPNE　flipclip小窓スクリプト　新URL対応版

2009-03-14T10:43:00.000+09:00

FlipClpリニューアルに伴って、クリップのURLを下記のように変更しました。

旧URL
>


http://www.flipclpi.net/{userid}/{clip_no}

<

新URL
>


http://www.flipclpi.net/{clip_no}

<

旧URLから新URLへはリダイレクトするようにしているので旧URLはそのままにしておいて問題ないのですが、クリップのURLを正規表現でマッチさせてごにょごにょしたりしている場合、新URLだとマッチせずうまく動かないってことがおこっちゃってます。

OpenPNEの小窓機能もそのひとつで、新URLを貼り付けるとうまくURLがマッチせず、動画が表示されなくなってしまってます。
OpenPNEの中の人が対応してくれると思いますが、取り急ぎ、新URLでも動くものをのっけておきます。
以下のflipclip.net.js、www.flipclip.net.jsをダウンロードして、public_html/cmd/に上書きコピーすればOKです。

>


OpenPNE　flipclip小窓スクリプト　新URL対応版
flipclip.net.js
www.flipclip.net.js

FlipClipがリニューアルしました!

2009-03-11T20:00:00.000+09:00

FlipClipがリニューアルしました。

詳しい内容はこちら
http://blog.flipclip.net/2009/03/post_57.html

今回のリニューアルで体感できるほど、サイトのレスポンスが上がったと思います。

今までサービス全体のレスポンスを下げていた、全レコードに対する検索を見直すことで、DBの負荷が50〜100分の1になりました。

レコードの検索に対して、様々な場面を想定して、柔軟に条件を指定検索できるような実装をしてしまっていたのが、DBのレスポンスを悪くして、サイトを重くしていた主な原因であり、反省する点です。

今回の件で、「なんでもできる」ものは「なんにもできない」のと同じだってことを痛感しました。
リーンな開発を心がけようと心に誓いました。

DjangoXPython

2009-02-13T03:28:00.000+09:00

僕のとなりの席の露木さんがDjangoの本を書きました!

「ディージャンゴ」じゃないよ「ジャンゴ」だよ。

Googleも使ってるPythonのフレームワークで、優秀なadmin機能が標準装備されていたり、テンプレートの継承ができたりします。

僕もDjangoに(露木さんに?)インスパイアされてテンプレートの継承っぽいことができるTTのプラグイン書いて、FlipClipで使ってます。

Django×Python

posted with amazlet at 09.02.12

露木誠
技術評論社
売り上げランキング: 5011

Amazon.co.jp で詳細を見る

友人の奥さんがサロンをオープンしました。

2008-06-05T04:46:00.000+09:00

久しぶりの更新かつ、まったくPerlとは関係ありませんが、、

同僚の奥さんが、浦和にまつげエクステ専門サロンをオープンするそうです。

自宅サロンでゆっくり丁寧にカウンセリング、施術をしてくれるそうなので、興味のある方は是非チェックしてみてください！

まつげエクステ専門サロンmido

adsという文字列を動画のURLに入れてはいけない

2008-01-25T10:35:00.000+09:00

ユーザーから動画が見れなくなったという問い合わせが来たので確認すると、自分達の環境では普通に見れる。原因がよくわからない。

詳しく聞いてみるとどうやらIE7 ProというIE 7のAdd-onを入れてから見れなくなったらしい。ということでそれを入れてみたところ見事に動画が再生されなくなった。

さらに詳しく調べていくと、IE7 ProのFlash広告をブロックする機能が、プレイヤーが取得しようとする動画を広告とみなしてブロックしてしまい、動画を取得できないため再生できないことがわかった。

ブロックされていた動画のURLがこれ。
http://www.flipclip.net/ads/logo_animation_a.flv

この広告ブロック、広告かどうかの判定をURLにテキストマッチをかける形で行っていて、「/ads/」という部分が判定にひっかかていたみたい。

原因がわかれば対応は簡単!
動画のURLを変更することで無事問題解決しました。

めでたしめでたし。

「FFmpegで作る動画共有サイト」が発売されます!

2008-01-18T21:21:00.000+09:00

動画共有サイトを作ってみたいという方向けの書籍「FFmpegで作る動画共有サイト」が1/29にに毎日コミュニケーションズさんから発売されます!
FFmpegとはというところから始まり、インストールから各言語でのFFmpegの使いかた、実際にサイトを構築するところまで入ったてんこ盛りな書籍です。

僕も4章のPerlでFFmpegを使うという部分を書きました。
僕が書いた部分ですが、まずはシンプルにsystem関数を使ってPerlからffmpegを実行する方法をサンプルスクリプトを使って紹介し、そのスクリプトをffmpegコマンドの実行結果を取得したり、タイムアウト処理をすることができるように拡張していくという内容になっています。

拡張していくにあたって、誰でも簡単に試せるよう、CPANモジュールは使わず、標準モジュールと組み込み関数のみを使うようにしました。

ただ、CPANモジュールの便利さも知ってもらいたかったので、ここまでに拡張したスクリプトをCPANモジュールを使って書くとどうなるか?というのを最後に紹介しています。

ここではmizzyさん作のFFmpeg::Commandを使ってサンプルコードを書きました。

今回CPANモジュールを使うコードと使わないコードを書いてみて、改めてCPANモジュールの便利さを痛感しました。
これを読んで、Perlっていいかも、ちょっと試してみようかなと思ってくれる方が少しでも増えたら幸いです。

FFmpegで作る動画共有サイト

posted with amazlet on 08.01.18

月村潤本間雅洋堀田直孝原一浩足立健誌尾花衣美堀内康弘寺田学
毎日コミュニケーションズ (2008/01/29)
売り上げランキング: 15883

Amazon.co.jp で詳細を見る

・予価：2,940円（税込）
・B5変型判　272ページ
・ISBN978-4-8399-2466-9
・発売日：2008年01月29日

■内容紹介

YouTubeやニコニコ動画など、最近のWebサービスでは動画共有サービスが大人気です。その多くのサイトで、動画投稿時の変換に利用されているのがオープンソースの動画変換ソフト（エンジン）「FFmpeg」です。

FFmpegは、様々な動画・音声形式の変換に対応しており、動画共有サービス立ち上げの際に必須の技術ですが、これまでまとまった解説書がありませんでした。本書は、動画共有サイトの開発を日常的に行っている著者による、FFmpegを利用して動画共有サービスを構築するための技術解説書になります。

本書では、動画に関する基本的な解説から、FFmpegのインストールや使い方、Perl、PHP、Python、Javaの4つのプログラム言語での利用方法、字幕を入れられるFlashを使った動画プレイヤーの制作方法、Pythonを使った動画共有サイトの構築まで、サンプルを交えて解説します。本書で解説するのは、比較的小規模での動画共有サイトの作り方となりますが、サーバサイドの工夫次第では、大規模な動画共有サイトにも発展させることも可能です。

動画共有サイトの開発環境は多岐に渡り、本書はそのエッセンスをまとめたもので、すべての環境や手順は解説してません。また、本書の開発環境は、著者が日常的に利用している環境で、必ずしも一般的な環境ではないかもしれません。ただ、実際に動画共有サイト構築のために、著者自身が試行錯誤しながら身につけた知識や技術は、FFmpegを利用した動画共有サイト構築の際に、必ず参考になると考えています。

著者：原一浩・寺田学・本間雅洋・足立健誌・堀内康弘・堀田直孝・月村潤・尾花衣美

FlipClipでクリップ検索用フィード公開しました。

2007-02-02T04:53:00.000+09:00

最近どこもかしこもAPI公開なご時勢ですが、FlipClipもクリップ検索用のフィードをAPI第1段として公開しました。

FlipClip開発者向け情報のページ
http://www.flipclip.net/developer/

フィードと言うよりAPIといったほうが世間の受けはよさそうな気がしますが、フィードはフィードなんで、フィードという名前にしときました。

今のところ、以下のクリップを取得できます。

- 一般公開クリップ
- 特定ユーザーのクリップ
- 特定ユーザーの友だちのクリップ
- 特定ユーザーのお気に入りクリップ

フィードのフォーマットはAtomフィード、JSONフィード、RSS2.0を用意しました。
フォーマットの指定はクエリパラメータでできるんですが、別の方法として、Acceptヘッダを使った指定ができるようにしてあります。
リソースを取得するためのURLがあって、そのURLに対してこのフォーマットでくれというと、その形式で返す、というようにRESTっぽくしたかったので、つけました。

それと、絞り込み機能を充実させています。
タグやフリーワード、カテゴリ、撮影日時に位置情報など、対応できそうなのにはひととおり対応してみました。

また、ソートもいろいろな基準でできるようにしてあります。
フィードなんで基本日付以外でソートできるのは、よろしくないような気もしましたが、
使い勝手を考えて、再生回数とか投票の数などでソートできるようにしてあります。

もうひとつ、フィードの認証も実装してあります。
認証にはWSSEを採用しました。

フィードのリクエストの際にWSSEヘッダを付与してリクエストを送れば、
認証されたユーザの権限でクリップが取得できるようになります。
たとえば、自分のクリップなら、プライバシー設定に関係なくすべて取得できますし、
自分の友だちのクリップで友だち公開なクリップも取得できます。

使ってみて、気づいた点、使いにくい点などありましたら、お知らせいただけるとうれしいです。

mysqldumpで文字化けしないためのメモ

2006-12-05T20:07:00.000+09:00

ローカルの開発環境で使っていたMySQLなんですが、何も考えずデフォルトの設定で使っていたら、mysqldumpした際に、データが文字化けして、ちょっとは待ったのでメモ。

MySQLのバージョンは4.1.20。
文字化けする原因は、mysqldumpがデフォルトでは、文字コードをUTF-8で出力するようになっていて、フィールドの型がUTF-8でない場合は、自動でUTF-8に変換するためのようです。

僕が使っていたDBは文字コードについて特に何も設定していなかったので、デフォルトの文字コードであるlatin1になっていました。

なので、これもmysqldumpするとlain1 -> UTF-8な変換が自動で行われ文字化けしたということのようです。納得。

この自動変換を行わないようにすれば解決するはず。ということで調べてみると、--default-character-setというオプションを使うとよいことがわかりました。これを使ってデフォルトの文字コードをDBの文字コードとあわせてやることで、自動変換が行われなくなり、文字化けしないようです。
で、結局以下のコマンドで文字化けせずdumpすることができました。

>


mysqldump --default-character-set=latin1 -uroot --all-databses > db.dump

<

これでデータ自体は文字化けしなくなりますが、これをそのまま、UTF-8なDBに取り込むと、取り込んだデータが文字化けしてしました。
ダンプしたデータを見てみると、所々にSET NAMES latin1とかDEFAULT CHARSET=latin1のように「latin1]の文字が。。
これが原因だったようで、ワンライナーでlatin1をutf8に変更してからインポートしたところ、文字化けせずに取り込むことができました。

>


perl -pi -e 's/latin1/utf8/' db.dump

SledgeでもRESTfulなアプリケーションを書きたい！

2006-11-25T09:48:00.000+09:00

今日参加した第9回XML開発者の日の川村さんによる「Ruby on RailsにみるRESTfulアプリケーションの方向性」の話を聞いて、SledgeでもRESTfulなコードを簡単に書きたいと思いたち、ちょっとパッチを書いてみました。

>



--- Sledge/Pages/Base.pm.orig   2006-11-25 00:40:59.000000000 +0900
+++ Sledge/Pages/Base.pm        2006-11-25 09:27:50.000000000 +0900
@@ -8,6 +8,9 @@
use strict;
use base qw(Class::Accessor Class::Data::Inheritable);

+use vars qw($MethodQueryKey);
+$MethodQueryKey  = '_method';
+
__PACKAGE__->mk_accessors(
'r',                       # Apache::Request or Sledge::Request::CGI
'session',                 # Sledge::Session
@@ -81,10 +84,16 @@
eval {
$self->init_dispatch($page);
$self->invoke_hook('BEFORE_DISPATCH') unless $self->finished;
-       if ($self->is_post_request && ! $self->finished) {
+       if ( $self->is_put_request && ! $self->finished) {
+           my $putmeth = 'put_dispatch_' . $page;
+           $self->$putmeth() if $self->can($putmeth);
+       } elsif ( $self->is_delete_request && ! $self->finished) {
+           my $deletemeth = 'delete_dispatch_' . $page;
+           $self->$deletemeth() if $self->can($deletemeth);
+       } elsif ($self->is_post_request && ! $self->finished) {
my $postmeth = 'post_dispatch_' . $page;
$self->$postmeth() if $self->can($postmeth);
-       }
+    }
unless ($self->finished) {
my $method = 'dispatch_' . $page;
$self->$method();
@@ -188,6 +197,16 @@
return $self->r->method eq 'POST';
}

+sub is_put_request {
+    my $self = shift;
+    return ($self->r->method eq 'PUT' || ($self->r->method eq 'POST' &&  lc($self->r->param($MethodQueryKey)) eq 'put'));
+}
+
+sub is_delete_request {
+    my $self = shift;
+    return ($self->r->method eq 'DELETE' || ($self->r->method eq 'POST' && lc($self->r->param($MethodQueryKey)) eq 'delete'));
+}
+
sub make_content {
my $self = shift;
# template output, then fillin forms

<

これを使って書いたPagesクラスのサンプルはこんな感じです。

>


package MyProj::Pages::Items;
use strict;
use base qw(MyPfoj::Pages);

sub dispatch_index {
my $self = shift;
my $item_id = int $self->r->param('id');
if ( $item_id ){
# アイテム単体を返すコードを記述
} else {
# アイテムリストを返すコードを記述
}
}

sub post_dispatch_index {
my $self = shift;
# アイテムを追加するコードを記述
}

sub put_dispatch_index {
my $self = shift;
# アイテムを更新するコードを記述
}

sub delete_dispatch_index {
my $self = shift;
# アイテムを削除するコードを記述
}

<

MyProj::Pages::Itemsクラスがアイテムをあらわすリソースに対応していて、
各メソッドにあわせて、CRUDの操作を実行するという風に書けてすっきりする気がします。
ブラウザからはPUT,DELETEリクエストはできないので、_method=putまたはdeleteとクエリパラメータを使うことで代用しています。

こんなのいかがでしょうか？

Akamaiで認証付きコンテンツを配信する方法

2006-10-23T05:18:00.000+09:00

IPAに脆弱性として提出されていた、ミクシィにアップロードされた画像がURLを直接たたけばログインしていなくても閲覧できる件が技術的には改修せず、ヘルプにその旨を記載することで決着したという話題について、その理由のひとつに画像の配信は一部、CDN（akamai）を使っているため、そこに認証をかけるのが難しいのではというものを見かけました。

このakamaiなのですが、実は、僕が開発運用している動画共有サイトFlipClipでも、日ごとに増え続けるサーバへの負荷、トラフィックに対応すべく、動画の配信にこれを使えないかと検討してまして、先日akamaiの人にきていただいて話を聞いてみました。

このとき一番聞きたかったのがまさに今回のミクシィの件で話にでてきた「認証のかかったコンテンツをakamaiで配信できるのか？」という点でした。
というのもFlipClipでは動画・サムネールの配信はすべてmod_perlアプリケーションから動的に行っていて、動画に設定されたプライバシーからユーザのアクセス権を判定し、OKならば動画・サムネールを吐き出すという処理をおこなっているからです。

この質問に対してのakamaiの方からの回答は、3つの方法があるというものでした。

+ akamai-FlipClip間でルールを決めて作成したCookieを使ってアクセス権を制御する方法
+ akamai-FlipClpi間でルールを決めて作成したクエリパラメータを使ってアクセス件を制御する方法
+ akamaiはIf-Modifiedヘッダ付きのリクエストを毎回FlipClipに送りつけ、認証はFlipClipに任せる方法

1のCookieを使う方法と2のクエリパラメータを使う方法は、どちらもあらかじめakamaiとFlipClipの間で認証OKかNGかをakamaiが理解できるクッキー、クエリパラメータ生成ルールを決めておき、それを動画・サムネールのリクエストと一緒に送りつけると、それを元にakamaiが認証を行い、キャッシュがあればakamaiからコンテンツを返すという方法だそうです。
この方法の利点としては、

- akamaiが認証を行うので、動画のリクエストの際に、FlipClipまでリクエストが飛んでこず、FlipClipのサーバへの負荷はかなり減る

という点があげられるんですが、欠点として、

- 認証箇所が2箇所（akamaiでの認証だけでなく、FlipClipでもCookieやクエリパラメータを生成する際に認証が必要）になってしまうため、セキュリティ的にリスクが大きくなってしまう
- akamaiのためにそれ用の実装をしないといけない
- 仮にクエリパラメータがばれたら誰でもアクセスできることになる
- そもそもクエリパラメータをつけるなんてかっこ悪い

という点があり、ちょっと微妙な感じだなーと感じました。

3の毎回FlipClip側に認証を求める方法ですが、これは、akamaiは認証は行わず、akamaiに動画・サムネールのリクエストが送られてきたら、そのリクエストにIf-Modified-SinceヘッダをつけてFlipClipのサーバに転送してくれるという方法だそうです。

これの利点は、

- アクセス制御はFlipClip側1箇所で行うので、ここだけを考えればいい。
- 同じ動画・サムネールへのリクエストが多いという傾向があれば、キャッシュのヒット率があがり、FlipClipサーバからのトラフィックをぐんと軽減することが期待できる

欠点としては、

- FlipClip側がIf-Modified-Sinceヘッダを理解できるようにしないといけない
- 動画・サムネールへのアクセスがほどよく分散されているような傾向の場合は、キャッシュヒット率があまりあがらず、本サーバ側の負荷軽減は小さくなる
- リクエストごとにFlipClip側にリクエストが飛ぶので、クッキーやクエリパラメータを使った方法よりは、サーバの負荷がかかる

という点があげられますが、
1つ目の欠点は、すでにIf-Modified-Sinceは理解するようになっているので、問題なし。
2つ目の欠点は、FlipClipの動画の配信傾向を見ていると、パレートの法則にほぼ従っていて、1日に配信される動画のうち20％の動画の再生数が全体の再生数の約90％を占めているという状況なので、キャッシュのヒット率はかなり高くなりそうなので、問題なし。
3つ目の欠点はリクエストは毎回FlipClipのサーバまで飛んできますが、上記のとおりキャッシュがうまく働いてくれそうなので、FlipClipサーバはほとんど、302をレスポンスとして返すだけで済むはずで、負荷、トラフィックはかなり減らすことが期待できそうなので、まあ問題なし。

ということで、この方法はいいかもという感想でした。

このようにakamai経由でも認証付きコンテンツの配信はできそうなのですが、なぜミクシィがそれをできないのかというと単純にこの修正で影響を受ける箇所が多すぎて、直すに直せないってことなんじゃないかなーとか、静的に返していたコンテンツを動的にアプリケーションから吐き出すようにすると、パフォーマンスがでないと考えているのかなーとか考えちゃいますがほんとのところはどうなんでしょうねぇ。

via: スラッシュドットジャパン | ミクシィ、画像に認可制御なしの欠陥を改修できず、ヘルプで弁解

Firefoxの「選択した部分のソースを表示」はJavaScriptで動的に生成したHTMLも表示される

2006-10-04T19:24:00.000+09:00

これ知りませんでした。「選択した部分のソースを表示」しても、普通にその部分の生のソースが出てくるだけかと思い込んでました。

最近はJemplateなんかを使って動的にHTMLを生成するというのをやることが多いんですが、これ、HTMLのメンテがしづらいとデザイナーさんからはすこぶる評判がわるかったんです。
これで少しはメンテが楽になるかなー。

via: subtechグループ - マングローブ - JavaScriptなんかでいじられた後の現在のソースを表示

blog.hori-uchi.com

Amazon ELBを5つ以上作る方法

Shindig + Partuzaでキャッシュさせない設定

デフォルトのストレージエンジンをInnoDBにする

MySQL 主キーの追加・削除

AmazonRDSでslow queryを出力するようにする方法

Python 今日覚えたこと

saveをオーバーライドする時はforce_insert、force_updateを渡す

urllib2でgzipされたデータを扱う

MySQL 外部キー制約の追加、削除

Leopardでcapistrano

LeopardにPILをpipでインストール

safari3でjTemplatesがうまく動かない問題を解決

mixiアプリの表示領域(高さ)を調整する最適な方法

10日でおぼえるPython入門教室

OpenPNE flipclip小窓スクリプト 新URL対応版

FlipClipがリニューアルしました!

DjangoXPython

友人の奥さんがサロンをオープンしました。

adsという文字列を動画のURLに入れてはいけない

「FFmpegで作る動画共有サイト」が発売されます!

FlipClipでクリップ検索用フィード公開しました。

mysqldumpで文字化けしないためのメモ

SledgeでもRESTfulなアプリケーションを書きたい！

Akamaiで認証付きコンテンツを配信する方法

Firefoxの「選択した部分のソースを表示」はJavaScriptで動的に生成したHTMLも表示される

OpenPNE　flipclip小窓スクリプト　新URL対応版