Posql開発ブログ

Google AdWords 無料お試し券使い切った

2010-09-27T20:36:00.000+09:00

Google AdWords 無料お試し券、
使い切ったので停止しました。

まだ少し残高残ってたけど、
停止してから 1時間はかかるらしいから早めにきりあげた。

なんとなく気になるのは、
本当に停止したの？って思ってしまうこと。

停止(キャンセル)の方法は、

アドワーズの無料お試し券を使いきったので停止、果たして効果は？
↑でわかりやすく解説されてます。

結果だけど、
クリック率がものすごい低かった。

反省点:

日本語で作ったのに「すべての地域(世界中)」で表示させてた(数日経って気付いて直した)。
日本語で作ったのに「すべての言語(世界中)」で表示させてた(同上)。
広告の文言が下手だった。
ドメインとってからにしたかった。

なんというか、いろいろと学びました。
広告って難しいなぁ。

注意点としては、
一度広告を作ると文言の変更は作り直しと同じようなものってことと、
たとえ無料券でも自動的に終わらないから(一応終了日の設定は可能)
特に個人が利用する場合は、まめに残高チェックしたほうがいい。

気を抜くことができない数日でした。

あんまりクリックされてないけど、
Posql 使ってくれる人増えたら嬉しいです。

次バージョン開発中

2010-09-23T14:51:00.000+09:00

半年ほど開発止まっちゃってたけど、
現在 Version 2.18 に向けて開発中です。

Version 2.17 でかなり安定してたけど、
いくつかバグ報告もあって自分でもバグ見つけたりして
修正とかやってます。

あとコメントいただいた WordPress の件もどうにかしたい。

バグに限らず、要望とか「こういう機能あったらいい」とかあったら
どんどんコメントください。

Google AdWords 無料お試し券試してみた

2010-09-23T14:39:00.000+09:00

Googleからアドワーズの「無料お試し券」5000円分。
届いてたの忘れてて、
今月30日までなのでせっかくだから試してみた(お試し中)。

設定とか注意点がいくつかあるけど、

Googleからアドワーズ「無料お試し券」が届いたので試してみる
↑を参考にさせていただきました。

せっかくだから Posql 用の広告にしてみました。

まだ半日くらいしかたってないけど、
なぜかステータスが「審査待ち」から変わらない…。
調べたら時間がかかるみたいだけど
無料分が5日分くらいしかないからなぁ。

でも掲載されてるらしいから
これを機に Posql 使ってくれる人が増えたらいいな。

PHPでJavaScriptのescape/unescape,encodeURI/decodeURI,encodeURIComponent/decodeURIComponentを実装してみたよ

2010-04-03T04:18:00.004+09:00

結局、実装したものはクラスにまとめて Posql ライブラリ内に収めました。

escape/unescape
encodeURI/decodeURI
encodeURIComponent/decodeURIComponent

それぞれの使い方の詳細は、
Posql API リファレンス#escape あたりを参照ください。

互換がとれているかサンプル書いてみました。

<?php
error_reporting(E_ALL);

// 文字コードを設定
$charset = 'UTF-8';

if (extension_loaded('mbstring')) {
  mb_internal_encoding($charset);
}
if (extension_loaded('iconv')) {
  iconv_set_encoding('internal_encoding', $charset);
}
@ini_set('default_charset', $charset);
header('Content-Type: text/html; charset:' . $charset);

$posql = new Posql;

// Posql の内部文字コードを設定
$posql->setCharset($charset);

// 対象の文字列
$string = '~@()*&=%$_あいうえお～表示漢字';

?>
<html>
<head>
<meta http-equiv="content-type" content="text/html; charset=<?php
 echo $charset ?>">
<title>Posql - with JavaScript encode/decode functions Test</title>
<style>
dt {font-weight: bold}
</style>
</head>
<body>
<h1>Posql - with JavaScript encode/decode functions Test</h1>
<p>charset=<?php echo $charset ?>

<script type="text/javascript">

function echo(s){
  document.write(s);
}

// 対象の文字列
var string = "<?php echo $string ?>";

// PHP と JavaScript の実行結果
var results = {
  // JavaScript でエンコード
  js: {
    escape: escape(string),
    encodeURI: encodeURI(string),
    encodeURIComponent: encodeURIComponent(string)
  },
  // Posqlの各メソッドを使ってエンコード
  php: {
    escape: "<?php
      echo $posql->ecma->escape($string) ?>",
    encodeURI: "<?php
      echo $posql->ecma->encodeURI($string) ?>",
    encodeURIComponent: "<?php
      echo $posql->ecma->encodeURIComponent($string) ?>"
  }
}

// PHP でエンコードしたものを JavaScript でデコード
var php2js = {
  unescape: unescape(results.php.escape),
  decodeURI: decodeURI(results.php.encodeURI),
  decodeURIComponent: decodeURIComponent(results.php.encodeURIComponent)
}

echo("<dl>");

// escape
echo("<div><hr /></div>");
echo("<dt>[JavaScript]escape</dt>");
echo("<dd>" + results.js.escape + "</dd>");
echo("<dt>[PHP]escape</dt>");
echo("<dd>" + results.php.escape + "</dd>");
echo("<dt>[Compare] js === php </dt>");
echo("<dd>" + (results.js.escape === results.php.escape) + "</dd>");
echo("<dt>unescape</dt>");
echo("<dd>" + php2js.unescape + "</dd>");

// encodeURI
echo("<div><hr /></div>");
echo("<dt>[JavaScript]encodeURI</dt>");
echo("<dd>" + results.js.encodeURI + "</dd>");
echo("<dt>[PHP]encodeURI</dt>");
echo("<dd>" + results.php.encodeURI + "</dd>");
echo("<dt>[Compare] js === php </dt>");
echo("<dd>" + (results.js.encodeURI === results.php.encodeURI) + "</dd>");
echo("<dt>decodeURI</dt>");
echo("<dd>" + php2js.decodeURI + "</dd>");

// encodeURIComponent
echo("<div><hr /></div>");
echo("<dt>[JavaScript]encodeURIComponent</dt>");
echo("<dd>" + results.js.encodeURIComponent + "</dd>");
echo("<dt>[PHP]encodeURIComponent</dt>");
echo("<dd>" + results.php.encodeURIComponent + "</dd>");
echo("<dt>[Compare] js === php </dt>");
echo("<dd>" + (results.js.encodeURIComponent === results.php.encodeURIComponent) + "</dd>");
echo("<dt>decodeURIComponent</dt>");
echo("<dd>" + php2js.decodeURIComponent + "</dd>");

echo("</dl>");

</script>
</body>
</html>

実行結果:

charset=UTF-8

[JavaScript]escape: %7E@%28%29*%26%3D%25%24_%u3042%u3044%u3046%u3048%u304A%uFF5E%u8868%u793A%u6F22%u5B57
[PHP]escape: %7E@%28%29*%26%3D%25%24_%u3042%u3044%u3046%u3048%u304A%uFF5E%u8868%u793A%u6F22%u5B57
[Compare] js === php: true
unescape: ~@()*&=%$_あいうえお～表示漢字
[JavaScript]encodeURI: ~@()*&=%25$_%E3%81%82%E3%81%84%E3%81%86%E3%81%88%E3%81%8A%EF%BD%9E%E8%A1%A8%E7%A4%BA%E6%BC%A2%E5%AD%97
[PHP]encodeURI: ~@()*&=%25$_%E3%81%82%E3%81%84%E3%81%86%E3%81%88%E3%81%8A%EF%BD%9E%E8%A1%A8%E7%A4%BA%E6%BC%A2%E5%AD%97
[Compare] js === php: true
decodeURI: ~@()*&=%$_あいうえお～表示漢字
[JavaScript]encodeURIComponent: ~%40()*%26%3D%25%24_%E3%81%82%E3%81%84%E3%81%86%E3%81%88%E3%81%8A%EF%BD%9E%E8%A1%A8%E7%A4%BA%E6%BC%A2%E5%AD%97
[PHP]encodeURIComponent: ~%40()*%26%3D%25%24_%E3%81%82%E3%81%84%E3%81%86%E3%81%88%E3%81%8A%EF%BD%9E%E8%A1%A8%E7%A4%BA%E6%BC%A2%E5%AD%97
[Compare] js === php: true
decodeURIComponent: ~@()*&=%$_あいうえお～表示漢字

この結果は、
IE、FireFox、Opera、Chrome で試した結果です (すべて同じでした)。

[JavaScript] と [PHP] が同じ結果になっていて、
[Compare] (比較結果) が true になっているのがわかると思います。

PHP でエンコードして JavaScript に受け渡した結果も一致しています。

なお、このテスト結果の文字コードは UTF-8 ですが、
EUC-JP、 SJIS 共に同じ結果になりました。

文字コードを変更する場合は、

$posql->setCharset('UTF-8');

のようにして内部エンコーディングを設定するとよいです。

Posql API を使うことで JavaScript と PHP の連携がお手軽簡単になると思います。
機会あれば遊んでみてください。

Posql 2.17リリース。SELECTの速度が約80%向上

2010-03-28T23:59:00.001+09:00

Posql Version 2.17 リリースしました。

Version 2.17 は、
SELECT の速度が約 80% 向上したという劇的な改善がされています。

また、JavaScript の関数

escape/unescape
encodeURI/decodeURI
encodeURIComponent/decodeURIComponent

が互換実装され、
PHP と JavaScript 間の連携をとる際に
有用かつ便利なライブラリとして扱えます。

あと、クエリーキャッシュ機能も実装しました。
API リファレンスで解説されていますが、

<?php
$posql = new Posql('my_database');
$posql->setUseQueryCache(true); // クエリキャッシュを有効化
$posql->query("SELECT * FROM my_table");
...
?>

上のように setUseQueryCache(true or false); をコールすることによって、
SQL クエリをキャッシュし
高速に結果セットが得られる仕組みになっています。

メソッドについての詳細は
Posql - API Reference - クラスメソッドリファレンス
で更新していますので参照ください。

JavaScript 関数の互換実装 (Posql_ECMA) の詳細も更新されています。

詳しいことは Posql Project Page を参照してください。
SQL リファレンスやドキュメントは Posql パッケージ一覧から参照してください。

10000レコードあたりから遅く重くなる理由:array_shiftが遅いためだった(ベンチマーク比較)

2010-03-24T08:10:00.003+09:00

Posql で 10000 レコードあたりから処理速度がかなり遅くなります。

プロファイラで調べてみたところ、
巨大な配列を array_shift() でループしてるところでかなり時間がかかっていました。

今まで気づかなかったのがアホなのですが、、
ためしに

$row = array_shift($rows);
// (処理)
$new_row[] = $row;

としていたのを

$row = $rows[$i++];
// (処理) 
$new_row[] = $row;

に変えてみたら、ビックリするくらい速くなりました。

でもこれではメモリがどんどん食われていきます。
そこで、
以下のようにシフトする代わりに null で埋めていく処理にしてみました。

$row = $rows[$i];
$rows[$i] = null;
$i++;
// (処理) 
$new_row[] = $row;

結果として、array_shift() とメモリコストはほぼ同じで高速化できました。

そんなに違うの？と疑問かと思うのでベンチマークとってみました。

<?php
// 配列を作成
$array = array();

// ベンチマークタイマー読み込み
require_once 'Benchmark/Timer.php';
$bench = new Benchmark_Timer;

$bench->start();
// -------------- array_shift --------------
// 10000 のアイテムを持つ連想配列を作成
for ($i = 0; $i < 10000; $i++) {
  $array[] = array('key' => 'value' . $i);
}
// array_shift() で空になるまでシフト
while (--$i >= 0) {
  $shift = array_shift($array);
}
$bench->setMarker('array_shift');

// --------------- null fill ---------------
// 同じく 10000 の連想配列を作成
for ($i = 0; $i < 10000; $i++) {
  $array[] = array('key' => 'value' . $i);
}
// array_shift() の代わりに null で埋める
$j = 0;
while (--$i >= 0) {
  $shift = $array[$j];
  $array[$j] = null;
  $j++;
}
// 結果的に同じになるよう初期化
$array = array();

$bench->setMarker('null fill');
// -----------------------------------------
$bench->stop();
$bench->display();
?>

結果:

	time index	ex time	%
Start	1269384227.24003700	-	0.00%
array_shift	1269384227.95581800	0.715781	97.70%
null fill	1269384227.97259900	0.016781	2.29%
Stop	1269384227.97264300	0.000044	0.01%
total	-	0.732606	100.00%

10000 ループだけでもここまで違いがわかります。
圧倒的に null で埋めるほうが速い
もっと早く気付けばよかった。。

ファイルの行番号を指定して文字列を「追加」「挿入」「置換」できるクラス関数を作ってみた

2010-03-17T03:58:00.004+09:00

ファイルの行番号を指定して任意の文字列を

追加
挿入
置換

できる関数 (クラス) を作ってみました。

次のバージョンの Posql で使用する予定です。
便利かと思うのでクラス化してみました。

file_line_util.class.php

<?php
/**
 * @name File_Line_Util
 *
 * PHP versions 4 and 5
 *
 * @author    polygon planet
 * @link      http://polygon-blog.blogspot.com/
 * @license   Dual licensed under the MIT and GPL licenses
 * @copyright Copyright (c) 2010 polygon planet
 * @version   1.00 2010/03/17 02:10:00
 */
class File_Line_Util {

/**
 * Appends given string into the file with the specified line number
 *
 * @param  string   filename
 * @param  mixed    string or array to append
 * @param  number   line number to insert which starts from 1
 * @param  string   the string glue to join array
 * @return number   the number of bytes written
 * @access public
 */
 function appendFileLine($filename, $append_data, $line_number, $glue = ''){
   $result = 0;
   if (is_numeric($line_number)) {
     $line_number = $line_number - 0;
     $appends = array();
     if ($append_data === null || is_scalar($append_data)) {
       $appends = array((string)$append_data);
     } else {
       if (!is_array($append_data)) {
         $append_data = (array)$append_data;
       }
       if (empty($append_data)) {
         $append_data = array(null);
       }
       $appends = array_map('strval', $append_data);
     }
     if ($fp = @fopen($filename, 'rb')) {
       $i = 1;
       $nl = '';
       while (!feof($fp)) {
         if ($i == $line_number) {
           $buffer = fgets($fp);
           if ($nl == null) {
             $nl = substr($buffer, -2);
             if (trim($nl) != null) {
               $nl = substr($nl, -1);
             }
             if (trim($nl) != null) {
               $nl = '';
             }
           }
           $buffer = substr($buffer, 0, -strlen($nl));
           if (count($appends) > 1) {
             $nl = '';
           }
           reset($appends);
           $key = key($appends);
           $appends[$key] = $buffer . $appends[$key] . $nl;
           break;
         } else {
           if ($i === 1) {
             $buffer = fgets($fp);
             $nl = substr($buffer, -2);
             if (trim($nl) != null) {
               $nl = substr($nl, -1);
             }
             if (trim($nl) != null) {
               $nl = '';
             }
             unset($buffer);
           } else {
             fgets($fp);
           }
         }
         $i++;
       }
       fclose($fp);
       $result = File_Line_Util::_replaceFileLine($filename, $appends,
                                                  $line_number, $glue);
     }
   }
   return $result;
 }

/**
 * Insert given string into the file with the specified line number
 *
 * @param  string   filename
 * @param  mixed    string or array to insert
 * @param  number   line number to insert which starts from 1
 * @param  string   the string glue to join array
 * @return number   the number of bytes written
 * @access public
 */
 function insertFileLine($filename, $insert_data, $line_number, $glue = ''){
   $result = 0;
   if (is_numeric($line_number)) {
     $line_number = $line_number - 0;
     $inserts = array();
     if ($insert_data === null || is_scalar($insert_data)) {
       $inserts = array((string)$insert_data);
     } else {
       if (!is_array($insert_data)) {
         $insert_data = (array)$insert_data;
       }
       if (empty($insert_data)) {
         $insert_data = array(null);
       }
       $inserts = array_map('strval', $insert_data);
     }
     if ($fp = @fopen($filename, 'rb')) {
       $i = 1;
       $nl = '';
       while (!feof($fp)) {
         if ($i == $line_number) {
           $buffer = fgets($fp);
           if ($nl == null) {
             $nl = substr($buffer, -2);
             if (trim($nl) != null) {
               $nl = substr($nl, -1);
             }
             if (trim($nl) != null) {
               $nl = '';
             }
           }
           if (count($inserts) > 1) {
             $buffer = substr($buffer, 0, -strlen($nl));
           }
           end($inserts);
           $key = key($inserts);
           $inserts[$key] .= $nl . $buffer;
           break;
         } else {
           if ($i === 1) {
             $buffer = fgets($fp);
             $nl = substr($buffer, -2);
             if (trim($nl) != null) {
               $nl = substr($nl, -1);
             }
             if (trim($nl) != null) {
               $nl = '';
             }
             unset($buffer);
           } else {
             fgets($fp);
           }
         }
         $i++;
       }
       fclose($fp);
       $result = File_Line_Util::_replaceFileLine($filename, $inserts,
                                                  $line_number, $glue);
     }
   }
   return $result;
 }

/**
 * Replaces to given string into the file with the specified line number
 *
 * @param  string   filename
 * @param  mixed    replacement as string or array
 * @param  number   line number to replace which starts from 1
 * @param  string   the string glue to join array
 * @return number   the number of bytes written
 * @access public
 */
 function replaceFileLine($filename, $replacement, $line_number, $glue = ''){
   $result = 0;
   if (is_numeric($line_number)) {
     $line_number = $line_number - 0;
     $replacements = array();
     if ($replacement === null || is_scalar($replacement)) {
       $replacements = array((string)$replacement);
     } else {
       if (!is_array($replacement)) {
         $replacement = (array)$replacement;
       }
       if (empty($replacement)) {
         $replacement = array(null);
       }
       $replacements = array_map('strval', $replacement);
     }
     unset($replacement);
     $nl = '';
     if ($fp = @fopen($filename, 'rb')) {
       $buffer = fgets($fp);
       fclose($fp);
       $nl = substr($buffer, -2);
       unset($buffer);
       if (trim($nl) != null) {
         $nl = substr($nl, -1);
       }
       if (trim($nl) != null) {
         $nl = '';
       }
       if (count($replacements) > 1) {
         $nl = '';
       }
       end($replacements);
       $key = key($replacements);
       $replacements[$key] .= $nl;
       $result = File_Line_Util::_replaceFileLine($filename, $replacements,
                                                  $line_number, $glue);
     }
   }
   return $result;
 }

/**
 * Replaces to given string into the file with the specified line number
 *
 * @param  string   filename
 * @param  mixed    replacement as string or array
 * @param  number   line number to replace which starts from 1
 * @param  string   the string glue to join array
 * @return number   the number of bytes written
 * @access private
 */
 function _replaceFileLine($filename, $replacement, $line_number, $glue = ''){
   $result = 0;
   if (is_numeric($line_number)) {
     $line_number = $line_number - 0;
     $replacements = array();
     if ($replacement === null || is_scalar($replacement)) {
       $replacements = array((string)$replacement);
     } else {
       if (!is_array($replacement)) {
         $replacement = (array)$replacement;
       }
       if (empty($replacement)) {
         $replacement = array(null);
       }
       $replacements = array_map('strval', $replacement);
     }
     $replacement = '';
     if (is_array($replacements)) {
       $count = count($replacements);
       if ($count === 1) {
         $replacement = array_shift($replacements);
       } else {
         while (--$count >= 0) {
           $replacement .= array_shift($replacements) . $glue;
         }
       }
       $written_bytes = 0;
       $length = strlen($replacement);
       $buffer_size = 0x2000;
       if ($rp = @fopen($filename, 'rb')) {
         if ($wp = @fopen($filename, 'r+b')) {
           $i = 1;
           while (!feof($rp)) {
             if ($i == $line_number) {
               fgets($rp);
               $buffers = array();
               $buffers[] = fread($rp, $length);
               $written_bytes = fwrite($wp, $replacement,
                                            strlen($replacement));
               $buffer_size += $length;
               if (!feof($rp)) {
                 do {
                   $buffers[] = fread($rp, $buffer_size);
                   $put = array_shift($buffers);
                   fwrite($wp, $put, strlen($put));
                 } while (!feof($rp));
               }
               $put = array_shift($buffers);
               fwrite($wp, $put, strlen($put));
               $org_user_abort = ignore_user_abort(1);
               ftruncate($wp, ftell($wp));
               ignore_user_abort($org_user_abort);
               $result = $written_bytes;
               break;
             } else {
               $put = fgets($rp);
               fwrite($wp, $put, strlen($put));
             }
             unset($put);
             $i++;
           }
           fclose($wp);
         }
         fclose($rp);
       }
     }
   }
   return $result;
 }
}

?>

使い方

int File_Line_Util::appendFileLine
    ($filename, $append_data, $line_number, $glue = '');
文字列をファイルの任意の行に追加

int File_Line_Util::insertFileLine
    ($filename, $insert_data, $line_number, $glue = '');
文字列をファイルの任意の行に挿入

int File_Line_Util::replaceFileLine
    ($filename, $replacement, $line_number, $glue = '');
ファイルの任意の行の文字列を置換

引数：

string $filename:
対象のファイル名
mixed $append_data / $insert_data / $replacement
追加/挿入/置換する文字列もしくは配列
int $line_number
変換対象の行番号 (1 から始まります = 最初の行は 1)
string $glue
配列を渡した場合の連結する文字 (例: "\n") デフォルト = '' (空文字)

使用例：

以下のような test.csv という csv ファイルがあったとします。

1,1020072,東京都,千代田区,飯田橋
2,1020082,東京都,千代田区,一番町
3,1010032,東京都,千代田区,岩本町
4,1010047,東京都,千代田区,内神田
5,1000011,東京都,千代田区,内幸町

これをそれぞれのメソッドで変換してみます。

<?php

// クラスを読み込み
require_once 'file_line_util.class.php';

// ファイル名を設定
$filename = 'test.csv';

// 元のファイルを出力
echo '<div>original file:</div>';
echo '<pre>', file_get_contents($filename), '</pre>';

// ----------------------------------------------------
// replace (置換)
// ----------------------------------------------------

// 置換する文字列
$string = '2行目のデータ(置換)';

// 置換する行番号
$line_number = 2;

// 2 行目を置換
$written_bytes = File_Line_Util::replaceFileLine(
  $filename,
  $string,
  $line_number
);

printf('<div>replaceFileLine(%s, %s, %d):</div>',
  $filename,
  $string,
  $line_number
);
echo '<pre>', file_get_contents($filename), '</pre>';

// ----------------------------------------------------
// append (追加)
// ----------------------------------------------------

// 追加する文字列
$string = '3行目のデータ(追加)';

// 追加する行番号
$line_number = 3;

// 3 行目にデータを追加
$written_bytes = File_Line_Util::appendFileLine(
  $filename,
  $string,
  $line_number
);

printf('<div>appendFileLine(%s, %s, %d):</div>',
  $filename,
  $string,
  $line_number
);
echo '<pre>', file_get_contents($filename), '</pre>';

// ----------------------------------------------------
// insert (挿入)
// ----------------------------------------------------

// 挿入する文字列
$string = '5行目のデータ(挿入)';

// 挿入する行番号
$line_number = 5;

// 5 行目にデータを挿入
$written_bytes = File_Line_Util::insertFileLine(
  $filename,
  $string,
  $line_number
);

printf('<div>insertFileLine(%s, %s, %d):</div>',
  $filename,
  $string,
  $line_number
);
echo '<pre>', file_get_contents($filename), '</pre>';

?>

実行結果：

original file:

1,1020072,東京都,千代田区,飯田橋
2,1020082,東京都,千代田区,一番町
3,1010032,東京都,千代田区,岩本町
4,1010047,東京都,千代田区,内神田
5,1000011,東京都,千代田区,内幸町

replaceFileLine(test.csv, 2行目のデータ(置換), 2):

1,1020072,東京都,千代田区,飯田橋
2行目のデータ(置換)
3,1010032,東京都,千代田区,岩本町
4,1010047,東京都,千代田区,内神田
5,1000011,東京都,千代田区,内幸町

appendFileLine(test.csv, 3行目のデータ(追加), 3):

1,1020072,東京都,千代田区,飯田橋
2行目のデータ(置換)
3,1010032,東京都,千代田区,岩本町3行目のデータ(追加)
4,1010047,東京都,千代田区,内神田
5,1000011,東京都,千代田区,内幸町

insertFileLine(test.csv, 5行目のデータ(挿入), 5):

1,1020072,東京都,千代田区,飯田橋
2行目のデータ(置換)
3,1010032,東京都,千代田区,岩本町3行目のデータ(追加)
4,1010047,東京都,千代田区,内神田
5行目のデータ(挿入)
5,1000011,東京都,千代田区,内幸町

ソースを見て、遠回りなロジックと思う方もいるかもしれません。
なぜなら、

file_get_contents/file
str_replace/preg_replace
file_put_contents

上の 3 回の操作だけで実装できるからです。

しかし、もしファイルが 250MB あったらそれは難しくなります。
ini_set('memory_limit', '250M'); とすればうまくいくかもしれませんが、
あまり現実的ではないです。

File_Line_Util クラスは、巨大なファイルでもメモリコストを抑えて実装しています。
仮に 250MB のファイルでも処理は成功します。

拡張すれば正規表現で任意の行を変換などもできると思います。

Posql for WordPress まだできない

2010-03-06T00:54:00.001+09:00

WordPress を Posql で動かそうという
「Posql for WordPress」プラグインの開発ですが、
いちおう PHP4, PHP5 で動くようになりました。

でも、まだ脆弱性とかたくさんあります。
バックスラッシュを含む文字を投稿するとエラーになったりします。

SQLite プラグインをモデルにしてるので、
文字のエスケープが微妙に異なるのが難点です。

ソースを見てて思ったのですが、
そもそも SQLite プラグインは大丈夫なのかと。

あと、自動で「データベースのアップグレード」ページに行ってしまうことがあり
開発側としては非常に困るところです。。

少なくともエスケープができないうちは、
まだ公開する段階でないのでもう少しがんばってみます。

今の段階でもいいという方がいたらコメントかメールください。

Posql内蔵のページャーPosql_Pagerを使ってみる

2010-02-28T14:28:00.005+09:00

Posql Version 2.16 から、
デフォルトで Posql_Pager というクラスが組み込まれています。

Posql_Pager は簡易ページャークラスです。

getPager() というメソッドで取得・設定できます。

使用例:

デモページ

デモページのコード (ほとんどそのまま):

<?php
require_once 'posql-2.16/posql.php';
$posql = new Posql('pager_sample');
$sql = "CREATE TABLE IF NOT EXISTS pages (
  id  INTEGER PRIMARY KEY,
  msg TEXT
)";
$posql->exec($sql);
$stmt = $posql->query("SELECT COUNT(*) FROM pages");
$count = $stmt->fetchColumn(0);
if (!$count) {
  // 1000 件インサート
  $data = array();
  for ($i = 1; $i <= 1000; $i++) {
    $data[] = array(
      'msg' => sprintf('current page is %d.', $i)
    );
  }
  $count = $posql->insert('pages', $data);
}
$curpage = 1;
if (isset($_GET['page']) && is_numeric($_GET['page'])) {
  $curpage = $_GET['page'];
}
// 1 ページに表示する件数
$perpage = 5;

// ページ内のリンクの個数
$range = 10;

// ページャーを生成
$pager = $posql->getPager($count, $curpage, $perpage, $range);

// データを取得
$sql = "SELECT * FROM pages LIMIT ? OFFSET ?";
$stmt = $posql->prepare($sql);
$stmt->execute(array($pager->limit, $pager->offset));
$stmt->setFetchMode('assoc');
?>
<html>
<head>
<meta http-equiv="content-type" content="text/html; charset=UTF-8">
<title>Posql Pager Sample</title>
<style>
* {
  font-family: verdana;
}
.pager li {
  display: block;
  float: left;
  margin: 5px;
  padding: 0;
  border: 1px solid #999;
}

.pager a {
  display: block;
  margin: 0;
  padding: 4px 8px;
  font-size: x-small;
  text-decoration : none;
  color: #333;
}

.pager a:hover {
  color: #333;
  background: #ccccff;
  text-decoration: none;
}
</style>
</head>
<body>
<h1>Posql Pager Sample</h1>
<hr>
<?php while ($row = $stmt->fetch()): ?>
<div>
  <?php printf('id:%d msg:%s', $row['id'], $row['msg']) ?>
</div>
<hr>
<?php endwhile; ?>

<?php /* ここからページャー */ ?>
<ul class="pager">

<?php if ($pager->currentPage != 1): ?>
  <li><a href="index.php?page=1">&lt;&lt;</a></li>
<?php endif; ?>

<?php if ($pager->prev): ?>
  <li><a href="index.php?page=<?php echo $pager->prev ?>">&lt;</a></li>
<?php endif; ?>

<?php foreach ($pager->pages as $page): ?>
  <li><a href="index.php?page=<?php echo $page?>"><?php echo $page?></a></li>
<?php endforeach; ?>

<?php if ($pager->next): ?>
  <li><a href="index.php?page=<?php echo $pager->next ?>">&gt;</a></li>
<?php endif; ?>

<?php if ($pager->currentPage != $pager->totalPages): ?>
  <li><a href="index.php?page=<?php echo $pager->totalPages ?>">&gt;&gt;</a></li>
<?php endif; ?>

</ul>
<?php /* ここまでページャー */ ?>
</body>
</html>

PEAR 等使わなくても簡単なものならデフォルトで使えます。

Posql Version 2.16 リリース

2010-02-28T09:12:00.003+09:00

Posql Version 2.16 をリリースしました。

ダウンロード：
posql-2.16.zip
posql-2.16.tar.gz

2.16 では、
GROUP BY 句に複数の「評価式」が指定できるようになりました。

あと、日時を扱う strftime(), extract() 関数を実装しました。

そして、有名なブログシステム WordPress を Posql で動かそうという
「Posql for WordPress」プラグインを開発中です。

今のところ
PHP5 → 動いた
PHP4 → 動かない

ので、PHP4 の調整中です。

複数の順序付きGROUP BYアルゴリズム

2010-02-25T16:04:00.002+09:00

実は、WordPress を Posql で動かそうとしています。

SQLite で動かせる PDO (SQLite) For Wordpress を参考にしていますが、
new PDO 等の文字列を単に new Posql といった感じに変換していくだけでも
ある程度は動くようになります(エラー制御が必要)。

WordPress のバージョンは 2.9.2 です。
そして、はまったところは

wordpress/wp-includes/general-template.php

$query = "SELECT YEAR(post_date) AS `year`, MONTH(post_date) AS `month`, count(ID) as posts FROM $wpdb->posts $join $where GROUP BY YEAR(post_date), MONTH(post_date) ORDER BY post_date DESC $limit";

v2.9.2 現在の 806 行目のこの SQL。
GROUP BY に複数のフィールド。
さらにそれが評価式。

Posql 2.15 では、GROUP BY 句に単一のカラム名しかサポートしていません。

サブクエリでごにょごにょやろうとも思いましたが、
今後のためにも複数可能な評価式をサポートすることにしました。

ちなみにこの SQL で表示する部分は「アーカイブ」です。

2010 (2)
2009 (12)

↑ みたいなやつです。

実装メモ:
複数の順序がある GROUP BY アルゴリズムは、
グループ化カラムによって順序付けされた入力を読み込みます(IN)。
各列は、読み込むたび(LOOP) 前の列と比較します。
グループ化カラムが一致すると、現在のグループを更新します。
それ以外の場合は、現在のグループを出力し新しいグループを開始します。

つまり、コントロールブレイク処理。

ある程度まとまったら次バージョンをリリースする予定です。
「WordPress for Posql」できたらいいなぁ

AlphamericHTMLをPHPで実装してみた

2010-02-14T19:37:00.002+09:00

AlphamericHTML を PHP で実装してみました。

Unicode で処理しなきゃいけないので Posql_Unicode を使用しています。

前のPOST でも書きましたが、
結局、JavaScript の String オブジェクト関数のほとんどを完全互換で実装しました。

SpiderMonkey のソースを参考にさせていただきました。
lastIndexOf とか、アルゴリズムがすごいです。

各メソッドは Posql_ECMA クラスに集約しています。
以下がそのメソッドたち。

charAt
charCodeAt
fromCharCode
indexOf
lastIndexOf
length *1
slice
split
substr
substring
toLowerCase
toUpperCase
toString

*1 length はプロパティですが関数化しました

これらは Posql 2.15 で実装できてるものです。
今後、増えるかもしれないです。

Posql_ECMA クラスの使い方は前のPOST を参考にしてみてください。

今回は Posql_Archive で実装された、

encodeAlphamericString
decodeAlphamericString

この 2 つのメソッドを使う方法です。

<?php
require_once 'posql.php';

$posql = new Posql;

// 適当な日本語の文字列
$string = 'こんにちは。こんにちは。どなたかいませんか。おーい';
var_dump($string);

// エンコード (圧縮)
$encode = $posql->archive->encodeAlphamericString($string);
var_dump($encode);

// デコード (解凍)
$decode = $posql->archive->decodeAlphamericString($encode);

// 元の文字列と比較
var_dump($decode === $string);
?>

Posql_Archive オブジェクトは archive からアクセスできます。

AlphamericHTML は、LZ77圧縮アルゴリズムを採用しているので
連続した文字列が多ければ多いほど圧縮率は高くなります。

string 'こんにちは。こんにちは。どなたかいませんか。おーい'(length=75)

string 'cJeJdB1Fa2_v4d9AcVB4dUcReJcBa2cAhSc4'(length=36)

boolean true

出力はこんな感じになりました。
文字コードは UTF-8 です。
length を見るとわかるように、半分以下のバイト数に圧縮されています。
そしてさらに、
文字列を英数字 [0-9A-Za-z_] のみからなる文字列（AlphamericString）に変換しています。

無事、解凍された文字列は元通りなんですが
実はこれ、ものすごいどころじゃくなく遅いです。

一応、実装できたからいいかー。

Posql Version 2.15 リリース。UNION実装

2010-02-14T15:41:00.004+09:00

Posql Version 2.15 をリリースしました。

ダウンロード：
posql-2.15.zip
posql-2.15.tar.gz

Version 2.15 は色々と面白い実装してます。

UNION, INTERSECT, EXCEPT [ALL] 演算子の実装。

サブクエリ内でも UNION できます。

SELECT 1 A, 2 B, 3 C
UNION 
SELECT 4, 5, 6 
UNION
SELECT 7, 8, 9
EXCEPT 
SELECT 4, 5, 6;
/*
結果: A  B  C
      1, 2, 3
      7, 8, 9
*/

とかもできます。

あと、今まではエイリアス名を指定する演算子が AS のみだったのを改善して、
ホワイトスペース区切りでも適応可能になりました。

Posql_ECMA クラスは JavaScript の String オブジェクト関数の殆どを互換実装。

新しいクラスも実装されています。
Posql_ECMA クラスは、ECMA/JavaScript における
String オブジェクトが持つ関数の殆どを
ピュア PHP で実装しています。
Posql_Unicode を適応してるので内部文字コードも JavaScript と同じです。

Posql_ECMA はまだ実装のみでロジック内に取り入れていませんが、
今後の評価エンジンに採用する予定です。
ライブラリとして利用する場合は、

<?php
$posql = new Posql;
$code = $posql->ecma->charCodeAt("あいうえお", 2);
echo $code; // output: 12358
$char = $posql->ecma->fromCharCode($code);
echo $char; // output: 'う'
?>

↑みたいなことができます。 ecma プロパティからアクセスできます。

AlphamericHTMLをPHPに移植したクラス Posql_Archive

Posql_Archive クラスでは、Lz77 圧縮アルゴリズムを用いた、
日本語に特化したエンコード・デコード関数を実装しています。

JavaScript ライブラリ「AlphamericHTML」を PHP で実装してしまいました。
使い方とかは次のPOST を参考にしてみてください。

その他、いくつかのバグを修正しました。
LIKE にバグがあったのは恥ずかしいです。

session_set_save_handlerを使ったセッションクラス作ってみた

2010-02-06T05:00:00.004+09:00

Posql データベースを用いて、
ユーザー定義のセッションハンドラクラスを作ってみました。

以下みたいに使えます。

<?php
// Posql データベース クラスを読み込み
require_once 'posql.php';

// セッションクラスを読み込み
require_once 'posqlsession.php';

// データベースのパスを設定
session_save_path('./posql_session_counter.php');

// セッションスタート
Posql_Session::start();

// カウンターをインクリメント
if (empty($_SESSION['counter'])) {
    $_SESSION['counter'] = 1;
} else {
    $_SESSION['counter']++;
}

// 出力
header('Content-Type: text/plain;');

printf('session_id: %s', session_id());
print "\n";
printf('counter: %d', $_SESSION['counter']);

?>

session_save_path() でデータベースのファイルパスを設定します。

動作サンプルはここ

ダウンロードはこちら

動作確認： PHP 4 / PHP 5

こんどはこれ使って何かWebアプリ作ってみたいなぁ。

Posql Version 2.14 リリース。

2010-01-31T22:14:00.001+09:00

Posql Version 2.14 リリースしました。

Version 2.14 は、バグフィックスが中心で安定版です。

ダウンロード：

詳しいことは Posql Project Page を参照してください。

SQL リファレンスやドキュメントは Posql パッケージ一覧から参照できます。

なんだか今月はリリースラッシュだったなぁ

Posql Version 2.13 リリース。安定版。

2010-01-24T18:31:00.001+09:00

Posql Version 2.13 リリースしました。
先週もリリースしたばかりですが…。
サブクエリも実装できたので、バグや不具合をとことん修正する方向です。

詳しいことは Posql Project Page を参照してください。

SQL リファレンスやドキュメントは Posql パッケージ一覧から参照できます。

ダウンロード：
posql-2.13.zip
posql-2.13.tar.gz

遊んでくれると嬉しいです。
感想・バグ報告などもあればコメントください。

Posql Version 2.12 リリース。安定版のつもり

2010-01-17T22:38:00.000+09:00

Posql Version 2.12 をリリースしちゃいました。
先週 2.11 リリースしたばかりですが…。
今回はバグ修正のみです。

不正な結合 (JOIN) の結果や、エイリアス名の解決、
その他評価式での演算が失敗するバグが修正されています。

詳しい変更点についてはプロジェクトページを参照してください。

ドキュメント類はパッケージカタログを参照ください。

お手軽なデータベースPosqlで、ぜひ遊んでみてください。
バグ報告や要望もお待ちしてます。

便利で最高のデバッグ関数を目指して

2010-01-16T14:27:00.020+09:00

新しいバージョンの debug 関数をこっちのブログで公開しています。
この記事の debug 関数は古いのでおすすめはしません。

PHPで開発時にデバッグするとき、
var_dump で十分な気もしますが
ちょっと足りないときもあります。

Posql 開発時によく使っているデバッグ関数を公開します。
Posql のソース中に debug($args); なんて記述が残ってたりします。

debug

<?php
/**
 * It aims at the most best debugging function
 *
 * @param   mixed   the value of target
 * @param   string  optionally, the subtitle into the LEGEND tags
 * @return  mixed   the value of the first argument as it is returned
 * @version 1.09
 * @access  public
 * @static
 */
function debug($value, $title = ''){
 static $defaults = array(
   'args'     => array(),
   'class'    => '',
   'file'     => '',
   'function' => '',
   'line'     => 0,
   'type'     => '',
   'object'   => null
 );
 $trace = function_exists('debug_backtrace') ? @debug_backtrace() : $defaults;
 $shift = ((array)array_shift($trace)) + $defaults;
 $trace = ((array)array_shift($trace)) + $defaults;
 $caller = '';
 if ($trace['type'] && $trace['class'] && $trace['function']) {
   $caller = $trace['class'] . $trace['type'] . $trace['function'];
 } else if ($trace['function']) {
   $caller = $trace['function'];
 }
 $trace = (is_array($trace) ? $trace : $shift) + $defaults;
 
 if (is_scalar($title)) {
   if (function_exists('wiki_encode')) {
     $title = wiki_encode($title);
   } else {
     $title = htmlspecialchars($title);
   }
 } else {
   $title = htmlspecialchars(var_export($title, true));
 }
 
 $file = $shift['file'];
 $line = $shift['line'];
 
 if ($file && $line && ($fp = @fopen($file, 'rb'))) {
   $buffer = '';
   $found  = false;
   $multi  = false;
   $retry  = false;
   $i = $line;
   while (!feof($fp)) {
     $found = false;
     $gets = fgets($fp);
     if (!--$i) {
       $buffer = $gets;
       if (preg_match('{debug\s*(\(.+\))[^;]*;}is', $gets, $match)) {
         $buffer = $match[1];
         $found = true;
         break;
       } else if (!$retry) {
         $retry = true;
         rewind($fp);
         $i = $line - 10;
         if ($i < 1) {
           $i = 1;
         }
         $buffer = '';
         continue;
       }
     } else if ($i < 0) {
       $buffer .= $gets;
       $pos = strpos(strtolower($buffer), 'debug');
       if ($pos !== false) {
         $buffer = substr($buffer, $pos);
       }
       if ($pos !== false 
        && preg_match('{\(((?>[^()]+)|(?R))*\)(?=[^;]*;)}', $buffer, $match)) {
         $buffer = trim($match[0]);
         $buffer = preg_replace('<^[()]>', '', $buffer);
         $found = true;
         $multi = true;
         break;
       }
       if (strlen($buffer) > 0x10000) {
         break;
       }
     }
   }
   fclose($fp);
   if (!$found) {
     $title .= sprintf(' <strong>Not found the point of called!</strong>');
   } else {
     if ($multi 
      && preg_match('{^[^()]*?\(((?>[^()]+)|(?R))*\)}', $buffer, $match)) {
       $replace = strtr($match[0],
         array(
           '(' => "\x01",
           ')' => "\x02",
           ',' => "\x03"
         )
       );
       $buffer = str_replace($match[0], $replace, $buffer);
     } else {
       $multi = false;
     }
     $buffer = preg_replace('{^\(|(?:,(?=[()])(?!\s*[$]\w).+|\))$|}s', 
                            '', $buffer);
     if ($title) {
       $buffer = preg_replace('{,\s*([\'"])?(?(1).*?\1|(?!\s*[$]\w).*)$}ms', 
                              '', $buffer);
     }
     if ($multi) {
       $buffer = strtr($buffer,
         array(
           "\x01" => '(',
           "\x02" => ')',
           "\x03" => ','
         )
       );
     }
     $title = sprintf('%s <em>(%s)</em>',
                      $title, htmlspecialchars($buffer));
   }
   unset($gets, $buffer);
 } else {
   $var = array_search($value, $GLOBALS);
   if ($value && $var) {
     $var = '$' . $var;
   }
   if ($var) {
     $title = sprintf('%s <em>(%s)</em>', $title, $var);
   }
 }
 
 ob_start();
 var_dump($value);
 $dump = str_replace('&apos;', '&#x27;', ob_get_contents());
 ob_end_clean();
 $node = extension_loaded('xdebug') ? 'div' : 'pre';
 printf(implode("\n",
     array(
       '<fieldset style="border:2px solid;padding-left:5px">',
         '<legend style="font:x-small verdana;">',
           '%s<small>@%s[%s#%u]</small>',
         '</legend>',
         '<%s>%s</%s>',
       '</fieldset>'
     )
   ),
   $title,
   htmlspecialchars($caller),
   htmlspecialchars(strtr($file, '\\', '/')),
   $line,
   $node,
   $dump,
   $node
 );
 flush();
 return $value;
}
?>

内部で wiki_encode という関数があれば使う仕様になっています。

wiki_encode

<?php
/**
 * Replace simple wiki syntax with html
 *
 * @example  '**hoge**'
 * @results  '<em>hoge</em>'
 *
 * @example  '***hoge***'
 * @results  '<strong>hoge</strong>'
 *
 * @example  '*****hoge*****'
 * @results  '<strong><em>hoge</em></strong>'
 *
 * @example  '--hoge--'
 * @results  '<del>hoge</del>'
 *
 * @example  '___hoge___'
 * @results  '<u>hoge</u>'
 *
 * @example  'color=red:hoge;'
 * @results  '<span style="color:red;">hoge</span>'
 *
 * @example  'size=26px:hoge;'
 * @results  '<span style="font-size:26px;">hoge</span>'
 *
 * @example  'color=#ff9900:**hoge**;'
 * @results  '<span style="color:#ff9900;"><em>hoge</em></span>'
 *
 * @param  string  wiki syntax string
 * @return string  replaced html string
 */
function wiki_encode($string){
 $string = htmlspecialchars($string);
 $patterns = array(
   '<([*]{5,})(.+?)\1>su'
     => 
   '<strong><em>$2</em></strong>',
   '<([*]{3,4})(.+?)\1>su'
     => 
   '<strong>$2</strong>',
   '<([*]{2})(.+?)\1>su'
     => 
   '<em>$2</em>',
   '<(_{3,})(.+?)\1>su'
     => 
   '<u>$2</u>',
   '<([=-]{2,})(.+?)\1>su'
     => 
   '<del>$2</del>',
   '<([%/]{2,})(.+?)\1>su'
     => 
   '<em>$2</em>',
   '<color[:=]([#]?\w+)[:=](.+?)(?:;|$)>imsu'
     =>
   '<span style="color:$1;">$2</span>',
   '<size[:=](\d+)\w*?[:=](.+?)(?:;|$)>imsu' 
     =>
   '<span style="font-size:$1px;">$2</span>'
 );
 foreach ($patterns as $pattern => $replace) {
   $string = preg_replace($pattern, $replace, $string);
 }
 return $string;
}
?>

例として適当なスクリプトを作ってみます。

hoge.php

<?php
require_once 'debug.php'; // debug関数が定義してあるファイル

class Hoge {

    var $name;

    function Hoge(){
        $this->name = 'Hoge';
        debug($this,'*****Hoge*****');
    }

    function getName(){
        return $this->name;
    }
}

function test(){
  $hoge = new Hoge();
  debug($hoge->getName());
}

test();

?>

実行結果は以下のようになります。

Hoge ($this)@Hoge->Hoge[C:/xampp/htdocs/hoge.php#10]

object(Hoge)[1] 
public 'name' =>string 'Hoge' (length=4)

($hoge->getName())@test[C:/xampp/htdocs/hoge.php#20]

string 'Hoge' (length=4)

実行された行番号、引数、ファイル名などがわかるようになります。
拡張モジュール "xdebug" が有効になっていると見栄えがさらによくなります。

ご自由にお使いください。

もっと便利な関数や拡張があればおしえてくだしあ

Syntax Highlighter 入れたよ。いい感じ

Posql Version 2.11 リリース。サブクエリ実装

2010-01-13T20:57:00.001+09:00

以下、sourceforge.jp のニュース引用

ピュア PHP のデータベースエンジン (DBMS)
Posql Version 2.11 がリリースされました。

Version 2.11 では、
要望の多かった SELECT サブクエリ (副問い合わせ) が実装されています。
サブクエリは SELECT, INSERT, UPDATE または DELETE
の各ステートメントの中の評価式など、
式が使えるところであればどこにでも使用できます。
それにあわせて EXISTS, ANY, SOME, ALL 演算子が実装されました。

また、Windows 上で動作が遅くなる不具合が解消されています。

データベースの書式についての変更点はありません。

CakePHP フレームワーク用の DBO ドライバ、
PEAR::DB, PEAR::MDB2 各ドライバは、
いくつかのバグがフィックスされています。

ご利用の際は最新バージョンにアップデートすることをお勧めします。

なお、実装と変更にあわせてパッケージに同梱されている
SQL,API ドキュメント、マニュアル、サンプル等が更新されています。

より詳しい変更点については更新履歴を参照してください。

参照リンク:
- Posql パッケージカタログ
http://feel.happy.nu/doc/posql/

- Posql の概要やパッケージの解説など
http://feel.happy.nu/doc/posql/posql.cat.manual.html

- CakePHP で Posql を使うための手順
http://feel.happy.nu/doc/posql/posql.cakephp.howto.html

- Posql がサポートしている SQL 文法リファレンス
http://feel.happy.nu/doc/posql/posql.sql.manual.html

- Posql のクラスメソッド API リファレンス
http://feel.happy.nu/doc/posql/posql.api.manual.html

- PHPDoc から生成されたソースドキュメント(サイズが大きいので注意してください)
http://feel.happy.nu/doc/posql/posql.src.manual.html

- テスト稼動中のWebメモ帳(どなたでも書き込めます)
http://feel.happy.nu/doc/posql/memo.php

ウイルス対策ソフト起動中はロック状態のままになる可能性がある

2010-01-09T03:30:00.000+09:00

Posql 新バージョン開発中です。

なんかデバッグ中にデッドロック状態が多すぎと思ったら、
前の投稿でのロックのテストみたいに
ものすごい勢いでファイルやディレクトリ消したり作ったりすると、
カスペルスキーとかavast! 等のウイルス対策ソフトが起動してる場合
ディレクトリ削除が無視されてデッドロックになってしまうようです。

Windowsで開発する場合、その現象になったら
ウイルススキャンを一時停止すると解消するかもしれないです。

Windowsで2.10動かすと遅すぎる件

2010-01-04T23:56:00.001+09:00

2.10 になって排他ロックは問題なくなったけど、
Windows上で動かすとあまりにも遅すぎる。。

とてもじゃないけど、
デバッグしながらローカル環境での開発でストレスになる。

原因はわかってます。

mkdir() でロックしてるから。

Windowsでのmkdirが遅すぎてお話にならないよ。
なんとかしなきゃ。

OSがWindowsだったらロックしないようにするとか…
じゃダメ。Windowsサーバー使う可能性もあるから。

あまりやりたくなかったけど
setStandAloneMode(true);
という感じのメソッド作って、
true だったら他からアクセスしてこない環境とみなして
mkdirロックは行わない設定できるようにしようかな。

でも、standAlone て
なんか意味が違う気がする。

いいネーミングないかなぁ。

setAutoLock(); なんか変？

なにかアイディアあったらお願いします。

【Posql】排他ロックの強度を2.09と2.10で比較

2010-01-03T22:41:00.002+09:00

Posql 2.09 と 2.10 の排他ロックがどれくらい変わったのかテストしてみました。
と言ってもテストしてたのは 2.10開発中の時のことで、この記事はまとめみたいな感じです。

まず以下のようなスクリプトを用意しました。

lock-test.php

<?php
require_once 'posql-2.09/posql.php'; // Posql 2.09 でテスト

defined('E_STRICT') or define('E_STRICT', 2048);
error_reporting(E_ALL | E_STRICT);
header('Content-Type: text/html; charset:UTF-8');
ob_implicit_flush(1);
set_time_limit(300);

$method = 'INSERT';
//$method = 'UPDATE';
//$method = 'DELETE';
if (!empty($_GET['select'])) {
  $method = 'SELECT';
}
$limit = 500;
$msec = sprintf('%01.4f', array_sum(explode(' ', microtime())));
$uptime = empty($_GET['ajax']) ? $msec : $_GET['ajax'];
$path = 'C:/tmp/__posql_lock_test_';
$posql = new Posql($path);
$sql = "CREATE TABLE IF NOT EXISTS lock_test (
  id           INTEGER PRIMARY KEY,
  instance_id  VARCHAR(255),
  microtime    INTEGER
)";
$stmt = $posql->prepare($sql);
$stmt->execute();
$sql = "CREATE TABLE IF NOT EXISTS counter (
  count        INTEGER,
  data         TEXT
)";
$stmt = $posql->prepare($sql);
$stmt->execute();
if (empty($_GET)) {
  $sql = "INSERT INTO counter (count, data) VALUES (?, ?)";
  $stmt = $posql->prepare($sql);
  $stmt->execute(array(1, "test"));
}

if (!empty($_GET['transaction'])) {
  ?>
  <html>
  <head>
  <title>Transaction</title>
  </head>
  <body>
  <script>
  var end = false;
  onload = function(){ end = true };
  function scrollToBottom(){
    if (!end) {
      window.scrollTo(0, document.body.scrollHeight);
      if (!document.getElementById("endTrans")) {
        setTimeout(scrollToBottom, 10);
      }
    }
  }
  scrollToBottom();
  </script>
  <?php
  printf('<h1>id: %s</h1>', $posql->getId());
  $begin = $posql->beginTransaction();
  printf('<h2>Begin: %s</h2>',
     $begin ? '<span style="color:blue">true</span>' 
            : '<span style="color:red">false</span>'
  );
  if (!$begin) {
    echo '<h1>Abort</h1>';
    echo '<div>Error:</div>';
    echo '<pre>';
    print_r($posql->getErrors());
    echo '</pre>';
    die;
  }
  printf('<ol>');
  for ($i = 0; $i < 100; $i++) {
    $sql = "INSERT INTO lock_test (instance_id, microtime) VALUES (?, ?)";
    $stmt = $posql->prepare($sql);
    $time = sprintf('%01.4f', array_sum(explode(' ', microtime())));
    $stmt->execute(array('transaction', $time));
    printf('<li>INSERT: microtime = %s</li>', $time);
    $posql->sleep();
  }
  printf('</ol>');
  /*
  printf('<h2 id="endTrans">Commit: %s</h2>', 
    $posql->commit() ? '<span style="color:blue">true</span>' 
                     : '<span style="color:red">false</span>'
  );
  */
  printf('<h2 id="endTrans">RollBack: %s</h2>',
    $posql->rollBack() ? '<span style="color:blue">true</span>' 
                       : '<span style="color:red">false</span>'
  );
  ?>
  </body>
  </html>
  <?php
  exit;
}

switch ($method) {
  case 'INSERT':
      $limit = 500;
      $sql = "INSERT INTO lock_test (instance_id, microtime) VALUES (?, ?)";
      $stmt = $posql->prepare($sql);
      $stmt->execute(array($posql->getId(), $msec));
      break;
  case 'UPDATE':
      $limit = 500;
      $sql = "UPDATE counter SET count = 1 + count WHERE data = ?";
      $stmt = $posql->prepare($sql);
      $stmt->execute(array("test"));
      break;
  case 'DELETE':
      $limit = 50;
      $sql = "DELETE FROM lock_test WHERE rowid = ?";
      $stmt = $posql->prepare($sql);
      $stmt->execute(array(substr($msec, -1)));
      break;
  case 'SELECT':
      $limit = 500;
      $sql = "SELECT * FROM lock_test WHERE rowid = ?";
      $stmt = $posql->prepare($sql);
      $stmt->execute(array(rand()));
      break;
}

if (empty($_GET['ajax'])) {
  ?>
  <html>
  <head>
  <title><?php echo $method ?> - Posql Lock Test</title>
  </head>
  <body>
  <h1><?php echo $method ?></h1>
  <ol id="result">
    <li>
    <?php
    printf('%s: %01.4f', $method, $msec);
    if ($posql->isError()) {
      printf('<div style="color:red">%s</div>', $posql->lastError());
    }
    ?>
    </li>
  </ol>
  <script>
  (function(){
    var d = document, w = window, limit = Number("<?php echo $limit ?>") - 1;
    function ajax(){
      var x = w.ActiveXObject ? new ActiveXObject("Microsoft.XMLHTTP") :
                                new XMLHttpRequest(),
          url = "<?php echo $_SERVER['SCRIPT_NAME'] ?>" +
                  "?ajax=<?php echo $msec ?>" +
                  "&select=<?php echo $method == 'SELECT' ? 1 : 0 ?>";
      x.open("GET", url, true);
      x.onreadystatechange = function(){
        if (x.readyState == 4) {
          var li = d.createElement("li"), div = d.createElement("div");
          div.innerHTML = x.responseText;
          li.appendChild(div);
          d.getElementById("result").appendChild(li);
          w.scrollTo(0, d.body.scrollHeight);
        }
      };
      x.send("");
    }
    function run(){
      ajax();
      if (--limit > 0) {
        setTimeout(run, Math.random() * 10);
      }
    }
    run();
  })();
  </script>
  </body>
  </html>
  <?php
} else {
  switch ($method) {
    case 'INSERT':
        printf('INSERT: %01.4f', $msec);
        break;
    case 'UPDATE':
        $stmt = $posql->prepare("SELECT count FROM counter WHERE data = ?");
        $stmt->execute(array("test"));
        printf('UPDATE: <strong>%s</strong>', $stmt->fetchColumn());
        break;
    case 'DELETE':
        printf('DELETE: rowid = %d', substr($msec, -1));
        break;
    case 'SELECT':
        echo '<pre>';
        print_r($stmt->fetchAll('assoc'));
        echo '</pre>';
        break;
  }
  if ($posql->isError()) {
    printf('<div style="color:red">%s</div>', $posql->lastError());
  }
}
exit;
?>

直接アクセスすると INSERT が 500回、Ajaxで自身にリクエストを発行します。
タブブラウザで INSERT, INSERT と2つのタブで開くと
合計1000列、それぞれ別プロセスでインサートされます。

lock-test.php?select=1 でアクセスすると
SELECTを 500回、ランダムな rowid に対してAjaxでリクエストを発行します。

"SELECT * FROM lock_test WHERE rowid = ?"

? は rand() によってランダムな数値になります。
つまり上のスクリプトは、ミリ秒単位での同時アクセスを 500 回以上実行することになります。

さっそく実行してみます。

まずSELECT を実行して…

すぐに、INSERT、INSERT と 500 x 2 の 1000 インサートを実行するようにします。

1個目のタブ

2個目のタブ

その間、SELECTを見ると

ランダムな数値がヒットした場合、結果が表示されます。

そして全部実行されるのを待ちます。

全てのタブが読み込み完了されたら、PosqlAdminで結果を確認してみます。

↓

...

そもそも結果が 998 rows と、 1000 じゃないのが変です。

途中の列をよく見ると…

赤で囲った部分の列が重複してるのがわかります。
下のようにグループ化してみるとよくわかります。

id 732 なんて3つになっちゃってます。

排他処理にて
2つのプロセス両方ともロック取得に成功してしまってるのが原因です。

これでは同時アクセスに厳しいです。

続いて UPDATE を試してみます。
lock-test.phpのコメントアウトを修正して実行します。

<?php
require_once 'posql-2.09/posql.php'; // Posql 2.09 でテスト

...

//$method = 'INSERT';
$method = 'UPDATE';
//$method = 'DELETE';

...

?>

INSERTと同じ要領で実行します。

1番目のタブ

2番目のタブ

うまくいってるかと思いきや…

途中で結果が表示されなくなってしまいました。

PosqlAdminで確認すると…

結果セットが空になってしまいました。
列が何らかのタイミングで壊れてしまったようです。

これでは排他処理に弱すぎます。

そして、修正された最新バージョン 2.10 で同じテストを行います。
lock-test.php を修正。

<?php
require_once 'posql-2.10/posql.php'; // Posql 2.10 でテスト
...
$method = 'INSERT';
//$method = 'UPDATE';
//$method = 'DELETE';
...
?>

同じやり方で INSERT から行います。

3つのタブで同じように INSERT, INSERT, SELECT を同時実行します。

2.10 は Windows で実行する場合、
mkdir() ロックの関係で速度が遅いと感じるかもしれません。
これは UNIX系などの Windows以外のサーバーなら速度に支障はありません。

全てのタブが完了してから、PosqlAdminで確認します。

ぴったり 1000 rows になっています。

重複もなく、最後の id も 1000 になっています。

続いてUPDATE。
lock-test.php を UPDATEに修正します。

<?php
require_once 'posql-2.10/posql.php'; // Posql 2.10 でテスト
...
//$method = 'INSERT';
$method = 'UPDATE';
//$method = 'DELETE';
...
?>

そしてSELECTタブ、UPDATEタブ(1)、UPDATEタブ(2) の順で実行。

なお、途中でトランザクションを実行してみました。
このスクリプトは
lock-test.php?transaction=1
とアクセスするとトランザクションを開始して100回インサート後、
コミットまたはロールバックします。
今回はロールバックしてみました。

トランザクションの開始と同時に、
他の3つのタブ（UPDATE、UPDATE、SELECT）はその時点で停止（sleep）します。

ロールバックが成功したようです。

他のタブはまた処理を再開しています。

処理が終了すると、
カウントはぴったり 1001 （1000 + 1）になりました。

Posql バージョン 2.10 で修正された排他ロックにより、
同時アクセスが起きてもデータが壊れたりしないで
正常に更新できることが確認できました。

長くなりました…。
最後まで見てくれた方ありがとうです。

Posql Version 2.10 リリースしました

2009-12-29T23:21:00.004+09:00

ピュアPHPのDBMS「Posql」です。
英語版もあわせて 2.10 リリースしました。

http://sourceforge.jp/forum/forum.php?forum_id=21545

ご飯にしよう。

排他ロック

2009-12-27T23:44:00.006+09:00

ぜったい壊れないロジック組み込み中。
排他ロックはflock()じゃダメみたい。

ソースコード貼るにはどうしたらいいんだろ(･_･?)

 <?php
  print "Hello World"; // こんな感じ…ｶﾅ
 ?>

手書きめんどいよ…
あとで調べよう

2009-12-27T12:09:00.002+09:00

test2