MTG-Guild 開発日誌

読解練習：Google App Engine Python SDK Release Notes 1.8.6

2013-10-21T01:00:00.002+09:00

GAE/P SDKのリリースノート1.8.6が出てますね。

練習の為に訳してみましたので公開します。例によって訳の正確性は保証できません。

────────────────────────────

Version 1.8.6 - October 15, 2013

Python&PHP

A memcache size chart has been added to admin console's dashboard. Access it via the drop-down above the graph. The chart graphs memcache size over time enabling customers to determine when cache flush events occurred. This is a preview feature.
memcacheのサイズのチャートがadmin consoleのダッシュボードに加わりました。グラフのドロップダウンからアクセスして下さい。この図はキャッシュのフラッシュ時に利用者がmemcacheのサイズをオーバーした時間を判別出来るように、この図は表現します。この機能はプレビュー機能です。
Fixed an issue with the dev_appserver that allows an invalid Datastore query combination of group by and filter properties.
dev_appserverでgroup byとフィルタプロパティを併用したDatastoreクエリが無効とされる問題を修正しました。
Fixed an issue with the bulkloader that causes uploads to the dev_appserver to fail.
バルクローダーからdev_appserverへのアップロードが失敗する問題を修正しました。
Fixed an issue with the Datastore Admin not being able to backup to another app.
Datastore Adminで他アプリにバックアップできない問題を修正しました。
Fixed an issue affecting validation of the size of Datastore property names.
データストアのプロパティ名の大きさのバリデーションへの影響にかんする問題を修正しました。
Fixed an issue with Datastore query validation for strings with exactly 500 characters.
データストアで正確に500文字の文字列のクエリのバリデーションの問題を修正しました。
- https://code.google.com/p/googleappengine/issues/detail?id=10019

Python

Django 1.5.4 is now available in the Runtime. This is a Preview feature.
Django 1.5.4 がRuntimeから利用可能になりました。これはプレビュー機能です。
app_identity.get_access_token in the App Identity API is now a GA feature.
App Identity API で、app_identity.get_access_token が正式な Google App Engine の機能になりました。
Geo is now a supported field type in the Search API for the dev_appserver.
Geoフィールドタイプはdev_appserverでのSearch APIでサポートされるようになりました。
- http://code.google.com/p/googleappengine/issues/detail?id=7486

読解練習：Google App Engine Python SDK Release Notes 1.8.5

2013-10-18T01:58:00.002+09:00

GAE/P SDKのリリースノート1.8.5が出てますね。

練習の為に訳してみましたので公開します。例によって訳の正確性は保証できません。

────────────────────────────

Version 1.8.5 - September 25, 2013

The Search API is now a GA feature.
The Search API が Google App Engine の正式機能になりました。
Fixed an issue with the dev_appserver Datastore where UTF-8 validation did not occur on string values.
dev_appserver の Datastore の問題を修正しました。string値ではUTF-8のバリデーションがされていませんでした
Fixed an issue with the Admin Console Datastore Viewer throwing errors when fetching UTF-8 kinds.
Admin Console の Datastire Viewer の問題を修正しました。 UTF-8のkindのフェッチ時に、エラーがthrowされていました。
- https://code.google.com/p/googleappengine/issues/detail?id=7570
Fixed an issue with the Datastore Admin not being able to backup to another app.
Datastore Adminで他アプリにバックアップできない問題を修正しました。
- https://code.google.com/p/googleappengine/issues/detail?id=9808
Fixed an issue where files that contain an '@' could not be deployed.
ファイル名に'@'を含んでいるファイルがデプロイできなかった問題を修正しました。
- https://code.google.com/a/google.com/p/google-appengine-php-trusted-tester/issues/detail?id=6
Developers can now use pdb when debugging python applications in the dev_appserver.
開発者はdev_appserverでpythonアプリケーションのデバッグ時にpdbを使用することが可能になりました。
- https://code.google.com/p/googleappengine/issues/detail?id=9012
- https://code.google.com/p/googleappengine/issues/detail?id=9027

読解練習：Google App Engine Python SDK Release Notes 1.8.4

2013-09-23T11:42:00.003+09:00

GAE/P SDKのリリースノート1.8.4が出てますね。

練習の為に訳してみましたので公開します。例によって訳の正確性は保証できません。

今回は細かい修正が多いですね。
修正の内容も、だいぶ成熟してきた感がありますね。
（最初の２つとか最後のやつは、訳者は何を書いているの理解できません。orz）

────────────────────────────

Version 1.8.4 - September 9, 2013

Better support is now provided for the _$folder$ magic cloud storage keyword, and the implementation of basic mkdir()/rmdir() functionality via GCS streams.
クラウドストレージのマジックキーワードの _%folder$ がより良くサポートされるようになりました。また、GCSストリームからの基本的なmkdir()/rmdir()機能が実装されました。
This release adds the wrappers @transactional_async and @transactonal_tasklet to correct (a) @transactional @tasklet being synchronous despite the decorator, and (b) @tasklet @transactional not running the generator in a transaction.
このリリースからラッパー（@transactional_async と @transactional_tasklet）が増えました。これは、次の２つを修正することを目的としています。1.@transactional @tasklet は、デコレータにかかわらず同期されます。@tasklet @transactional はトランザクション内でジェネレーターが動きません。
Fixed a unicode issue associated with expressions in the Search API. A search with snippeted fields was failing on documents containing unicode characters.
検索APIの式に関連付けられたUnicodeの問題を修正しました。 Unicode文字を含む文書では、snippetedフィールドの検索は失敗していました。
Fixed an issue with the dev_appserver not auto-detecting the lib/ directory in the SDK.
SDKのdev_appserverの問題を修正しました。 lib/directoryの自動検索がうまく動作していませんでした。
- https://code.google.com/p/googleappengine/issues/detail?id=8459
- https://code.google.com/p/googleappengine/issues/detail?id=9847
Fixed an issue where Blobstore usage was being charged even though the actual data was being stored in Cloud Storage. All affected developers have been informed and reimbursements are underway.
実際のデータはクラウドストレージに格納されていたにもかかわらず、ブロブストアの使用量として課金されていた問題を修正しました。影響を受けるすべての開発者に通知し、払い戻しを進めています。
- https://code.google.com/p/googleappengine/issues/detail?id=9659
Fixed an issue that ensures all .py files in google.appengine.api that are available in the SDK are also available in the runtime.
google.appengine.api内の必要なすべてのpyファイルがSDKで確実に提供されるようになりました。
- https://code.google.com/p/googleappengine/issues/detail?id=9755
Fixed an issue of warning messages being displayed when running appcfg update (eg. appcfg.py update . --oauth2) from the 1.8.3 Python SDK. The appengine_rpc_httplib2 will work without warnings regardless of which oauth2client library is being used.
1.8.3 Python SDKでappcfgアップデートを実行するときに表示される警告メッセージ（例：appcfg.py update . --oauth2）の問題を修正しました。oauth2client ライブラリを使っていても、 appengine_rpc_httplib2が警告を出さないようにしました。
- https://code.google.com/p/googleappengine/issues/detail?id=9807

読解練習：Google App Engine Python SDK Release Notes 1.8.3

2013-08-12T01:51:00.002+09:00

GAE/P SDKのリリースノート1.8.3が出てますね。

練習の為に訳してみましたので公開します。例によって訳の正確性は保証できません。

今回は、NDBのバグフィックスが多めですね。

────────────────────────────

Version 1.8.3 - August 6, 2013

Published a major rewrite of the Search API documentation. Please see: https://developers.google.com/appengine/docs/python/search/
Search APIのドキュメントを大幅に修正しました。こちらを見て下さい。
- https://developers.google.com/appengine/docs/python/search/
Fixed an issue with the Mail API, email addresses that contain encoded newlines as specified in rfc2047 are now parsed correctly.
Mail APIの問題を修正しました。RFC2047で定められた形式でエンコードされた改行コードは、正しく解釈されるようになりました。
Fixed an issue with channels.send_message failing when a client id has 3 or more dashes.
チャネルの問題を修正しました。クライアントIDが３以上のダッシュをもつ場合にsend_messageが失敗していました。
Fixed an issue with ndb.non_transactional correctly restoring the db library's transactional state.
ndb.non_transactionalが正しくDBライブラリのトランザクションの状態を復元する問題を修正しました。
- https://code.google.com/p/appengine-ndb-experiment/issues/detail?id=232
Fixed an issue with NDB raising the correct exception when the rollback itself has an exception.
NDBでロールバック時の例外が正しい例外を返すように修正しました。
- https://code.google.com/p/appengine-ndb-experiment/issues/detail?id=234
The NDB model property settings 'default' and 'required' are no longer mutually exclusive.
NDBモデルのプロパティは、「デフォルト」と「必須」は排他的にのみ使用できしたが、両方を設定することもでるようになりました。
- https://code.google.com/p/appengine-ndb-experiment/issues/detail?id=236
Fixed an issue with debugger/breakpoint not working on the dev_appserver.
dev_appserverでデバッガやブレークポイントが動作しない問題を修正しました。
Fixed an issue with NDB queries supporting iterate over distinct queries.
NDBのクエリがDISTINCTクエリもiterateできるように問題を修正しました。
- http://code.google.com/p/googleappengine/issues/detail?id=9591
Fixed an issue with enabling cloud integration for existing apps.
既存のアプリケーションでクラウドインテグレーションを利用できるように問題を修正しました。
- https://code.google.com/p/googleappengine/issues/detail?id=9602
Fixed an issue with users not being able to view the cron jobs page in the dev_appserver.
ユーザーがdev_appserverでcronジョブのページを表示することができない問題を修正しました。
- https://code.google.com/p/googleappengine/issues/detail?id=9665
Fixed an issue with the Channel API send_message function not working on the dev_appserver.
Channel API の SEND_MESSAGE機能がdev_appserverで動作しない問題を修正しました。
- https://code.google.com/p/googleappengine/issues/detail?id=9675
Fixed an issue with Modules get_current_module_name() incorrectly reporting as default when it is not.
get_current_module_name()でデフォルトが指定されていない場合の不正な応答が返される問題を修正しました。
- https://code.google.com/p/googleappengine/issues/detail?id=9687
Fixed an issue with the Datastore Admin UI failing to load due to the app having too many kinds.
データストアの管理UIが非常に多くのkindを持つアプリでロードに失敗する問題を修正しました。
- https://code.google.com/p/googleappengine/issues/detail?id=9749
Fixed an issue with the Channel API Testbed not working correctly after upgrading to SDK 1.8.2
チャンネルAPIのテストベッドが、SDK1.8.2へのアップグレード後に正しく動作しない問題を修正しました
- https://code.google.com/p/googleappengine/issues/detail?id=9757

読解練習：Google App Engine Python SDK Release Notes 1.8.2

2013-07-21T23:31:00.003+09:00

GAE/P SDKのリリースノート1.8.2が出てますね。

練習の為に訳してみましたので公開します。例によって訳の正確性は保証できません。

インタープリンタが2.7.5になったのが目を引きました。っていうか、2.7.5がリリースされていたんですね。
最近、仕事が非常に忙しくて、自宅PCにほとんど触れていないので、知りませんでした。

あと、前回も書きましたが、Mercurialでのデプロイもサポートして欲しいです。

────────────────────────────

Version 1.8.2 - July 16, 2013

Dedicated memcache is now available to all developers. With dedicated memcache you can purchase in-memory data caching capacity exclusively for your application, cache more data and drive up cache hit rates. This is a Preview feature. For more information please see:
専用memcacheが使えるようになりました。専用memcacheとは、あたなのアプリ専用にインメモリのキャッシュ容量を購入することです。これにより、あなたのアプリケーションはより多くのキャッシュ容量を持ち、ヒット率が向上します。これはプレビュー機能です。より多くの情報は、以下を参照してください。
- https://developers.google.com/appengine/docs/adminconsole/memcache
App Engine Modules is now available to all developers. App Engine Modules allow developers to segment their applications into logical subcomponents. This is a Preview feature. More information on this feature can be found here:
App Engine Modulesが利用できるようになりました。App Engine Modulesにより、アプリケーションを論理的なサブコンポーネントに分割することができます。これはプレビュー機能です。より多くの情報は、以下を参照してください。
- https://developers.google.com/appengine/docs/python/modules/
The Python Interpreter has been upgraded to 2.7.5.
Pythonのインタープリンタは、2.7.5にアップグレードされました。
lxml 2.3.5 is now available.
lxml 2.3.5 が利用できるようになりました。
Fixed an issue with the Datastore bulkloader syntax when using the Python 2.5 interpreter.
データストアのバルクローダー構文をPython2.5で利用した際の問題を修正しました。
Fixed an issue with the Channel API's Javascript library; a memory leak occurred when closing channels.
チャネルAPIのJavascriptライブラリの問題（チャネルをクローズする際にメモリリークが発生していました）を修正しました。
- https://code.google.com/p/googleappengine/issues/detail?id=9283
Fixed an issue with App Engine receiving erroneous XMPP presence from Google Hangouts.
Google ハングアウトから誤ったXMPPプレゼンスを受信してしまうApp Engineの問題を修正しました。
- https://code.google.com/p/googleappengine/issues/detail?id=9498

読解練習：Google App Engine Python SDK Release Notes 1.8.1

2013-06-23T02:51:00.001+09:00

GAE/P SDKのリリースノート1.8.1が少し前に出てますね。

練習の為に訳してみましたので公開します。例によって訳の正確性は保証できません。

前回の反動なのか、今回は少し多めですね。
細々と目を引く修正はありますが、Blobstore関連を使っていなければ、あんまり影響はなさそう。

個人的にはgitでデプロイ出来るようになったのが気になりました。
私はMercurial派なので、今後そちらでのデプロイもサポートして欲しいです。

────────────────────────────

Version 1.8.1 - June 11, 2013

The Task Queue async API is now a GA feature. The asynchronous methods improve utilization by allowing your app to add, lease and delete multiple tasks in parallel.
非同期のタスクキューAPIは、GoogleAppEngineの正式機能になりました。非同期メソッドは、パラレルに複数のタスクを追加・リース・削除することを可能にし、アプリケーションの利用率を向上させます。
Cloud Console projects are now created by default whenever a new App Engine app is created. This is a Preview feature.
クラウドのコンソールプロジェクトは、アプリケーション作成時のデフォルトになりました。これはプレビュー機能です。
In an upcoming release the Experimental Google Cloud Storage API and Files API within the Blobstore service will be decommissioned. These APIs and their Experimental status are documented at the following links:
今後のリリースで、Blobstoreサービスの中のいくつかの実験的なAPI（Google CloudStorage API,Files API）は、廃止されます。それらのAPIの実験状況は、以下のリンクに記載されています。
- (Python) Google Cloud Storage API: https://developers.google.com/appengine/docs/python/googlestorage
- (Python) Blobstore Files API: https://developers.google.com/appengine/docs/python/blobstore/blobstorefiles
The Google Cloud Storage library will replace Google Cloud Storage API and is now available as a Preview feature. More information can be found at https://code.google.com/p/appengine-gcs-client/
Google Cloud Storage ライブラリは、Google Cloud Storage APIを置換し、プレビュー機能として提供されています。詳細な情報は、https://code.google.com/p/appengine-gcs-client/を参照してください。
Bandwidth between App Engine and Google Cloud Storage is currently free of charge (this may change in the future for certain levels of service).
App Engine と Google Cloud Storageの帯域は、現在は無料です（特定のレベルのサービスの為に、これは変更になるかもしれません）。
The Search API has graduated from Experimental to Preview. Apps that have billing enabled can exceed the free quota levels and will be charged for usage above these levels.
サーチAPIは実験的機能からプレビュー機能に格上げされました。課金が有効なアプリでは、課金することで、無料分のクォータを超えることができます。
Estimated number of search results will only be accurate if it is less than or equal to the number of results requested. By default this can be overridden by setting number_found_accuracy QueryOption in the Search API.
検索結果の推定数は、リクエストされた結果の件数以下の場合のみ正確です。デフォルトは、検索APIでnumber_found_accuracyのQueryOptionを設定することでオーバーライドすることができます。
Dates, atoms, and number fields can now be found by searching without a field restriction in the Search API.
日付・アトム・数値のフィールドは、検索APIのフィールド制限なしで検索できるようになりました。
A quoted empty string now returns atom fields with empty values for the Search API.
SearchAPI用に、引用符で囲まれた空の文字列は、空の値のアトムフィールドを返します。
Snippet and count functions are no longer allowed in sort expressions for the Search API.
スニペットとカウント機能は、検索API用の並べ替え式では許可されなくなりました。
The Search API now has improved error messages for user errors and internal errors.
検索APIはエラーメッセージ（ユーザー·エラー、内部エラー）を改善しました。
App Engine now supports deployment of applications via the Git tool. Once you complete the initial setup steps, you will be ready to deploy apps with the same ease you push code to a git repository using % git push appengine master. This is a Limited Preview feature. You may request access via the following link: https://docs.google.com/a/google.com/forms/d/1aLaAOZb_cXFiVqzLAMvPV9kh0FmvlLRUbwD-LBbLuUI/viewform
App EngineはGitツールからのアプリケーションのデプロイメントをサポートするようになりました。一度セットアップを完了させてしまえば、gitのリポジトリを"% git push" でプッシュするのと同じくらい簡単に、アプリケーションのデプロイができるようになります。これは限定されたプレビュー機能です。次のリンクから詳細にアクセスできます： https://docs.google.com/a/google.com/forms/d/1aLaAOZb_cXFiVqzLAMvPV9kh0FmvlLRUbwD-LBbLuUI/viewform
The Datastore now assigns scattered auto ids by default. Legacy auto ids are still available via the auto_id_policy option in app.yaml.
データストアは、デフォルトで散乱したオートIDを割り当てます。以前のオートIDはapp.yamlでauto_id_policyオプションで引き続き利用できます。
The Sockets API now allows client code to call get/set options against sockets. Previously, calls raised Not Implemented exceptions. For supported options, calls to getsockopt will return a mock value and calls to setsockopt will be silently ignored. Errors will continue to be raised for unsupported options. The currently supported options are: SO_KEEPALIVE, SO_DEBUG, TCP_NODELAY, SO_LINGER, SO_OOBINLINE, SO_SNDBUF, SO_RCVBUF, and SO_REUSEADDR.
ソケットAPIでは、ソケットのオプションの取得/設定の呼び出しをクライアントコードで出来るようにようになりました。以前は呼び出してもNot Implemented例外が起きていました。サポートされているオプションに対して、getsockoptではモック値を返し、setsockoptは何もせずに無視します。サポートされていないオプションに対しては、引き続きエラーが発生します。現在サポートされているオプションは次の通りです：SO_KEEPALIVE, SO_DEBUG, TCP_NODELAY, SO_LINGER, SO_OOBINLINE, SO_SNDBUF, SO_RCVBUF, and SO_REUSEADDR
Updated skip_files documentation to reflect the new default.
新しいデフォルトを反映させる為に、skip_filesのドキュメンテーションが更新されました。
- https://developers.google.com/appengine/docs/python/config/appconfig#Skipping_Files
The ndb library now supports distinct queries. This is a Preview feature.
ndbライブラリは、distinctクエリをサポートしました。これはプレビュー機能です。
- https://code.google.com/p/appengine-ndb-experiment/issues/detail?id=229
Fixed an issue with Google Cloud Storage objects not being compatible across various APIs on the dev_appserver.
Google Cloud Storage オブジェクトがdev_appserverのさまざまなAPI間で互換性がないという問題を修正しました。
Fixed an issue with the namespace not being displayed when a user attempts to select a namespace in the Admin Console.
ユーザが管理コンソールでネームスペースを選択しようとしたときに名前空間が表示されない問題を修正しました。
- https://code.google.com/p/googleappengine/issues/detail?id=8164
Fixed an issue in the Admin Console Logs page to correctly display Until instead of Since for logs search criteria.
管理コンソールのログページの検索条件が正しくない問題（SinceになるべきところがUntilになっていた問題）を修正しました。
- https://code.google.com/p/googleappengine/issues/detail?id=8659

読解練習：Google App Engine Python SDK Release Notes 1.8.0

2013-05-22T22:25:00.001+09:00

GAE/P SDKのリリースノート1.8.0が出てますよね。

練習の為に訳してみましたので公開します。例によって訳の正確性は保証できません。

今回のリリースでは、Pythonの修正は少なめですね。
PHPの追加にリソース使っているのかな？

────────────────────────────

Version 1.8.0 - May 8, 2013

The Mail API now allows attachments with .zip and .gzip extensions as long as the archives do not contain entries with blacklisted extensions.
Mail APIは（拡張子のブラックリストに含めていない限り）.zip と .gzipの拡張子のファイルを添付できるようになりました。
- http://code.google.com/p/googleappengine/issues/detail?id=5933
New Billing Enabled apps will no longer default to an email quota of 20,000 per day. Instead, apps will need to file a request through the admin console to get email quotas increased.
新しい課金有効アプリは、メールクォータは20,000通/日がデフォルトで設定されるようになりました。その代わりに、アプリケーションは電子メールクォータの増加を取得するために、管理コンソールから要求を提出する必要があるでしょう。
（訳注：より詳しく書いてある記事によると、最初の課金がうまくいくまでは、通常の100通/日のままらしいです）
Admin console dashboard charts and reports for all users have been fully migrated to the new, more reliable backend announced in 1.7.6.
管理コンソールのダッシュボードチャートとすべてのユーザーのレポートが、1.7.6でアナウンスされている新しくより信頼性の高いバックエンドに完全に移行されました。
The maximum size of POST requests made through URLfetch has been increased from 5MB to 10MB.
URLフェッチのPOSTリクエストの最大サイズは5メガバイトから10メガバイトに増加されました。
Fixed an issue with the Mail API to prevent sending mail from a Google Apps mail account that has been suspended.
中断されているGoogle Appsのメールアカウントからのメール送信を防いでいたメールAPIについての問題を修正しました。
- https://code.google.com/p/googleappengine/issues/detail?id=6181
Fixed an issue with the admin handler of the new dev_appserver failing to import appengine_config automatically.
appengine_configの自動インポートに失敗していた新しいdev_appserverのadminハンドラの問題を修正しました。

読解練習：Google App Engine Python SDK Release Notes 1.7.7

2013-04-28T12:00:00.001+09:00

GAE/P SDKのリリースノート1.7.7が出てますよね。

練習の為に訳してみましたので公開します。例によって訳の正確性は保証できません。

────────────────────────────

Version 1.7.7 - April 9, 2013

The Sockets API, which allows applications to make outgoing TCP connections and send/receive UDP packets to the Internet using both IPv4 and IPv6, is now available as an experimental feature for billed apps.
課金しているアプリケーションの実験的機能として、ソケットAPIは TCPコネクション接続の発信やUDPパケットの送受信をIPv4とIPv6の両方を用いることができます。
Billing enabled apps will no longer be subject to a $2.10 minimum weekly spend. Instead, apps will only be charged for their actual usage.
課金が有効になっているアプリケーションの最低利用金額（2.10$/週）は、なくなりました。かわりにアプリケーションが実際に使った分だけ請求されるようになります。
Matplotlib 1.1.1, an experimental feature, is being deprecated and will be removed in 1.7.8. Please switch to matplotlib 1.2.0.
実験的機能のMatplotlib 1.1.1は、非推奨となり、1.7.8では撤廃されます。今後はMatplotlib 1.2.0に切り替えて下さい。
Fixed an issue where the dev_appserver Datastore auto ids assigned by the scattered id policy were too large to be represented as floating point numbers.
散乱IDポリシーによって割り当てられる自動IDが浮動小数点数として表現するにはあまりにも大きかったというdev_appserver上の問題を修正しました。
Fixed an issue where the dev_appserver threw an exception on any Search API call that used an index that was originally created as GLOBALLY consistent.
Fixed an issue with NDB not serializing projection entities correctly.
- https://code.google.com/p/appengine-ndb-experiment/issues/detail?id=215
Fixed an issue with NDB not projecting structured properties correctly.
structuredプロパティが正しく投影されないというNDBの課題を修正しました。
- https://code.google.com/p/appengine-ndb-experiment/issues/detail?id=227
Fixed an issue with task queues failing to resolve backend addresses in the new dev_appserver.
新しいdev_appserverで、バックエンドのアドレスの解決に失敗してしまうタスクキューの課題を修正しました。
- https://code.google.com/p/googleappengine/issues/detail?id=5105
Fixed an issue with the Search API allowing multiple documents with no IDs to be in one put request.
IDを持っていない複数のドキュメントを１回のputリクエストで処理する際のSearchAPIの課題を修正しました。
- https://code.google.com/p/googleappengine/issues/detail?id=8553
Fixed an issue with sort by doc_id not translating correctly causing InvalidRequest errors on the Search API.
InvalidRequestエラーによって、正しく変換されないdoc_IDによるソートの課題を修正しました。
- https://code.google.com/p/googleappengine/issues/detail?id=8958
Fixed an issue with the Search admin UI where an Internal Server Error was served.
Internal Server Errorが発生していた Search管理者UIの課題を修正しました。
- https://code.google.com/p/googleappengine/issues/detail?id=9005
Fixed an issue with Prospective Search failing in the new dev_appserver.
Prospective Searchが失敗する新しいdev_appserverの課題を修正しました。
- https://code.google.com/p/googleappengine/issues/detail?id=9003
Fixed an issue with the new dev_appserver failing with ImportError.
Import Errorによって新しいdev_appserverが失敗する課題を修正しました。
- https://code.google.com/p/googleappengine/issues/detail?id=9008
Fixed an issue with Sqlite3 being unable to open a database file in the new dev_appserver.新しいdev_appserverで、Sqlite3のデータベースファイルを開けない課題を修正しました。
- https://code.google.com/p/googleappengine/issues/detail?id=9031
Fixed an issue with serving urls that contain unicode characters in the new dev_appserver.
新しいdev_appserverで、unicode文字列を含むurlを出力してしまう課題を修正しました。
- https://code.google.com/p/googleappengine/issues/detail?id=9040

読解練習：Google App Engine Python SDK Release Notes 1.7.6

2013-03-22T12:27:00.000+09:00

GAE/P SDKのリリースノート1.7.6が出ましたね。

練習の為に訳してみましたので公開します。例によって訳の正確性は保証できません。

────────────────────────────

Version 1.7.6 - March 19, 2013

The new and improved development appserver, which was previewed last release, now becomes the default. The old development appserver has been renamed to old_appserver.py and will remain available until the first release after 1 July 2013 when it will be removed from the SDK. For more information, please visit http://developers.google.com/appengine/docs/python/tools/devserver
新しく改良された開発appserver（プレビュー版としては最後のリリースとなります）は、デフォルトとなりました。
A Go runtime has been added to the new and improved development appserver.
Goランタイムが、新しいappserverに追加されました。
The Debug log level for the runtime has been enabled.
ランタイムのデバッグログレベルが有効になりました。
Improvements to the App Engine billing system will be rolled out gradually to all apps. Fore more information, please visit http://developers.google.com/appengine/docs/billing
App Engineの課金システムの改善は、すべてのアプリに徐々にロールアウトされます。詳しい情報は、http://developers.google.com/appengine/docs/billingをご覧ください。
The application summary no longer displays the default version of a running application, instead it lists the application as 'RUNNING'. In an upcoming release applications will have multiple logical sub components, each of which will have a default version. This UI update is meant to align with this functionality.
アプリケーションの概要には、実行中のアプリケーションのデフォルトのバージョンが表示されず、代わりに、アプリケーション一覧に"実行中"などが表示されます。近日リリース予定のアプリケーションでは、デフォルトのバージョンを持つことになり、それぞれが、複数の論理サブコンポーネントを持つことになります。このUIの更新は、この機能に合わせることになっています。
Projection queries are now a fully supported GA feature.
プロジェクションクエリは、GoogleAppEngineの正式な機能としてフルサポートされるようになりました。
The XMPP API now has multi-JID get_presence. This provides the ability to get the availability of multiple users.
XMPP APIはmulti-JIDのget_presenceを持つようになりました。これは、複数のユーザーの空き時間を取得する機能を提供します。
Django 1.4 and Webob 1.2.3 are now promoted to GA.
Django 1.4 と Webob 1.2.3が Google App Engineの正式機能に昇格されました。
Apps now have the ability to fopen() files that are declared as static files in app.yaml using the application_readable flag.
アプリからfopen()を使ってファイルを開けるようになりました。app.yamlにて、application_readableフラグを使用して静的ファイルを指定しておく必要があります。
The dev_appserver now allocates automatic ids using the 'scattered' id allocation policy by default. For more information, please see "Specifying the Automatic ID Allocation Policy": https://developers.google.com/appengine/docs/python/tools/devserver#Using_the_Datastore
dev_appserverは現在、デフォルトで '散乱' IDの割り当てポリシーを使用して、自動IDを割り当てます。詳細については、以下を参照してください。"自動番号割り当てのポリシーの指定"：https://developers.google.com/appengine/docs/python/tools/devserver＃Using_the_Datastore
Admin console dashboard charts and current load/errors reports will be moving to a new, more reliable backend. The change will be gradually rolling to users of admin console over the next few weeks.
管理コンソールのダッシュボード·チャートとload/errorのレポートには、新しくより信頼性の高いバックエンドが使われます。この変更は数週間で管理コンソールのユーザーに徐々にローリングされます。
The experimental Search API's ability to explicitly sort search results by SortExpression.RANK_FIELD_NAME (i.e. order_id) field in ascending order has been removed.
検索結果をSortExpression.RANK_FIELD_NAME（すなわちorder_id）はフィールドで明示的に昇順にソートするための実験的検索APIの機能は削除されました。
Globally consistent indexes in the experimental Search API are now deprecated and will be removed in the next release.
SearchAPIの実験的機能、グローバルに一貫性のあるインデックスは廃止され、次のリリースで削除されます。
Task Queue tasks may now be added and deleted asynchronously. This allows applications to perform common task queue operations without blocking. This is an experimental feature.
タスクキューのタスクを非同期に追加・削除することができるようになりました。これにより、アプリケーションはブロックせずに一般的なタスクのキュー操作を実行することができます。これは実験的な機能です。
In the experimental MapReduce framework, shards that encounter Files API errors will retry three times before the entire job fails.
実験中のMapReduceフレームワークでは、登録されたジョブが失敗する前に、シャードのFilesAPIのエラーに対して３回リトライします。
Google Protocol RPC now supports deserializing and reserializing of unexpected fields.
Google Protocol RPC は、未予定のフィールドに対するデシリアライアズと再シリアライズをサポートするよになりました。
A new Google Protocol RPC field type for supporting datetime values has been added. For more information, please visit https://developers.google.com/appengine/docs/python/tools/protorpc
Google Protocol RPC フィールドに、datetime値をサポートするために、新しい型が追加されました。詳細については、https://developers.google.com/appengine/docs/python/tools/protorpcをご覧下さい
Fixed an issue which caused an incorrect server error message when setting the default version on the admin console, though the version was set correctly.
管理コンソール上でデフォルトのバージョンを設定する際に、バージョンが正しく設定されていたにもかかわらず、誤ってサーバー·エラー·メッセージの原因となった問題を修正しました。
Fixed an issue where get_indexes() didn't correctly populate the namespace when run from the new dev_appserver.
新しいdev_appserverで実行する際に、GET_INDEXES（）が正しく名前空間を使っていなかった問題を修正しました。
Fixed an issue with the new dev_appserver failing on invalid login cookies. It now uses type="email" for email in the login form.
新しいdev_appserverが無効なログインクッキーで失敗する問題を修正しました。今ではログインフォームで電子メールのための=型 "email"を使用しています。
（訳注：@を含まないクッキーが残っているとエラーが発生していたらしいです）
- https://code.google.com/p/appengine-devappserver2-experiment/issues/detail?id=36
Fixed an issue with the new dev_appserver to have fix_sys_path add the necessary libraries to sys.path making it now compatible with the testbed.
新しいdev_appserverの問題を修正しました。fix_sys_path（）で追加するsys.pathに必要なライブラリを加え、テストベッドが動作するようになりました。
- https://code.google.com/p/appengine-devappserver2-experiment/issues/detail?id=45

読解練習：Google App Engine Python SDK Release Notes 1.7.5

2013-03-04T12:58:00.000+09:00

毎回亀ですが、GAE/P SDKのリリースノート1.7.5が出てますよね。

すでにわかりやすく訳していらっしゃる方もいますが、
練習の為に訳してみましたので公開します。

例によって訳の正確性は保証できません。
まだexperimentalですが、dev_appserver2に期待ですね。

────────────────────────────

Version 1.7.5 - February 13, 2013

New instance classes F4_1G and B4_1G are now available. These instances have compute capacity equal to F4/B4 but with a maximum of 1G RAM instead of 512MB.
新しいインスタンスのクラス「F4_1G」と「B4_1G」が利用可能になりました。これらの処理能力は F4/B4と同じですが、メモリが512MBから1GBになっています。
The Logs API stub now uses sqlite in the dev_appserver. Please note that the --persist_logs flag is still needed in order for logs to be saved.
Logs APIのdev_appserverのスタブがsqliteを使うようになりました。いまだに、ログを保存するためには、--persist_logs フラグが必要なことに注意してください。
The deprecated classes and functions AddError, AddResult, ListIndexesResponse, ListResponse, RemoveError, RemoveResult, and list_indexes were removed from the Search API in the SDK. If your app references any of these classes or functions, you must deploy a new version without these references before the next release of App Engine. If you do not do this, your app may stop working in production.
Search APIの廃止されたクラスや関数のAddError, AddResult, ListIndexesResponse, ListResponse, RemoveError, RemoveResult, list_indexes は、削除されました。あなたのアプリがこれらを参照している場合は、参照しないように修正したアプリをデプロイする必要があります。もしもそうしなかった場合、あなたのアプリは本番環境で動作しなくなります。
The Conversion API, which was decommissioned last release, has been removed from the SDK. In a future release, the API will be removed from the runtime and any attempt to import the library will raise an exception. Applications in production that import the library should be fixed as soon as possible.
Matplotlib v1.2.0 is now available as an experimental feature.
Matplotlib v1.2.0が実験的機能として利用できるようになりました。
Django 1.4 has been upgraded to 1.4.3. This is an experimental feature.
Django 1.4は、Django 1.4.3にアップグレードされました。これは実験的な機能です。
We are including a preview of a new and improved version of our development server. The new version is faster, provides more faithful support for complex multi-threaded applications, has better support for Datastore and supports more libraries. Try dev_appserver2.py in the SDK. This is an experimental feature. For more information, please visit http://code.google.com/p/appengine-devappserver2-experiment/
新しくて改良された開発サーバのプレビュー版を含めました。このサーバは、より速く、複雑なマルチスレッドアプリケーションのより忠実なサポートし、データストアをより良くサポートし、多くのライブラリのより良いサポートします。SDKの dev_appserver2.pyを試してください。これは実験的な機能です。もっと情報が欲しい方は、http://code.google.com/p/appengine-devappserver2-experiment/を見て下さい。
The Channel API now has the ability to send channel messages from any app version or backend regardless of where the channel was created.
チャネルAPIは、チャネルが作成された場所（アプリケーションのバージョン、バックエンドかどうか）に関わらず、チャネルメッセージを送ることが出来るようになりました。
- http://code.google.com/p/googleappengine/issues/detail?id=5123
The URL Fetch service now supports PATCH method requests.
URLフェッチサービスは、PATHメソッドをサポートするようになりました。
- http://code.google.com/p/googleappengine/issues/detail?id=6316
The Mail API can now send mail bounce notifications to the app. The notification will be delivered to /_ah/bounce if mail_bounce inbound services are enabled.
メールAPIは、メールのバウンスをアプリケーションに通知できるようになりました。app.yamlでinbound servicesとしてメールのバウンスを有効にしていると、通知が /_ah/bounce に届きます。
- http://code.google.com/p/googleappengine/issues/detail?id=7451
The Blobstore service now returns the created filename instead of the blobKey when using Cloud Storage
Blobstoreサービスは、クラウドストレージサービスが使われている際にblobKeyの代わりに作成されたファイル名を返すようになりました。
- http://code.google.com/p/googleappengine/issues/detail?id=8337
Fixed an issue with os.urandom throwing an exception in dev_appserver2 when using OS X.
dev_appserver2でos.urandomを使用時に、OS Xで例外が発生していた問題を修正しました。
- http://code.google.com/p/appengine-devappserver2-experiment/issues/detail?id=23
Fixed an issue with time.tzset not existing in dev_appserver2 for Windows.
time.tzsetがWindowsのdev_appserver2に存在していない問題を修正しました。
- https://code.google.com/p/appengine-devappserver2-experiment/issues/detail?id=26

Sphinx：検索結果が文字化ける場合の対策

2013-02-13T13:00:00.001+09:00

仕事でSphinx使っていて、趣味でSphinxのテーマを作ってます。

Sphinx1.1からは、日本語もちゃんと検索出来るようになったので、
隠していた検索ボックスを表示するようにしました。

Sphinxの検索機能では、

conf.pyでhtml_copy_source = Trueを指定していると、
検索時に検索結果を表示してくれます。

この結果表示は、ソースファイルのコピーを参照して、
そのままhtmlに表示しているので、
ソースとhtmlの文字コードを変えていると、文字化けが発生します。

その対策方法を書きます。

────────────────────────────

対策方法（その１）searchtools.jsを書き換える

IE6～9を無視すれば以外と簡単です。
以下の２つの記事を参照して、searchtools.jsの処理を一部変えてみたところ、Firefoxで動作するところまで確認しました。

しかし、職場で使っているのは主にIE8なので、上記の対策では無理でした。
頑張って、以下の記事に書いてある内容を取り込めばうまくいきそうなのですが、ブラウザの場合分けとか書くのは美しくないと思ったので試してないです。

XMLHttpRequestを使ったAjaxのエンコード

対策案（その2）ソースファイルコピー時に文字コードを変換させる

Sphinxがソースファイルをコピーする処理を改造して、htmlの文字コードに合わせて文字コードを変換するようにれば良いはずです。
でもガリガリ書く気力が対策案１の途中で尽きてしまったので試せてません。

対策案（その3）ソースとhtmlのエンコーディングをあわせる

これが一番簡単だと思います。

私の場合、もともと以下のような設定だったのですが、

source_encoding = 'mbcs'
html_output_encoding = 'utf-8'

これをこう変えました。

source_encoding = 'utf-8'
html_output_encoding = 'utf-8'

文字コードを変換するpythonスクリプトとかいるので、結構めんどかったです。

本当は、こんな感じにしたいのですが、

source_encoding = 'mbcs'
html_output_encoding = 'mbcs'

いろいろ問題が見つかったので、諦めました。

読解練習：Google App Engine Python SDK Release Notes 1.7.4

2013-01-14T22:31:00.000+09:00

亀な話題ですが、GAE/P SDKのリリースノート1.7.4が出てますよね。
いまさらですが、訳を公開します。
例によって訳の正確性は保証できません。

────────────────────────────

Version 1.7.4 - December 13, 2012

Background threads is now a GA feature.
バックグラウンドスレッドはGoogle App Engine の機能になりました。
Traffic Splitting is now a GA feature.
トラフィック分割はGoogleAppEngineの機能になりました。
Task Queue Statistics is now a GA feature.
タスクキューの統計はGoogleAppEngineの機能になりました。
Logs API now has the ability to fetch requests based on a list of request_ids. Currently, this only works in production and is not supported in dev_appserver.
ログAPIは、リクエストIDのリストからリクエストをフェッチする機能を持ちました。今のところ、この機能はプロダクション環境のみで動作し、dev_appserverではサポートされません。
Python Interpreter has been upgraded to 2.7.3.
Python2.7のインタープリターは、Python2.7.3にアップグレードされました。
WebOb 1.2.3 is now available for Python 2.7. Users using the undocumented 1.2.2 should update their app, since that version will be removed in the next release.
Python2.7では、WebObの1.2.3を利用できるようになりました。1.2.2は次のバージョンで削除されますので、1.2.2を利用しているユーザは、アプリを更新するべきです。
DISTINCT for Datastore queries is now available as an experimental feature.
データストアのクエリでDISTINCTは、実験的機能として利用できるようになりました。
Matplotlib v1.1.1 is now available as an experimental feature.
Matplotlib v1.1.1は実験的機能として利用できるようになりました。
The decommissioned Conversion API has been removed.
The decommissioned Conversion APIは廃止されました。
Added a warning that the interactive console will be disabled if a user runs dev_appserver with the --address flag.--addressフラグをつけてdev_appserverを起動した場合に、インタラクティブコンソールが無効になることが警告されるようになりました。
JSON properties are now restrictable to list or dictionaries in NDB.
NDBのJSONプロパティは、リストや辞書に変換されるようになりました。
- http://code.google.com/p/appengine-ndb-experiment/issues/detail?id=223
Users can now set how many columns can be viewed in the Datastore Viewer via a drop-down menu which customizes the number of columns displayed.
ドロップダウンメニューでデータストアビューアーに表示される列の数をカスタマイズできるようになりました。
- http://code.google.com/p/googleappengine/issues/detail?id=8158
Fixed an issue with expandos throwing an error when containing nested expandos in NDB.
NDBにおけるexpandoを入れ子にした際のエラーを修正しました。
- http://code.google.com/p/appengine-ndb-experiment/issues/detail?id=216
Fixed an issue with properties not being added to structured properties in NDB.
Structuredプロパティに追加されていないプロパティがあるNDBの問題を修正しました。
- http://code.google.com/p/appengine-ndb-experiment/issues/detail?id=220
Fixed an issue with PyCrypto raising an ImportError when installing globally into site-packages.
PyCryptoをsite-packagesにインストールしている際に、ImportErrorが発生する問題を修正しました。
- http://code.google.com/p/googleappengine/issues/detail?id=1627
Fixed an issue with PyCrypto not working with OSX 10.8 or Ubuntu Precise.
OSX 10.8 or Ubuntu PreciseでPyCryptoが動作していなかった問題を修正しました。
- http://code.google.com/p/googleappengine/issues/detail?id=7925
Fixed an issue with backends.get_instance returning thread ID instead of integer instance ID in production.
backends.get_instanceが、整数のインスタンスIDの代わりに、スレッドIDを返していた問題を修正しました。
- http://code.google.com/p/googleappengine/issues/detail?id=8338
Fixed an issue with Datastore Backup failing when a schema has a very large number of properties.
とても大きな数のプロパティを持つスキーマは、データストアのバックアップに、失敗する問題を修正しました。
- http://code.google.com/p/googleappengine/issues/detail?id=8363
Fixed an issue with dev_appserver not reloading changed code.
コードが変更された際にリロードされないdev_appserverの問題を修正しました。
- http://code.google.com/p/googleappengine/issues/detail?id=8383
Fixed an issue with custom ordered queries not working using sqlite on the dev_appserver.
custom orderedクエリがdev_appserverのsqliteで動作していなかった問題を修正しました。
- http://code.google.com/p/googleappengine/issues/detail?id=8390
Fixed an issue with users being unable to change Authentication Type after app creation in the Admin Console.
アプリを作成した後で、Admin Consoleで認証設定を変更できなかった問題を修正しました。
- http://code.google.com/p/googleappengine/issues/detail?id=8394

Solarized化してみました

2012-11-19T01:08:00.004+09:00

Solarized Sphinx ThemeというSphinxのテーマを見て感化されました。

長く見るのに適した配色のほうがいいよな、ってことで職場のSphinxのテーマの配色も、このブログの配色も、みんなSolarizedっぽくしてみました。

・・・JINS PCと一緒で、そのうち飽きる気がしないでもないです。

WELL512a, WELL1024a を Pythonで実装

2012-11-12T19:02:00.004+09:00

前回の続きです。

前回のコードは、元にしたプログラムがゲーム用に最適化されちゃっていて、もとの論文と比較しにくかったので、乱数生成部分を書き直しました。

WELL512a と WELL1024a, はC版と同じ結果が返ることを確認しています。
それ以外は、たぶん動くけど未検証なので、コメントアウトしてあります。
（誰か検証してください！）

あと、jumpahead()は、未実装にしました。seed()使って下さい。
本来の意味だと、数学的に離れた位置にジャンプするべきなのですが、
やり方がわからないんで、前はseed()を使ってお茶を濁してました。
これは、かえって混乱のもとなのでやめました。

# -*- coding: utf-8  -*-
# ---------------------------------------------------------------------------
# WELL(512a, 1024a)のPython実装
#
# 元の論文との対応付けのし易さを最重視して実装しています。
# 状態の初期化にSHA512を使うのがオリジナルのアイディアです。
# 512より多い状態を初期化する際を考慮して、
# SHA512の繰り返しとXorShiftのXORで状態を初期化しています。
#
# パフォーマンスを求める方は、CやC++版を使って下さい。
#
# このコードを作成するにあたり、参考にしたのは、以下です
#
#   - http://d.hatena.ne.jp/fgshun/20090724/1248446400
#   - http://www.iro.umontreal.ca/~panneton/WELLRNG.html
#   - http://www3.ocn.ne.jp/~harase/megenerators.html
#   - http://bitbucket.org/sergiu/random/src/tip/well.hpp
#   - http://en.wikipedia.org/wiki/Well_Equidistributed_Long-period_Linear
#
# このコードのライセンスは、MITでお願いします。
#
# ---------------------------------------------------------------------------

from random import Random as _Random
from os import urandom as _urandom
from binascii import hexlify as _hexlify
from hashlib import sha512 as _sha512
from itertools import cycle as _cycle, izip as _izip

# ---------------------------------------------------------------------------
# 各WELLのベースクラス定義
#
# random_int32()が未実装なので、単独では使用できません。
# init_subclassと_M1～_M6を使用して、random_int32()を初期化して使って下さい。
# ---------------------------------------------------------------------------

def _xor128(x=123456789, y=362436069, z=521288629, w=88675123):
    while True:
        t = x^((x << 11) & 0xffffffff)
        x = y
        y = z
        z = w
        w = (w ^ (w >> 19)) ^ (t ^ (t >> 8))
        yield w


class _WELLBase(_Random):

    _W = 32
    _MASK = 2 ** _W - 1

    def __init__(self, seed=None):

        self.state = self._gen_seed(seed)
        self._check_zerostate()

        self.gauss_next = None
        self.index = 0

    def _check_zerostate(self):
        if self.state == [0] * self._R: 
            self.state = self._gen_seed(self.VERSION)

    @classmethod
    def _gen_seed(cls, a=None):
        if a is None:
            try:
                a = int(_hexlify(_urandom(16)), 16)
            except NotImplementedError:
                import time
                a = int(time.time() * 256)

        if not isinstance(a, basestring):
            a = str(a)

        hashed_states = _sha512(a).hexdigest()
        states = [int(hashed_states[i: i+8], 16) for i in range(0, 128, 8)]
        return [xor128 ^ sha512 for (i, xor128, sha512) in _izip(range(cls._R), _xor128(), _cycle(states))]

    def seed(self, a=None):
        self.__init__(a)

    def random_int32(self):
        raise NotImplementedError

    def random(self): 
        return self.random_int32() * 2.3283064365386963e-10

    def random53(self): 
        return self.getrandbits(53) * (1.0 / 9007199254740992.0)

    def getstate(self): 
        return (self.VERSION, tuple(self.state),
                self.gauss_next, self.index) 

    def setstate(self, state): 
        version = state[0] 
        if version == self.VERSION: 
            self.state = list(state[1])
            self.gauss_next = state[2]
            self.index = state[3] 
        else: 
            raise ValueError("state with version %s passed to "
                             "setstate() of version %s" %
                             (version, self.VERSION)) 

    def jumpahead(self, n):
        raise NotImplementedError

    def getrandbits(self, k=32):
        ret = self.random_int32()
        for _ in range((k - 1) // 32): 
            ret = (ret << 32) ^ self.random_int32()
        return ret >> ((- k) % 32)

    @classmethod
    def init_random_int32(cls, T0, T1, T2, T3, T4, T5, T6, T7, m1, m2, m3, me_mask=0):

        MASKU = cls._MASK >> (cls._W - cls._P)
        MASKL = cls._MASK << cls._P
        r = cls._R

        def random_int32(self):

            s = self.state
            newV1 = i = self.index
            newV0 = i_VRm1 = (i - 1) % r
            i_VRm2 = (i - 2) % r
            vm2 = s[(i + m2) % r]

            z0 = (s[i_VRm1] & MASKL) | (s[i_VRm2] & MASKU);
            z1 = T0(s[i]) ^ T1(s[(i + m1) % r])
            z2 = T2(vm2 ) ^ T3(s[(i + m3) % r])
            s[newV1] = z3 = z1 ^ z2
            s[newV0] = z4 = T4(z0) ^ T5(z1) ^ T6(z2) ^ T7(z3)
            self.index = i_VRm1

            return z4 ^ (vm2 & me_mask)

        cls.random_int32 = random_int32

    @classmethod
    def _output_after_tempering(cls, b, c):
        random_int32 = cls.random_int32
        def random_int32_after_tempering(self):
            y = random_int32(self)
            y = y ^ ((y << 7) & b)
            y = y ^ ((y << 15) & c)
            return y
        cls.random_int32 = random_int32_after_tempering

    @classmethod
    def _shift(cls, k):
        MASK = cls._MASK
        if k >= 0:
            return lambda v: (v >> k)
        else:
            k_abs = abs(k)
            return lambda v: (v << k_abs) & MASK

    @classmethod
    def _M0(cls):
        return lambda v: 0

    @classmethod
    def _M1(cls):
        return lambda v: v

    @classmethod
    def _M2(cls, t):
        return cls._shift(t)

    @classmethod
    def _M3(cls, t):
        t_shift = cls._shift(t)
        return lambda v: v ^ t_shift(v)

    @classmethod
    def _M4(cls, a):
        w1 = cls._W - 1
        return lambda x: (x >> 1) ^ ((x & 1) * a)

    @classmethod
    def _M5(cls, t, b):
        t_shift = cls._shift(t)
        return lambda v: v ^ (t_shift(v) & b)

    @classmethod
    def _M6(cls, r, a, ds, dt):
        q_shift = cls._shift( - r)
        wq_shift = cls._shift(cls._W - r)
        return lambda x: ((q_shift(x) ^ wq_shift(x)) & ds) ^ (a if (x & dt) != 0 else 0)

# ------------------------------------------------------
# 個別のWELLの定義
# ------------------------------------------------------



class WELL512a(_WELLBase):
    VERSION = u"WELL512a ver0"
    _K = 512  # not use
    _R = 16
    _P = 0

WELL512a.init_random_int32(
    m1=13, m2=9, m3=5,
    T0=WELL512a._M3(-16), T4=WELL512a._M3(-2),
    T1=WELL512a._M3(-15), T5=WELL512a._M3(-18),
    T2=WELL512a._M3(11),  T6=WELL512a._M2(-28),
    T3=WELL512a._M0(),    T7=WELL512a._M5(-5, 0xda442d24))



class WELL1024a(_WELLBase):
    VERSION = u"WELL1024a ver0"
    _K = 1024  # not use
    _R = 32
    _P = 0

WELL1024a.init_random_int32(
  m1=3, m2=24, m3=10,
  T0=WELL1024a._M1(),    T4=WELL1024a._M3(-11),
  T1=WELL1024a._M3(8),   T5=WELL1024a._M3(-7),
  T2=WELL1024a._M3(-19), T6=WELL1024a._M3(-13),
  T3=WELL1024a._M3(-14), T7=WELL1024a._M0())


# 以下、未検証のためコメントアウト
#
#class WELL1024b(_WELLBase):
#    VERSION = u"WELL1024b ver0"
#    _K = 1024  # not use
#    _R = 32
#    _P = 0
#
#WELL1024b.init_random_int32(
#  m1=22, m2=25, m3=26,
#  T0=WELL1024b._M3(-21),        T4=WELL1024b._M3(-14),
#  T1=WELL1024b._M3(17),         T5=WELL1024b._M3(-21),
#  T2=WELL1024b._M4(0x8bdcb91e), T6=WELL1024b._M1(),
#  T3=WELL1024b._M3(15),         T7=WELL1024b._M0())
#
#class WELL19937a(_WELLBase):
#    VERSION = u"WELL19937a ver0"
#    _K = 19937  # not use
#    _R = 624
#    _P = 31
#
#WELL19937a.init_random_int32(
#  m1=70, m2=170, m3=449,
#  T0=WELL19937a._M3(-25), T4=WELL19937a._M1(),
#  T1=WELL19937a._M3(27),  T5=WELL19937a._M3(-9),
#  T2=WELL19937a._M2(9),   T6=WELL19937a._M3(-21),
#  T3=WELL19937a._M3(1),   T7=WELL19937a._M3(21))
#
#class WELL19937b(_WELLBase):
#    VERSION = u"WELL19937b ver0"
#    _K = 19937  # not use
#    _R = 624
#    _P = 31
#
#WELL19937b.init_random_int32(
#  m1=203, m2=613, m3=123,
#  T0=WELL19937b._M3(7),   T4=WELL19937b._M3(-19),
#  T1=WELL19937b._M1(),    T5=WELL19937b._M2(-11),
#  T2=WELL19937b._M3(12),  T6=WELL19937b._M3(4),
#  T3=WELL19937b._M3(-10), T7=WELL19937b._M3(-10))
#
#class WELL19937c(WELL19937a):
#    VERSION = u"WELL19937c ver0"
#
#WELL19937c._output_after_tempering(0xe46e1700, 0x9b868000)
#
#class WELL44497a(_WELLBase):
#    VERSION = u"WELL44497a ver0"
#    _K = 44497  # not use
#    _R = 1391
#    _P = 15
#
#WELL44497a.init_random_int32(
#  m1=23, m2=481, m3=229,
#  T0=WELL44497a._M3(-24), T4=WELL44497a._M1(),
#  T1=WELL44497a._M3(30),  T5=WELL44497a._M3(20),
#  T2=WELL44497a._M3(-10), T6=WELL44497a._M6(9, 0xb729fcec,
#                                            0xfbffffff, 0x00020000),
#  T3=WELL44497a._M2(-26), T7=WELL44497a._M1())
#
#class WELL44497b(WELL44497a):
#    VERSION = u"WELL44497b ver0"
#
#WELL44497b._output_after_tempering(0x93dd1400, 0xfa118000)
#
# EOF

イッシーの利用目的だと、WELL512aでおそらく十分ですので、
要望や助力がない限りは、これ以上の実装例は増やさない予定です。

英語読めなくても、論文とソースを見比べていけば、なんとななるはずです。
（イッシーがそうです）

あと、init_random_int32()の、me_maskは、高次最適化の為のオプションです。
これはそのうち対応したいなぁ。

WELL512aをPythonで実装してみる

2012-11-08T02:18:00.004+09:00

擬似乱数生成法「WELL」の512ビット版をPythonで実装してみました！

このアルゴリズムは、まだマイナーのようですが、
有名なメルセンヌ・ツイスタ（Pythonの標準の乱数生成アルゴリズムでもあります）より新しく、より乱数の性質が良いとされているアルゴリズムです。

WELLについては、以下のサイトのメモがまとまっています。
http://lt140.blogspot.jp/2010/05/well.html
http://en.wikipedia.org/wiki/Well_equidistributed_long-period_linear

何気にまだちゃんと動作検証できていないのですが、勢い（だけ）でソースをのっけます。
jumpheadの動きが適当すぎるんで、もうちょっと変えます。

# -*- coding: utf-8  -*-
# WELL512aのPython実装
#
# 初期化にSHA512を使うのが特徴
#
# 参考にしたのは、以下です
#   - http://www.lomont.org/Math/Papers/2008/Lomont_PRNG_2008.pdf
#   - http://d.hatena.ne.jp/fgshun/20090724/1248446400
#
# このコードのライセンスは、MITでお願いします。
#

import random
from os import urandom as _urandom
from binascii import hexlify as _hexlify
from hashlib import sha512

_ALL_ZERO_LIST = [0] * 16


class WELL512(random.Random):

    VERSION = u"WELL512 ver0"

    def __init__(self, seed=None):
        _state = self._gen_seed(seed)

        if _state == _ALL_ZERO_LIST:
            self._state = self._gen_seed(self.VERSION)
        else:
            self._state = _state

        self.gauss_next = None
        self._index = 0

    @classmethod
    def _gen_seed(cls, a=None):
        if a is None:
            try:
                a = long(_hexlify(_urandom(16)), 16)
            except NotImplementedError:
                import time
                a = long(time.time() * 256) # use fractional seconds

        if not isinstance(a, basestring):
            a = str(a)

        seedhash = sha512(a)
        hashed_states = seedhash.hexdigest()
        return [long(hashed_states[i: i+8], 16) for i in range(0, 128, 8)]

    def seed(self, a=None):
        self.__init__(a)

    def _genrand_int32(self):
        index = self._index
        state = self._state

        a = state[index]
        c = state[(index + 13) & 15]
        b = (a ^ c ^ (a << 16) ^ (c << 15)) & 0xffffffff
        c = state[(index + 9) & 15]
        c ^= c >> 11
        a = state[index] = b ^ c
        d = a ^ ((a << 5) & 3661901092L)
        index = (index + 15) & 15
        a = state[index]
        a ^= (b ^ d ^ (a << 2) ^ (b << 18) ^ (c << 28)) & 0xffffffff
        state[index] = a
        self._index = index
        return a

    def random(self):
        #return self.getrandbits(53) * (1.0 / 9007199254740992.0)
        return self._genrand_int32() * 2.3283064365386963e-10

    def getstate(self):
        return (self.VERSION, tuple(self._state),
                self.gauss_next, self._index)

    def setstate(self, state):
        version = state[0]
        if version == self.VERSION:
            self._state = list(state[1])
            self.gauss_next = state[2]
            self._index = state[3]
        else:
            raise ValueError("state with version %s passed to "
                             "setstate() of version %s" %
                             (version, self.VERSION))

    def jumpahead(self, n):
        self.__init__(n)

    def getrandbits(self, k=32):
        ret = self._genrand_int32()
        for _ in range((k - 1) // 32):
            ret = (ret << 32) ^ self._genrand_int32()
        return ret >> ((- k) % 32)

# EOF

メルセンヌ・ツイスタ（以下MTと略します）は、とても優秀なアルゴリズムです。
ただ、一般に出回っている初期化アルゴリズムは、seedが32ビットで設計されているため、その周期を生かし切れないケースが稀にあります。

例えばトランプのシャッフルです。52枚のカードをシャッフルするのに必要なパターンは、52の階乗（52×51×・・・×2×1)です。これはだいたい8.0×10の52乗になり、32ビットで表現できるパターン数をはるかに上回ります。

ちなみにPythonのrandomモジュールも初期化の種は32ビットの整数なので、同様の問題点があります。

乱数の周期は問題ないのですが、seedの桁数が不足しているんですよね。
かといってseedの桁数を増やしていくと、そのseedの生成にハッシュが必要になってしまいます。

・・・まてよハッシュ？
SHA512の出力を、そのまま内部状態の初期化に使えば良いんじゃないだろうか？

ただし、MTは、もっとも内部状態がすくないもので、521ビットの内部状態を持ちます。

・・・むむ、9ビット足りない。なんかすっきりしないなー。

そんなもやもやを抱えてWebを放浪していたところ、WELLにたどり着きました。

WELLとは？

MTの開発者も関わっているMTより新しいアルゴリズム
MTより少し計算コストがかかる
MTより乱数の品質（高次の均等分布や零超過状態の回復）がより良い。
サポートしている内部状態は512～444972ビット

・・・512ビット！ちょうどSHA512で初期化できるぞ！

ということで、WELL512＋SHA512でシャッフルすることにしました。

でも、バベルみたいにデッキが250枚くらいになると、512ビットでも不足するんですね。
そこまで考慮すると、WELL1024 + SHA512×2になりますね。でも、これはちょっと美しくない感じがするので、バベルは無視することにしました！まぁ人間のシャッフルよりはずっと良いですしね！

読解練習：Google App Engine Python SDK Release Notes 1.7.3

2012-10-30T12:34:00.005+09:00

GAE/P SDKのリリースノート1.7.3が出てますね。
まだ、1.7.2が翻訳しきれていないのですが、公開します。
例によって訳の正確性は保証できません。

今回は、SearchAPIまわりの整理が多いですね。
後は、Django 1.4 が Pytho2.7でフルサポートされたのが大きめのところですかね。

────────────────────────────

Version 1.7.3 - October 23, 2012

Django 1.4 is now supported in Python 2.7
Django 1.4 が Pytho2.7でサポートされました。
The file-based implementation of the Datastore stub will be deprecated soon. A warning message informing users that SQLLite stub will be the default stub soon is now displayed.
Datastoreのスタブのファイルベースの実装はもうすぐ非推奨になる予定です。もうすぐSQLLiteのスタブがデフォルトになる旨が、警告メッセージで表示されるようになっています。
Datastore Index stats now report type instead of representation-type.
DatastoreのIndexの統計情報は、表現形での型ではなく、型そのものをレポートするようになりました。
Rich sort expressions beyond single field names are now supported in the Search API for dev_appserver.
単一フィールドだけでないリッチなソート条件が、dev_appserverのSearchAPIでサポートされました。
search.MIN_NUMBER_VALUE and search.MAX_NUMBER_VALUE are now public in the Search API.
search.MIN_NUMBER_VALUE と search.MAX_NUMBER_VALUEが、Search APIで公式にサポートされました。
Globally Consistent Indexes are now deprecated in the Search API.
search.list_indexes() has been deprecated and replaced with search.get_indexes() in the Search API.
search.list_indexes（）は非推奨となり、SearchAPIのsearch.get_indexes（）に置き換えられました。
Index.list_documents() has been deprecated and replaced with Index.get_range() in the Search API.
Index.list_documents（）がSearchAPIで非推奨となっており、Index.get_range（）に置き換えられました。
Added method Index.get(doc_id) to get a document by its ID in the Search API
ドキュメントをそのIDで取得するためのIndex.get(doc_id)メソッドがSearchAPIに加えられました。
Index.add() has been deprecated and renamed to Index.put() in the Search API.
SearchAPIのIndex.add（）は非推奨となり、Index.put()に改名されました。
Index.remove() has been deprecated and renamed to Index.delete() in the Search API.
SearchAPIのIndex.remove()は非推奨となり、Index.delete()に改名されました。
The AddDocumentError and RemoveDocumentError classes, which were already deprecated, have been removed from the Search API.
非推奨となっていたAddDocumentErrorとRemoveDocumentErrorクラスは、SearchAPIから削除されました。
OperationCode.object_id and OperationCode.document_id, which were already deprecated, have been removed from the Search API.
非推奨となっていたOperationCode.object_idとOperationCode.document_idクラスは、SearchAPIから削除されました。
Users can now change authentication options after app creation
アプリを作成した後に認証オプションを変更することができるようになりました。
- http://code.google.com/p/googleappengine/issues/detail?id=483
Fixed an issue with Datastore backup/restore finalization steps only looking at the default queue in Admin Console.
バックアップ/リストアの最終ステップでのみAdminConsoleのデフォルトキューを見ていた問題を修正しました。
Fixed an NDB issue with Structured Properties not converting dict properly.
Structuredプロパティが辞書プロパティにコンバートされていなかったNDBの問題を修正しました。
- http://code.google.com/p/appengine-ndb-experiment/issues/detail id=207
Fixed an NDB issue where multiple async transactions corrupt old Datastore connections.
複数の非同期トランザクションが、古いデータストア接続を壊していたNDBの問題を修正しました
- http://code.google.com/p/appengine-ndb-experiment/issues/detail id=209
Fixed an NDB issue with fetch() with offset > 1000 returning an empty list.
offsetが1000を超えるfetch()が空のリストを返していたNDBの問題を修正しました。
- http://code.google.com/p/appengine-ndb-experiment/issues/detail id=210
Fixed an issue with 2 factor authentication not giving useful error messages.
ファクタ認証が有用なエラーメッセージを与えていない問題を修正しました。
- http://code.google.com/p/googleappengine/issues/detail?id=8020
Fixed an issue in the Search API snippeting breaking if the field contains a single word in dev_appserver.
dev_appserverでフィールドが単一のワードを含むときにSearchAPIのスニペットが壊れていた問題を修正しました。
- http://code.google.com/p/googleappengine/issues/detail?id=8171
Fixed an issue with PyCrypto AES cipher not running on dev_appserver.
PyCrypto AES暗号がdev_appserver上で実行されていない問題を修正しました。
- http://code.google.com/p/googleappengine/issues/detail?id=8188

読解練習：Google App Engine Python SDK Release Notes 1.7.2

2012-10-12T00:34:00.001+09:00

GAE/P SDKのリリースノート1.7.2が出てますね。
分量が多くて訳しきれていませんが、公開します（随時更新していきます）。
例によって訳の正確性は保証できません。

今回も、細かい修正が多い感じですね。

────────────────────────────

Version 1.7.2 - September 18, 2012

Paid applications can now upload Static files and Code > 1GB. Additional storage will be billed at $0.13/GB per month. Free applications will continue to be provided 1GB of storage at no charge. Free quota will apply per application.
課金を有効にしているアプリケーションでは、1GB以上の静的ファイルとコードをアップロードできるようになりました。追加のストレージは、月額$0.13/GBで請求されます。無料のアプリケーションは無償で1GBのストレージを提供し続けます。無料クォータは、アプリケーションごとに適用されます。
PyCrypto 2.6 is now a GA feature for Python 2.7
PyCrypto 2.6はPython2.7のGoogleAppengineのfeatureです。
The Conversion API will be decommissioned soon. Developers using this API will receive a warning message. Please find an alternative document conversion/OCR service.
Conversion APIは、まもなく廃止になります。このAPIを使用する開発者は、警告メッセージが表示されます。代替の文書変換/ OCRのサービスを見つけてください。
You can now fetch Task Queue Statistics. This allows you to fetch statistics and information about your task queue from within your application. Statistics include information such as the number of tasks in a queue, how many tasks were executed in the last minute and enforced rate. This is an experimental feature.
タスクキューの統計情報を取得できるようになりました。これにより、アプリケーションから、タスクキューの統計情報を取得できます。この情報には、キューの数、1分間で実行されたタスク、実行疎度についての情報、などが含まれます。
Added Timezone selection widget in Admin Console Admin Logs.
アドミンコンソールで、ログについてのタイムゾーンを選べるようになりました。
Added a warning message about caching when modifying or deleting datastore entities.
データストアのエンティティの削除や更新の際のキャッシングについての警告メッセージが加わりました（？）
Added a flush cache button to dev_appserver and Admin Console.
キャッシュの初期化のボタンがdev_appserver とアドミンコンソールに加わりました。
Attempting to update multiple entity groups in a single transaction in Datastore now throws an error suggesting to use XG transactions.
データストア内の単一のトランザクションで複数のエンティティグループを更新しようとすると、XGのトランザクションを使用するように示唆しているエラーを投げるようになりました。
Search API now has a string maximum length limit of 2000 characters.
Search API の最大長が 2000文字になりました。
We now allow a user with multiple google accounts the ability to create an app if they are an SMS verified user.
複数アカウントを持つユーザに対して、それらがSMSによって確認されたユーザであれば、アプリケーションを作成することを許可するようにしました。
- http://code.google.com/p/googleappengine/issues/detail?id=1419
A more useful error message now displays when a deployment fails due to local date/time settings being improperly set.
不適切に設定されたローカルの日時が原因のデプロイメントの失敗の際に、より有益なメッセージを表示するようにしました。
- http://code.google.com/p/googleappengine/issues/detail?id=2033
Cron Descriptions may now include non-ASCII characters.
Cronの表題に非アスキー文字を利用できるようになりました。
- http://code.google.com/p/googleappengine/issues/detail?id=2641
App Config Service Delete App Version Call Count quota raised to 10,000/day.
App Config Service Delete App Version Call Countのクォータが10,000/日に引き上げられました。
- http://code.google.com/p/googleappengine/issues/detail?id=2808
Queries with transactions are now supported in Remote API.
トランザクションを伴ったクエリがRemoteAPIでサポートされるようになりました。
- http://code.google.com/p/googleappengine/issues/detail?id=3643
There are now more descriptive error messages for Datastore Admin deadline exceeded errors in stack trace.
Detastore Adminのスタックとレースに収まらないエラーがわかりやすく表示されるようになりました。
- http://code.google.com/p/googleappengine/issues/detail?id=5413
Replaced error code “Administrators cannot be removed right now” with a more descriptive message.
エラーコード“Administrators cannot be removed right now”（管理者は、たった今削除することができません）は、よりわかりやすいメッセージに置き換えられました。
- http://code.google.com/p/googleappengine/issues/detail?id=7080
Fixed an issue with namespace dropdown in Admin Console appearing blank even though the URL specified namespace is correct.
URLに指定された名前空間が正しくても、Admin Console にブランクのドロップダウンが表示されてしまう問題を修正しました。
Fixed an issue where Model.get_by_id() returns none in dev_appserver whereas this is not allowed in production.
ev_appserverでModel.get_by_id()がdNoneを返していた問題（本番環境ではNoneは返しません）を修正しました。
Fixed an issue with dev_appserver app_identity.get_default_version_hostname()
dev_appserverのapp_identity.get_default_version_hostname()の問題を修正しました。
Fixed an issue with mail service sendToAdmins() failing when using multi-arg message constructor.
メールサービスのsendToAdmins()で複数の値のメッセージのコンストラクタを使用すると失敗する問題を修正しました。
Fixed an issue with dev_appserver for mimetypes.guess_type()
dev_appserverのmimetypes.guess_type()の問題を修正しました。
Fixed an issue with runtime failing to use scope with OAuth under certain conditions.
Fixed an issue with AppConfigNotFound error.
- http://code.google.com/p/googleappengine/issues/detail?id=686
Fixed an issue with static path with + in dev_appserver.
- http://code.google.com/p/googleappengine/issues/detail?id=888
Fixed an issue with support for models with large numbers of properties in Admin Console Dataviewer where previously the page would fail to render.
- http://code.google.com/p/googleappengine/issues/detail?id=937
Fixed an issue with Datastore viewer strftime not showing valid values before 1900.
- http://code.google.com/p/googleappengine/issues/detail?id=1086
Fixed an issue with multi-line string property not editing correctly in Dataviewer.
- http://code.google.com/p/googleappengine/issues/detail?id=1725
Fixed an issue with URLFetch mimetools.Message parsing incorrectly.
- http://code.google.com/p/googleappengine/issues/detail?id=2011
Fixed an issue with the behavior of Expires header in dev_appserver
- http://code.google.com/p/googleappengine/issues/detail?id=2106
Fixed an issue with Content-Disposition header being removed if filename contains utf-8 characters.
- http://code.google.com/p/googleappengine/issues/detail?id=2212
Fixed an issue with incoming Mail API where encoded headers failed to decode.
- http://code.google.com/p/googleappengine/issues/detail?id=2288
Fixed an issue with non-ascii text displaying incorrect values when posted by URL created by blobstore.create_upload_url()
- http://code.google.com/p/googleappengine/issues/detail?id=2749
Fixed an issue with using sendmail in Mail API.
- http://code.google.com/p/googleappengine/issues/detail?id=3106
Fixed an issue with appcfg.py cron_info giving the wrong timezone information.
- http://code.google.com/p/googleappengine/issues/detail?id=3307
Fixed an issue with Paging link in Datastore viewer not working with # or &
- http://code.google.com/p/googleappengine/issues/detail?id=3591
Fixed an issue with rounding errors in crop image transform on dev_appserver.
- http://code.google.com/p/googleappengine/issues/detail?id=3647
Fixed an issue with TypeError being incorrectly raised when attachment has Character Set and Language Information.
- http://code.google.com/p/googleappengine/issues/detail?id=3836
Fixed an issue with rounding errors in crop image transform on dev_appserver.Fixed an issue with Mail API attachments in unicode failing in_check_attachments()
- http://code.google.com/p/googleappengine/issues/detail?id=3900
Fixed an issue with rounding errors in crop image transform on dev_appserver.Fixed an issue with ereporter not reporting errors when applications use namespaces.
- http://code.google.com/p/googleappengine/issues/detail?id=4212
Fixed an issue with rounding errors in crop image transform on dev_appserver.Fixed an issue with Dataviewer GQL stripping new lines after initial run and a user paginates results.
- http://code.google.com/p/googleappengine/issues/detail?id=4246
Fixed an issue with rounding errors in crop image transform on dev_appserver.Fixed an issue with Python Unicode prefix in Datastore viewer.
- http://code.google.com/p/googleappengine/issues/detail?id=4275
Fixed an issue with rounding errors in crop image transform on dev_appserver.Fixed an issue with get_serving_url for images giving non-cacheable URLs in dev_appserver.
- http://code.google.com/p/googleappengine/issues/detail?id=4402
Fixed an issue with rounding errors in crop image transform on dev_appserver.Fixed an issue with fancy_urllib using squid proxy server with authentication.
- http://code.google.com/p/googleappengine/issues/detail?id=4849
Fixed an issue with rounding errors in crop image transform on dev_appserver.Fixed an issue with custom admin page not displaying when restricted to only admins.
- http://code.google.com/p/googleappengine/issues/detail?id=5117
Fixed an issue with rounding errors in crop image transform on dev_appserver.Fixed an issue with dev_appserver_import_hook.py handling Crypto import accounts.
- http://code.google.com/p/googleappengine/issues/detail?id=4612
Fixed an issue with rounding errors in crop image transform on dev_appserver.Fixed an issue with Remote API gzip compression for transmitted data.
- http://code.google.com/p/googleappengine/issues/detail?id=5298
Fixed an issue with rounding errors in crop image transform on dev_appserver.Fixed an issue with remote API shell not having pwd in Python Path.
- http://code.google.com/p/googleappengine/issues/detail?id=5317
Fixed an issue with rounding errors in crop image transform on dev_appserver.Fixed an issue with Admin Console Logs < 30 minutes not being available.
- http://code.google.com/p/googleappengine/issues/detail?id=5494
Fixed an issue with rounding errors in crop image transform on dev_appserver.Fixed an issue with Apps that are using Mail API reporting “No Provider for address type rfc822” error.
- http://code.google.com/p/googleappengine/issues/detail?id=5769
Fixed an issue with rounding errors in crop image transform on dev_appserver.Fixed an issue with concurrent write access to Datastore stubs.
- http://code.google.com/p/googleappengine/issues/detail?id=6058
Fixed an issue with rounding errors in crop image transform on dev_appserver.Fixed an issue with Viewers being able to prohibit code downloads.
- http://code.google.com/p/googleappengine/issues/detail?id=6255
Fixed an issue with rounding errors in crop image transform on dev_appserver.Fixed an issue with billing applications that are disabled.
- http://code.google.com/p/googleappengine/issues/detail?id=6344
Fixed an issue with rounding errors in crop image transform on dev_appserver.Fixed an issue with deploying to an existing version when an app has 10 versions.
- http://code.google.com/p/googleappengine/issues/detail?id=6803
Fixed an issue with rounding errors in crop image transform on dev_appserver.Fixed an issue with bulkloader “model” class not uploading correctly.
- http://code.google.com/p/googleappengine/issues/detail?id=6907
Fixed an issue with rounding errors in crop image transform on dev_appserver.Fixed an issue with TextProperty in Datastore viewer.
- http://code.google.com/p/googleappengine/issues/detail?id=6997
Fixed an issue with rounding errors in crop image transform on dev_appserver.Fixed an issue with appcfg.py request_logs failing with ~oauth2
- http://code.google.com/p/googleappengine/issues/detail?id=7011
Fixed an issue with rounding errors in crop image transform on dev_appserver.Fixed an issue with editing a bytestring field in Datastore viewer.
- http://code.google.com/p/googleappengine/issues/detail?id=7046
Fixed an issue with rounding errors in crop image transform on dev_appserver.Fixed an issue with dev_appserver clearing after restart. This is a Windows only bug.
- http://code.google.com/p/googleappengine/issues/detail?id=7244
Fixed an issue with rounding errors in crop image transform on dev_appserver.Fixed an issue with Cron schedule failing on 1st day of month.
- http://code.google.com/p/googleappengine/issues/detail?id=7286
Fixed an issue with rounding errors in crop image transform on dev_appserver.Fixed an issue with gzip compression for application/plist content type.
- http://code.google.com/p/googleappengine/issues/detail?id=7641
Fixed an issue with rounding errors in crop image transform on dev_appserver.Fixed an issue with datetime.datetime.fromtimestamp() in python 2.7
- http://code.google.com/p/googleappengine/issues/detail?id=7819
Fixed an issue with rounding errors in crop image transform on dev_appserver.A note about an upcoming change: starting with the 1.7.3 release of App Engine, data statistics will report statistics on propertytype usage by indexes using the documented property type names ("Integer", "Key", etc, see https://developers.google.com/appengine/docs/python/datastore/stats) rather than the current property representation names ("INT64", "REFERENCE", etc, see http://goo.gl/db5dT). This will affect the Stat_PropertyType, Stat_PropertyType_Kind, Stat_PropertyType_PropertyName_Kind and their per-namespace equivalents. This will also affect the displayed "Breakdown by Property Type" under the "Datastore Statistics" in your application's console.

読解練習：Google App Engine Python SDK Release Notes 1.7.1

2012-08-30T13:03:00.000+09:00

GAE/P SDKのリリースノート1.7.1が出てますね。
日本語に訳してみました。例によって訳の正確性は保証できません。

今回は、細かい修正が多い感じですね。
Googleさんも夏休みモードで、大きい修正はやらなかったのかな？

────────────────────────────

Version 1.7.1 - August 21, 2012

The URLFetch API now supports multiple cookie headers.
URLフェッチAPIは、複数のクッキーヘッダをサポートするようになりました。
- http://code.google.com/p/googleappengine/issues/detail?id=3379
You can download 90 days worth of Usage Reports for your application from the Billing History page of the Admin Console.
アドミンコンソール画面のBilling Historyページから、90日間分の利用状況レポートをダウンロードできるようになりました。
Task Queue requests now include an X-AppEngine-TaskExecutionCount that counts the number of times a task was run by an instance.
タスクキューリクエストには X-AppEngine-TaskExecutionCountが含まれるようになりました。これは、一つのインスタンスで実行されたタスクの数をカウントしています。
Added support for multiple files to be deleted using the Files API.
ファイルAPIが、複数ファイルの削除をサポートするようになりました。
Added support to delete files from Google Cloud Storage using the Files API.
ファイルAPIが、Google Cloud Storageのファイル削除をサポートするようになりました。
Added a REQUEST_LOG_ID to be written in the logs and as an environment variable. This can be used to later identifying that request in the application logs.
ログおよび環境変数へ書き込む為に、REQUEST_LOG_IDが加わりました。これにより後からアプリケーションログでリクエストを特定することが出来るようになります。
The Memcache Viewer now supports namespaces.
Memcacheビューアがnamespaceをサポートするようになりました。
- http://code.google.com/p/googleappengine/issues/detail?id=7245
The Mail API now supports the following headers for outgoing mail: List-Id, List-Unsubscribe, On-Behalf-Of, Resent-Date, Resent-From, Resent-To.
メールAPIは、外部へのメールのヘッダとして、以下をサポートするようになりました。List-ID, List-Unsubscribe, On-Behalf-Of, Resent-Data, Resent-From, Resent-To.
- http://code.google.com/p/googleappengine/issues/detail?id=2559
- http://code.google.com/p/googleappengine/issues/detail?id=7672
PyCrypto 2.6. is now supported in the Python 2.7 runtime.
Python2.7ランタイム環境で、PyCrypto 2.6がサポートされるようになりました。
- http://code.google.com/p/googleappengine/issues/detail?id=7884
NDB now throws a BadProjectionError when trying to perform a projection query on an unknown or unindexed property.
NDBモジュールは、未知もしくはインデックスされていないプロパティへの投影クエリが実行された際に、BadProjectionError例外を投げるようになりました。
NDB Tasklets use the namespace from when it was called, not the namespace from when it is performed.
NDB Tasklets は実行時ではなく呼び出された際のnamespaceを使います。
- http://code.google.com/p/appengine-ndb-experiment/issues/detail?id=190
NDB Properties' string representation size is limited to the max string length for Blob and Text properties.
NDBのプロパティの文字列表現サイズは、BlobやTextプロパティの最大長に制限されるようになりました。
Appstats provides an interactive shell for observing RPC behavior of calls immediately.
Appstats はRPC呼び出しの動作を直ちに観察するためのインタラクティブシェルを提供するようになりました。
Appstats now contains information about the cost of the RPCs made during the request.
Appstatsは、リクエスト毎のRPCのコストの情報も見られるようになりました。
The Images API now supports specifying the default pixel color to fill in for image types that don't support transparent images, such as JPEG.

Image APIは、JPEGのように透過色を指定できない画像に埋め込みできるように、デフォルト色の指定が出来るようになりました。
We've added full asynchronous API support in the Images API.
画像APIは、完全な非同期APIをサポートするようになりました！
Added an error to the Images API to indicate when a blob being referenced is not found or not accessible.
ImageAPIに、参照先のblobが見つからなかったりアクセスできなかったことを示すためのエラーを加えました。
Made the Python search limits public in the Search API.
Search APIにおける検索の制限が公開されました。
Added namespace support for the Search API in the Python SDK.
Search APIのnamespaceがPython SDKでサポートされるようになりました。
- http://code.google.com/p/googleappengine/issues/detail?id=7670
Added support in the Search API for simple sorting in the SDK.
Search APIのシンプルなソートがPython SDKでサポートされるようになりました。
- http://code.google.com/p/googleappengine/issues/detail?id=7456
The Testbed testing framework now supports the Logservice API.
テストフレームワークのTestbedがLogservice APIをサポートするようになりました。
Added support in the Files API to list Google Cloud Storage files.
Files APIでGoogle Cloud Storageのファイルのリストがサポートされるようになりました。
Improve the MapReduce File API Reader to support multiple files and file formats.
MapReduceFileAPIを改善し、複数ファイル・複数フォーマットをサポートさせています。
Fixed an issue with the App Engine satisfaction survey in the Admin Console which was released in 1.6.6, which will be re-enabled in this release.
1.6.6でリリースされたAdmin Consoleの満足度調査の問題が修正されました。今回のリリースで再び有効になります。
Fixed an issue with Search API websafe cursors not being returned as a websafe value.
Search APIのウェブカーソルがウェブセーフな値を返さないという問題が修正されました。
Fixed an issue where SearchRequest was returning errors that weren't available as search.Error subclasses.
SearchRequestが返しているエラーが、search.Errorのサブクラスとして利用できなかった問題を修正しました。
Fixed an NDB issue where entities over 1000000 bytes where written to memcache, causing failure.
NDBの問題（1Mbyteを超えるエンティティがmemcacheに書き込めないことに起因する障害）が修正されました。
- http://code.google.com/p/appengine-ndb-experiment/issues/detail?id=193
Fixed NDB AutoBatcher error handling.
NDBのAutoBatcherのエラーハンドリングを修正しました。
- http://code.google.com/p/appengine-ndb-experiment/issues/detail?id=196
Fixed an issue where Appstats assuming all objects have a class attribute resulted in an error.
すべてのオブジェクトがclass属性を持っていると想定してしまっていたことでエラーが発生してしまう問題を修正しました。
- http://code.google.com/p/googleappengine/issues/detail?id=5668
Fixed an issue where there was unbalanced string quoting in Appstats formatting.
Appstatsの書式で文字列のクォーティングにアンバランスがあった問題が修正されました。
- http://code.google.com/p/googleappengine/issues/detail?id=5976
Fixed an issue where search indexes were not persisted in the SDK.
検索のインデックスがSDKで永続的でなかった問題を修正しました。
- http://code.google.com/p/googleappengine/issues/detail?id=6791
Fixed an issue where an error in formatter.py in Appstats was being thrown.
Appstatsのformatter.pyがエラーが投げられていた問題を修正しました。
http://code.google.com/p/googleappengine/issues/detail?id=7034
Fixed an issue in the SDK where the Search API did not support boolean queries on a field.
Search APIがfield上の論理クエリーをサポートできていなかったSDKの問題を修正しました。
- http://code.google.com/p/googleappengine/issues/detail?id=7247
Fixed an issue where numeric and date comparators were not supported in the Search API in the Python SDK.

数値や日付の比較がSDKのSearch APIでサポートされていなかった問題を修正しました。
- http://code.google.com/p/googleappengine/issues/detail?id=7247
Fixed an issue where Appstats didn't show a detailed view of an RPC when using the Python 2.7 runtime.
Python2.7ランタイムを使用している際にAppstatsでRPCの詳細ビューが表示されないという問題を修正しました。
- http://code.google.com/p/googleappengine/issues/detail?id=7558
Fixed a search issue where snippets failed to highlight when a capital letter is used in a search term.
検索語に大文字が含まれていた場合にスニペットのハイライトに失敗するという問題を修正しました。
- http://code.google.com/p/googleappengine/issues/detail?id=7665
Fixed an issue where the SDK Admin tool couldn't browse search indexes containing unicode characters.

SDKのAdminツールで、Unicode文字列を含む検索インデックスを参照できないという問題を修正しました。
- http://code.google.com/p/googleappengine/issues/detail?id=7791
Fixed an issue where traffic splitting by cookie was not working.
クッキーによるトラフィック分割が働いていなかった問題を、
- http://code.google.com/p/googleappengine/issues/detail?id=7813
Fixed an issue where RequestTooLargeError was being incorrectly thrown using Python 2.7.
RequestTooLargeErrorがPython2.7で誤って投げられていた問題を修正しました。
- http://code.google.com/p/googleappengine/issues/detail?id=7820
Fixed a memcache race condition.
memcache の競合状態を修正しました。
- http://code.google.com/p/googleappengine/issues/detail?id=7864
Fixed a Search issue in the SDK where a query that does not match all search terms resulted in divide-by-zero.
SDKの検索の問題（0除算エラーでクエリーのすべての検索語がマッチしていなかった）
- http://code.google.com/p/googleappengine/issues/detail?id=7943

アイコン解決

2012-08-11T18:26:00.002+09:00

アイコン自作するの面倒になったので、再配布可能なアイコンを探して、利用することにしました。

再配布可能なアイコンは、たいていクレジットの表記が必須なのですが、具体的にどう表記すれば良いかを明記している人はほとんどいないような？たぶんホームページへのリンクを付ければよいのでしょうが、正直使いづらい。

そんな中で、ちゃんとクレジットの表記例を載せていて、かつ、アイコンもいっぱいあるのを発見。

Footerにリンク入れれば再配布OK。お金を払ってクレジット表記を消す方法も明記されているので、いろいろ便利。とりあえずこれを使用させていただくことに決定。

後は、CSSを直せば公開できますね！

今は sphinxjp.themes.bizstyle を適当にカスタマイズしたのを使っているのですが、もうちょっと変えたいんですよね。

bizstyle は、スタイルを工夫してどんな色でもだいたい大丈夫にしていて凄いと思います。
でも、個人的には中間色を使って、もう少し表現力を上げたい。

そこで、中間色を生成するJinja2のフィルタを作ってSphinxで使いたいのですが・・・。
軽くググった感じでは、Sphinxで使っているJinja2のEnviromentへのアクセス方法がイマイチわからない・・・。orz。

カスタムフィルタを追加すると、Jinja2の表現力ってかなり上がるとおもうんですけれど、
Sphinxでチャレンジしている人はあんまりいないみたいですね。

仕方が無いので軽くソースを追ってみました。
フィルタの追加は、そんなに難しくなさそうなので、今度チャレンジしてみます！

近況の記録：アイコンめー！

2012-07-12T12:55:00.000+09:00

MTG-Guildの開発をサボって、Sphinxのテーマいじりをしています。
仕事の効率化になる上に、趣味も兼ねているので、こっちのほうが自然と進みます。

職場の環境がIEメインなのですが、各所でdisられているIEも、Sphinxを使う分にはかなり良いですね。IEだとセキュリティ的に悪名高いVBSが使えます。この悪魔の言語を使うことで、htmlからファイルを直接いじったりbatファイルを起動できたりします。つまり、Sphinxをwikiっぽく使えます。

これは便利なのでぜひ広めよう、と思い
外部に公開する準備をしてきました。

以前は、一つのリポジトリで、実ドキュメントを作りながら、自作の拡張テーマも管理していました。この方が一人で作業する分には簡単で良いのですが、他の人と協調したり、拡張テーマを公開するには向かない管理方法です。

そこで、自作の拡張テーマと業務情報を含まないサンプル例からなるリポジトリを用意して、
業務情報を含んだドキュメントの作成と分離させるようにしました。こうすれば、ドキュメントの作成と並行してテーマを育てられるので、ドキュメント作成は職場で行い、テーマは自宅で、といった住み分けも出来ます。

準備が出来てきたので、公開してフィードバックをもらうようにしようかな、と思っていました。
しかし、意外なところで躓きました。

「アイコンって、原作者のクレジット表記が必要なんじゃね？」

IconFinderとかで、見つけたアイコンをホイホイとテンプレートに取り込んでいたのですが、
良く調べなおすと、クレジット表記が必須だったり、再配布を禁止していたり、編集を禁止していたり。

アイコンを使わない、という選択肢も無いわけではないのですが、アイコンを使うと省スペースになって、領域を広く使えるので、出来れば使いたいんですよね・・・。（ページのデザインとかやったことなかったので理解していなかったのですが、アイコンの力って偉大ですね）

とりあえずテーマとして必要なのは、
編集・参照・？マーク・リフレッシュ・エクスプローラーのフォルダ階層っぽいやつ、ウィンドウ拡大で６つ。

んーこれくらいなら、自作しちゃったほうが後腐れが無くていいかな？
都合の良い素材がどこかに転がっていれば、それが一番ですが、探すより作ってみたほうが速いかも。

読解練習：Google App Engine Python SDK Release Notes 1.7.0

2012-06-29T17:27:00.000+09:00

GAE/P SDKのリリースノート1.7.0が出てますね。
日本語に訳してみました。例によって訳の正確性は保証できません。

先月お披露目になったSearchAPI関連や、Googleのサービスとの連携関連が多いですね。
（差別化を狙っているんでしょうけれど、みんなついていけているのかな？）

あと、NDBの修正も多いのが気になりました。（Guido頑張り過ぎじゃないの？）

────────────────────────────

Version 1.7.0 - June 26, 2012

You can now configure your custom domain to serve HTTPS requests with App Engine. You can choose either an SNI, VIP, or SNI and VIP configuration. SNI costs $9/month for 5 certificates. A VIP costs $99/month.
App EngineでのHTTPS要求を処理するために、カスタムドメインを設定することが出来るようになりました。SNI or VIP or SNI + VIP の構成を選択することができます。SNIは5証明書で 9$/月かかります。 VIPは、99$/月です。
- https://developers.google.com/appengine/docs/ssl
Premier customers now have the option to create applications to be served from datacenters located in the European Union.
プレミア顧客は、アプリケーションを作成するオプションで、欧州連合（EU）に位置するデータセンターを利用できるようになりました。
Developers can configure their HRD app to use Google's PageSpeed Service, which automatically speeds up serving of content for your application. The PageSpeed Service costs $0.39/gigabyte in addition to the normal App Engine bandwidth charges.
HRDアプリケーションに対して、Google's PageSpeed サービス（＝自動的にアプリケーションのコンテンツの提供をスピードアップするサービスです）を利用できるようになりました。PageSpeedサービスは、通常のApp Engineの帯域幅の費用に加えて0.39$/GB がかかります。
- https://developers.google.com/appengine/docs/adminconsole/performancesettings#pagespeed
The Search API now contains support for storing and searching on GeoPoints.
Serarch API は GeoPoints の保存と検索をサポートするようになりました。
The total size of all application versions is now limited to 1 GB. In the future, you'll be able to purchase additional storage for your application code.
すべてのアプリケーションのバージョンの合計サイズは、1ギガバイトに制限されるようになりました。将来的には、アプリケーションコードの為に追加のストレージを購入できるようになります。
Logs API calls are now $.12/gigabyte for all data read from the Logs API over the first 100MB.
無料枠の100 MBを超えるログAPIによるデータ読み込みは、0.12$/GBかかるようになりました。
You can now specify a time frame of up to 1 year for the retention of your application logs. All storage above 1 GB is billed based on the prices for logs storage.
アプリケーションログの保持期間を1年間まで指定できるようになりました。 1ギガバイト以上のすべてのストレージはログストレージの価格に基づいて請求されます。
You can now specify HTTP headers on static content for your application.
静的コンテンツのHTTPヘッダを指定することが出来るようになりました。
The HRD Blob Migration tool is now generally available.
HRD Blob 移行ツールは、一般に利用できるようになりました。
After using the datastore backup utility, you can now restore that backup to a new app id.
データストアのバックアップユーティリティを使用した後は、新しいアプリケーションIDにそのバックアップを復元することができるようになりました。
It will not be possible to create new authorizations for M/S applications to access Cloud SQL instances.
Master/SlaveアプリケーションからCloud SQL インスタンスへのアクセス権限を新しく作ることは出来なくなりました。
You can now delete a Google Cloud Storage object using blobstore.delete().
blobstore.delete(）を使用してGoogle Cloud Storageオブジェクトを削除することができるようになりました。
You can now fetch a Google Cloud Storage object using blobstore.fetch().
blobstore.fetch(）を使用してGoogle Cloud Storageオブジェクトをフェッチすることができるようになりました。
You can now store keys for a Google Cloud Storage object in the datastore.
Google Cloud Storageオブジェクトへのキーをデータストアに保存できるようになりました。
The create_upload_url call now works for Google Cloud Storage objects.
create_upload_urlコールは、Google Cloud Storageオブジェクトに対して機能するようになりました。
You can now use get_serving_url() and delete_serving_url() for Google Cloud Storage buckets.
Google Cloud Storageバケットに対して、get_serving_url()とdelete_serving_url()を使えるようになりました。
Projection queries are now supported in NDB.
投影クエリがNDBでサポートされるようになりました。
In NDB, app and namespace are now keyword arguments to get_by_id().
NDBのget_by_id()のキーワード引数に、アプリケーションと名前空間が加わりました。
Context().call_on_commit() added to NDB for adding a callback to be executed upon successful commit of a transaction.
Context().call_on_commit()がNDBに加わりました。これは、トランザクションが成功した際に実行されるコールバックを追加するためのものです。
NDB Context.memcache_* ops now accept unicode.
NDBのContext.memcache_* オプションは、unicodeを受け付けるようになりました。
NDB has added support for storing protorpc.Message objects.
NDB は protorpc.Message objectsの格納もサポートするようになりました。
Improved error messaging for multiple repeated=True levels with StructuredProperty in NDB.
NDBのStructuredPropertyで multiple repeated=True levelのエラーメッセージを改善しました。
PyAMF is now fully launched.
PyAMFが完全に動作するようになりました。
We've increased various Search API limits. New limits are a maximum of 1000 documents returned from search() or list_documents(),a maximum of 1000 indexes returned from list_indexes(),and a maximum offset of 1000 for search() or list_indexes()
Seaarch APIにさ制約を３つ加えました。search() or list_documents()の戻りは、1000個のドキュメントが最大です。list_indexes()の戻りは、1000個のインデックスが最大です。search() or list_indexes()のオフセットの最大は1000です。
Fixed an issue where the Search API did not enforce limits on NumberFields.
Search APIで、NumberFieldsの制約が強制されていなかった問題を修正しました。
Fixed an issue in the SDK where SortExpression did not enforce the presence of a default_value set when required.
デフォルト値の設定が要求された場合にSortExpressionが強制されていなかったSDKの問題を修正しました。
Fixed an issue where lxml did not support unicode parsing.
lxmlがユニコードのパースをサポートしていなかった問題を修正しました。
- http://code.google.com/p/googleappengine/issues/detail?id=7158
http://code.google.com/p/googleappengine/issues/detail?id=7158
Admin Consoleのjavascriptの構文エラーを修正しました。
- http://code.google.com/p/googleappengine/issues/detail?id=7566
Fixed an issue in SDK admin viewer where a TemplateDoesNotExist error was thrown when clicking on any Full-Text Search index.
Full-Text Searchのインデックスをクリックした際に TemplateDoesNotExistエラーが投げられていたSDKの管理者ビューアの問題を修正しました。
- http://code.google.com/p/googleappengine/issues/detail?id=7598
Fixed an issue in the Search API tab of the Admin Console where it threw an error displaying non-ascii characters.
Admin ConsoleのSearch APIタブで非アスキー文字列を表示させる際のエラーを修正しました。
- http://code.google.com/p/googleappengine/issues/detail?id=7601

Sphinxのファイルの拡張子とか

2012-06-15T12:56:00.004+09:00

うーん。Sphinxのファイルの拡張子って、.rstと.txtのどっちが良いんだろう？
Sphinxを仕事で使うようになって、いろいろモヤモヤとしてきたので、整理してみます。

txtの良い点

デフォルト設定のままでエディタが起動する
新規作成が少し楽。右クリック→新規作成→テキストドキュメント
既存のメモ書きを移行しやすい

rstの良い点

エディタの設定をtxtファイルを分けられる
ブラウザからソースファイルを開くとき、エディタが起動する
.. include:: するドキュメントの拡張子を.txtにできる

txtは、導入コストが低いのが利点で、rstは、よりヘビーに使うときに良い。

いろいろ迷いながら、今のところはtxtで作成中。
本当はrstにしたいけれど、誰かに引き継ぐときのことを想像すると、txtになっちゃうんですよね・・・。

ついでに、Sphinx関連の自分タスクを洗い出し。

既存のドキュメントのヘッダを、StleGide に合わせる
conf.pyの標準化
なるべく内部の記述を変えずに色々なドキュメントで使えるconf.pyを作る
- 中間色をconf.pyで自動算出させて、テーマ変数を上書き
- ドキュメント名や作成者名をどこかで１度定義するだけで、htmlhelpも修正されるようにする
- ドキュメントの格納元がローカルドライブかネットワークドライブなのかで、テーマ変数を調整する
テーマの修正

BizStyleでサイドバー固定、サイドバー幅のテーマ変数化 →完了
BizStyleと修正部分の分離
htmlから直接ソースファイルを開けるようにする → IEのみ完了。他はそのうち。
make htmlhelp対応
IE7でサイドバーの表示が少しおかしいのを直す

ドキュメントのプロトタイプの作成（業務情報を削除し、他でも使えるドキュメントを作る）

プロトタイプの作成
作成したプロトタイプの公開

やれることはいっぱいあるなぁ・・・。

まずはプロトタイプを作ったほうが良いんだろうなぁ。
フィードバックもらえそうだし、テーマの修正も楽になるし。
（本物のドキュメントは育ちすぎていてビルドに時間がかるんですよねー）

ただ、conf.pyにタイトルとかの業務情報があると、
プロトタイプでconf.pyを修正したのを、本番ドキュメントに取り込み難いんですよね・・・。
でも、iniファイルをpythonで読み込みとかめんどいなぁ。

ん？
con.pyの中で from conf_ex import * とかやって、業務情報をconf_ex.pyに外だしとかどうだろう？
ちょっとやってみよう。

そもそも、conf.pyでテーマ変数をいろいろいじって頑張らせているのが間違いの始まりな気がしますが、拡張作るの面倒くさそうなので・・・。

Sphinxで日本語を使う時の注意点のメモ（Windows限定）

2012-06-11T20:30:00.000+09:00

自作テーマを社内展開用に整理していたら、文字コードの迷宮に迷い込んでしまいました。
あまり一般的な事例ではないかもしれませんが、どこかの誰かと未来の自分の為に、対策をメモしておきます。

＜基本設定＞

日本語パッチのあたったSphinxを使う
スタンドアローン版をインストールしたディレクトリ配下のpython\libに、sitecustmoize.pyを追加する。ファイルの中身は、
import sys
sys.setdefaultencoding("mbcs")
conf.py で
language = 'ja'
としておく

sitecustmoize.pyを設定するのは嫌いなのですが、設定しないとソースファイルの親ディレクトリに日本語が含まれている場合にうまく動かないようです。ローカルで作っていたrstをネットワークフォルダ上に配置してmake htmlした時に、ネットワークフォルダに日本語のフォルダが含まれていて、はまりました。
language='ja'は、入れなくてもいいのですが、いれておくと色々良くなることが多いので、最初から設定しておくと良さげです。quickstartで作られるconf.pyは、微妙な感じがするので、特に自作テーマを作るときは、それに合わせて標準的なconf.pyを用意しておくとよさそうですね。

＜テーマをいじる場合の注意点＞

jinja2のテンプレートはutf-8（BOM無し）で書く
theme.confもutf-8 （BOM無し）で書く
conf.pyでhtml_theme_optionsを指定する場合も、値をutf-8にエンコードする

※utf-8は、defaultのテーマを継承した場合です。
出力しているhtmlのエンコーディング指定に合わせる必要があります。
defaultのテーマの場合は、
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
　なので、utf-8です。

ようは、変数の値がそのままテンプレートでレンダリングされるようです。だから、テンプレートに渡す時には、ちゃんと最終的な文字コードをあわせてエンコーディングしておきましょう。

デフォルト設定だと、そうそう起きない失敗だと思いますが、（社内展開を考えると、シフトJISのほうが喜ぶ人が多そうに思えたので）conf.pyにて「source_encoding = 'mbcs'」としたのが迷宮の入り口でした。ソースがmbcsだから、設定もmbcs?って思いましたが、最終形式に合わせるんですね。

（結局utf-8を喜ぶ人じゃないとSphinxは使わない気がする・・・。いろいろ面倒が多いので、この機会にUTF-8(BOM付）にそろえることにしました）

＜htmlテーマの変数をWindowsのbatファイルで使いたい場合＞

.bat→.bat_tとする
{{'\r'}}を行末にいれる
.bat_t ファイルには、なるべく日本語を入れない。どうしても必要な場合はシフトjisで入れる。
.bat_tの中で使うテーマの変数は、conf.pyの中でシフトjisにエンコードしておく

普通は、こんなことしないと思うのですが、Sphinxで出力されたhtml側でボタンをクリックすると、大元のソースディレクトリの上位のフォルダで、make htmlしてくれる仕組みを作ろうとした際に、起きました。

開発進捗（06/06）

2012-06-09T16:15:00.003+09:00

MTG-GUILDですが、開発から１年以上たっている割には進捗悪いんです。
余暇を利用して開発しているので、予算０円、納期未定なので、ずるずる進行なのは想定内ではあるのですが・・・。

もうちょっとなんとかしたいので、現状を整理してみました。

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
＜開発目的＞
[Magic:the gathering におけるデッキの構築・テストプレイを効率化して少ない時間投資でトーナメントで勝てるようにすること。

＜必須機能＞
・デッキ構築支援（カード検索、デッキの記録・共有・意見交換）
・テストプレイ支援機能（記録されたデッキを二つ選んで一人回し（一人で二人分プレイする））
・（イッシーがスマホを保有していないので）携帯電話とPCでの利用をメインとする

＜実現方式＞
GAE Python2.7のアプリとして構築中。

主な利用ライブラリ
ベース：Webapp2, Jinja2, NDB, wtforms
ローカルテスト：unittest + webtest + (Beautifulsoup)

* ローカルテスト用のライブラリやテストケースは、app.yamlで本番環境にもっていかないようにしている。

＜進捗＞
携帯サイト用のフレームワークのベースが完成。
初期ページと、管理者ページの元が完成。

＜遅延理由＞
業務ロジックを設計する際にDB設計を同時に行うことで
最初から最適化されたデザインをしようと考え始めた結果、
デザインが頭に入りきらなくなり、設計で詰まってしまっている。

＜解決策＞
テストコードを作りながら、ボトムアップ的に開発していく。
適宜リファクタリングをしていくことで、設計を美しく保つ。
（そんなに大規模なアプリではないので、DB設計なんて後からついてくる）

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

納期より機能が優先される特殊な開発ですけれど、
やっぱり、アジャイル開発の教科書どおりに開発しろ、ってことですね。
（普通すぎる結論だ・・・orz）

あんまり進捗はないのですが、この１年でベースの知識はだいぶ習得したので、
これはこれで、大きな収穫だったと思います。

当初は、関連するライブラリの使い方が、よくわかっていなかったのですが、
webapp2をベースにオリジナルのフレームワークを作っていく過程で、大分わかりました。

同じような道を進む人の為に、所感をメモって見ます。

Python2.7（とスレッドセーフ）は、そんなに難しくない
（Webapp2でセッション毎にインスタンスを作ってくれるので、スレッドセーフはあんまり意識しなくてOK）
webapp2は、けっこう改造しやすくできている
オレオレフレームワークのベースとしては優秀
Jinja2は、使わないと大分損
日本語のドキュメントも充実しているので楽
SphinxもJinja2使っているので、覚えて損はない
NDBは、開発当初から使うならあり
日本語情報は少ないが、ベースをそのまま使うのとあまり違和感はない
wtformsはいちおう使ったほうが良い
そんなに凄い感じはしませんが、手で書くと面倒なので無いよりはずっとまし
unittest大事
Eclipseが用意しているテストランナーを使うと半自動的にガンガンテストしてくれる
webtestかなり便利
画面遷移に関するテストコードがかなり楽に書ける
BeautifulSoupは、単体テスト用としてはほぼ不要
内部的なフレームワークのテストに利用したけど、普通は使わなくても大丈夫
（もちろん、アプリから外部のサイトにアクセスさせる場合は使ったほうが良いと思います）

・・・いろいろ状況を分析してみましたが、最近趣味でSphinxのオリジナルテーマを作っているのが、最近の進捗がストップしている主要な原因な気がしてきた・・・。
仕事でSphinxを使い始めたのですが、テーマいじり、結構面白いんですよね。
ま、Jinja2（とhtml）の練習にはなっているので、これはこれで良い事にしよう。

読解練習：Google App Engine Python SDK Release Notes 1.6.6

2012-05-27T00:58:00.000+09:00

GAE/P SDKのリリースノート1.6.6が出てますね。
日本語に訳してみました。例によって訳の正確性は保証できません。

実験的にではありますが、かねてより噂になっていたSearch APIが使えるようになってますね。

────────────────────────────

Version 1.6.6 - May 22, 2012

On May 8, 2012 we released an experimental Search API.
2012年5月8日から、Search APIを実験的にリリースしました。
- http://googleappengine.blogspot.com/2012/05/looking-for-search-find-it-on-google.html
The Admin Console now displays the quotas for Search API Calls and Search Stored Data.
Admin画面にSeacrh API CallsとSearchSortedDataのクォータが表示されるようになりました。
The Search API has deprecated the order_id attribute on Document class. It has been replaced with the rank attribute.
Search APIのDocumentクラスのorder_id属性は、非推奨になりました。この属性は、rank属性に置き換えられています。
The Search API has deprecated the document attribute on ListResponse and replaced it with a result attribute. Also the document_id attribute on OperationResult class is deprecated and replaced with the id attribute.
Search APIは、ListResponseのdocument属性は、非推奨になり、result属性に置き換えられました。また、OperationResultクラスのdocument_id属性も非推奨になりid属性に置き換えられました。
Fixed an issue where unicode is not consistently handled in the Python Search API.
PythonのSearch APIでUnicode文字列を一貫してハンドルできていなかった問題を修正しました。
App creation for apps using the Master/Slave datastore is now restricted to only those users who already own a Master/Slave app.
マスター/スレーブのデータストアを使用するapps用アプリケーションの作成は、現在すでにマスター/スレーブのアプリケーションを所有しているユーザーのみに制限されるようになりました。
Apps with billing enabled are now able to configure up to 100 cron jobs.
課金が有効になっているアプリケーションは、cronジョブを100まで設定できるようになりました。
Admin Console can no longer be included in an ＜iframe＞. To prevent clickjacking attacks on the Admin Console, we are now setting X-Frame-Options: SAMEORIGIN. To read more about clickjacking, please read:https://www.owasp.org/index.php/Clickjacking.
Admin画面にiframeタグがインクルードされなくなりました。clickjacking攻撃を防ぐために、X-Frame-Options: SAMEORIGINを設定するようにしました。clickjackingのしょうさいについては、こちらを読んでください：https://www.owasp.org/index.php/Clickjacking.
The Admin Console will now periodically prompt administrators to take an optional App Engine satisfaction survey.
Admin画面では定期的に管理者の任意の満足度調査が行われるようになりました。
（訳注：どういうこと？）
You can now use the third party PyAMF library with Python 2.7. This is available as an experimental feature.
サードパーティのライブラリPyAMFが、Python2.7環境で使えるようになりました。この機能は実験的なものです。
For NDB, Rollback has been added to the default list of flow exceptions.
NDBでは、フローの例外のデフォルトのリストに、Rollbackが追加されました。
（訳注：どういうこと？）
- http://code.google.com/p/googleappengine/issues/detail?id=7079
Fixed an issue where large datastore backups were unable to be deleted.
大きいデータストアのバックアップが削除できなかった問題を修正しました。
Fixed an issue where datastore backups fail due to an ASCII decoding issue.
ASCIIへのデコードでの問題が原因でデータストアのバックアップが失敗する問題を修正しました。
Fixed an issue where the SDK did not import subpackages correctly when using import hooks.
SDKでインポートフックを使用した場合にサブパッケージがインポートされていなかった問題を修正しました。
Fixed an issue where running a projection query on a multi-valued property with an equality filter did not return any results.
multi-valuedプロパティに対する等価フィルタを用いたクエリが、結果をすべて返せていなかった問題を修正しました。
Fixed an issue where unicode environment variables were dropped in Appstats when using Python 2.7.
Pythonの2.7を使用するとUnicodeの環境変数がAppstatsで廃棄された問題を修正しました。
- http://code.google.com/p/googleappengine/issues/detail?id=6448
Fixed an issue where XG transactions did not work with the Remote API.
XGトランザクションがリモートAPIで動作しなかった問題を修正しました。
- http://code.google.com/p/googleappengine/issues/detail?id=7238