<?xml version='1.0' encoding='UTF-8'?><?xml-stylesheet href="http://www.blogger.com/styles/atom.css" type="text/css"?><feed xmlns='http://www.w3.org/2005/Atom' xmlns:openSearch='http://a9.com/-/spec/opensearchrss/1.0/' xmlns:blogger='http://schemas.google.com/blogger/2008' xmlns:georss='http://www.georss.org/georss' xmlns:gd="http://schemas.google.com/g/2005" xmlns:thr='http://purl.org/syndication/thread/1.0'><id>tag:blogger.com,1999:blog-9192882573722458820</id><updated>2024-10-07T14:53:39.520+09:00</updated><category term="Java"/><category term="Scala"/><category term="Hadoop"/><category term="Linux"/><category term="RaspberryPi"/><category term="分散システム"/><category term="ZooKeeper"/><category term="HBase"/><category term="Windows"/><category term="Azure"/><category term="Distributed System"/><category term="Java 7"/><category term="QuickStart"/><category term="sbt"/><category term="ARM"/><category term="CentOS"/><category term="JSON"/><category term="Performance"/><category term="Python"/><category term="Ubuntu"/><category term="Apache"/><category term="Finagle"/><category term="HDFS"/><category term="Hedgehog"/><category term="Java 8"/><category term="JavaScript"/><category term="Kazzla"/><category term="MapReduce"/><category term="Netty"/><category term="Riak"/><category term="SSL"/><category term="Spark"/><category term="Twitter"/><category term="avconv"/><category term="はりねずみ"/><category term="システムプロパティ"/><category term="監視"/><category term="自己署名証明書"/><category term="遠隔"/><category term="障害"/><category term="Ajax"/><category term="Animation GIF"/><category term="Ansible"/><category term="Batch"/><category term="C#"/><category term="CDH"/><category term="CM"/><category term="CORS"/><category term="Chrome"/><category term="Clojure"/><category term="Cloud"/><category term="Concurrent"/><category term="Configuration Management"/><category term="Cookie"/><category term="Cross-Origin Resource Sharing"/><category term="DH"/><category term="DOM"/><category term="DSA"/><category term="Dexpot"/><category term="Diffie Hellman"/><category term="ECDSA"/><category term="Facebook"/><category term="Fault Tolerance"/><category term="Field Management"/><category term="Flume"/><category term="Future"/><category term="Graphic Recorder"/><category term="Gunosy"/><category term="HA"/><category term="HTML"/><category term="Heartbleed"/><category term="Hot Standby"/><category term="Infrared Camera"/><category term="Ingress"/><category term="IntelliJ IDEA"/><category term="JCE"/><category term="JPEG"/><category term="JRuby"/><category term="Java 10"/><category term="Java 6"/><category term="Java 9"/><category term="Java Mission Control"/><category term="JavaVM"/><category term="KVS"/><category term="Log4j"/><category term="Logging"/><category term="ML"/><category term="MPEG"/><category term="Machine Learning"/><category term="Mathematica"/><category term="MessageDigest"/><category term="Microsoft"/><category term="MySQL"/><category term="NIO"/><category term="NLP"/><category term="Network"/><category term="OAuth"/><category term="OSX"/><category term="OpenJDK"/><category term="OpenSSL"/><category term="Oracle"/><category term="POSIX"/><category term="Parser Combinator"/><category term="Perforance"/><category term="Playframework"/><category term="RSA"/><category term="Ruby on Rails"/><category term="RubyMine"/><category term="Security"/><category term="Silicon Valley"/><category term="Specs2"/><category term="Startup"/><category term="Storm"/><category term="Swift"/><category term="TLS"/><category term="Test"/><category term="Thermometer"/><category term="Thread"/><category term="Tokyo Otaku Mode"/><category term="USB"/><category term="UTF-8"/><category term="Unicode"/><category term="User-Agent"/><category term="Venture Capital"/><category term="Virtual Desktop"/><category term="WIRED"/><category term="Web"/><category term="Wolfram"/><category term="Xen"/><category term="YML"/><category term="animal"/><category term="cron"/><category term="data extract"/><category term="de:code"/><category term="iOS"/><category term="keytool"/><category term="maven"/><category term="motion"/><category term="random"/><category term="sonatype"/><category term="virtualenv"/><category term="wikipedia"/><category term="うるう秒"/><category term="アルゴリズム"/><category term="カメラ"/><category term="カンファレンス"/><category term="クロスサイト"/><category term="クロスドメイン"/><category term="シミュレーション"/><category term="セキュリティ"/><category term="プログラミング言語"/><category term="ペット"/><category term="ライフハック"/><category term="ロジカルシンキング"/><category term="乱数"/><category term="仮想化"/><category term="公開鍵"/><category term="冗長化"/><category term="動物"/><category term="暗視"/><category term="楕円曲線DSA"/><category term="温度計"/><category term="統計"/><category term="自然言語処理"/><category term="証明書"/><category term="証明書 keytool"/><category term="赤外線"/><category term="野生"/><title type='text'>Präparat Blog</title><subtitle type='html'>Technical note and scrapbook.</subtitle><link rel='http://schemas.google.com/g/2005#feed' type='application/atom+xml' href='http://koiroha.blogspot.com/feeds/posts/default'/><link rel='self' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default?redirect=false'/><link rel='alternate' type='text/html' href='http://koiroha.blogspot.com/'/><link rel='hub' href='http://pubsubhubbub.appspot.com/'/><link rel='next' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default?start-index=26&amp;max-results=25&amp;redirect=false'/><author><name>kuromoyo</name><uri>http://www.blogger.com/profile/06743675683543438152</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><generator version='7.00' uri='http://www.blogger.com'>Blogger</generator><openSearch:totalResults>74</openSearch:totalResults><openSearch:startIndex>1</openSearch:startIndex><openSearch:itemsPerPage>25</openSearch:itemsPerPage><entry><id>tag:blogger.com,1999:blog-9192882573722458820.post-2954605493807481083</id><published>2017-06-18T17:34:00.001+09:00</published><updated>2017-06-18T17:54:16.730+09:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="Java"/><category scheme="http://www.blogger.com/atom/ns#" term="maven"/><category scheme="http://www.blogger.com/atom/ns#" term="sbt"/><category scheme="http://www.blogger.com/atom/ns#" term="Scala"/><category scheme="http://www.blogger.com/atom/ns#" term="sonatype"/><title type='text'>自作ライブラリを Maven Central Repository に公開する手順 (sbt 0.13)</title><content type='html'>&lt;p&gt;
自作のライブラリを &lt;a href=&quot;https://search.maven.org/#search%7Cga%7C1%7Cquebic&quot;&gt;Maven Central Repository&lt;/a&gt; に登録した時の手順を記載する。Sonatype の公式ガイド &lt;a href=&quot;http://central.sonatype.org/pages/ossrh-guide.html&quot;&gt;OSSRH Guide&lt;/a&gt;、または sbt であれば &lt;a href=&quot;http://www.scala-sbt.org/0.13/docs/Using-Sonatype.html&quot;&gt;Using Sonatype&lt;/a&gt; に該当しますので不足があればそちらも参照していただきたい。
&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;Windows 10 / sbt 0.13.15 / Scala 2.12.2&lt;/li&gt;
&lt;li&gt;対象者は sbt でプロジェクトを作成し sbt の使い方に慣れている人&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;
手順のオーバービューは以下の通り。
&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;Sonatype の JIRA にアカウントを作成し新規プロジェクト (Group ID の登録) を申請。&lt;/li&gt;
&lt;li&gt;ライブラリ署名用の PGP 鍵を作成し公開鍵を公開。&lt;/li&gt;
&lt;li&gt;ライブラリをステージングに公開後、検証が終わったらリリース。&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;
ライブラリのバージョンアップや新しい Artifact の追加は 3. 移行を行えばよいし、複数の開発機からリリースする場合はそれぞれのマシンで 2. 以降を行えばよい。
&lt;/p&gt;

&lt;h3&gt;Maven Central に登録するための準備&lt;/h3&gt;
&lt;p&gt;
決めておくことや準備しておくことはまとめて &lt;a href=&quot;http://central.sonatype.org/pages/requirements.html&quot;&gt;Requirements&lt;/a&gt; を参照。
&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;Group ID (パッケージ名) に使用するドメイン名を押さえておく。&lt;/li&gt;
&lt;li&gt;配布予定のライブラリのソースが Group ID と同じパッケージであることを確認。&lt;/li&gt;
&lt;li&gt;ドメイン名の所有確認が入ることがあるので、可能であれば Group ID でアクセスできるサイトを立てる。&lt;/li&gt;
&lt;li&gt;ソースはテストを終わらせる。javadoc もエラーなく生成できる状態にする。&lt;/li&gt;
&lt;li&gt;Github を使用していないなら、プロジェクトの Web サイトとソースを参照できる URL を用意。&lt;/li&gt;
&lt;/ol&gt;


&lt;h3&gt;JIRA アカウントの作成とプロジェクト申請&lt;/h3&gt;
&lt;p&gt;
Maven 絡みでよく名前を聞く &lt;b&gt;Sonatype&lt;/b&gt; だが、Maven のリポジトである Nexus という OSS サーバを作っていてそのエコシステムのソリューションで利益を上げている会社らしい (あまりよく知らない)。Maven Central Repository も Sonatype がホスティングしている。
&lt;/p&gt;
&lt;p&gt;
まず &lt;a href=&quot;https://issues.sonatype.org/secure/Signup!default.jspa&quot;&gt;Sonatype の JIRA にアカウントを作成&lt;/a&gt;する。これはメールアドレスの確認だけで特に審査や承認はないのですぐに済むだろう。
&lt;/p&gt;
&lt;p&gt;
次に JIRA にサインインし &quot;Community Support - Open Source Project Repository Hosting&quot; プロジェクトで &lt;a href=&quot;https://issues.sonatype.org/secure/CreateIssue.jspa?issuetype=21&amp;pid=10134&quot;&gt;新規プロジェクトの申請&lt;/a&gt;を課題 (Issue) として作成する。文面は英語になるので &lt;a href=&quot;https://issues.sonatype.org/browse/OSSRH-32131&quot;&gt;Quebic の申請チケット&lt;/a&gt; あたりを参考にすると良い。このときのポイントは:
&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;タイトルはライブラリの名前、本文にライブラリの説明。&lt;/li&gt;
&lt;li&gt;Group ID のドメインを本当に君が所有しているのか? と確認が入ることがあるため URL としてアクセスして誰でも分かるようにしておくか、企業ドメインであればその会社の開発物であることをチケットで言及しておくと良い。&lt;/li&gt;
&lt;li&gt;Project URL、SCM url は Github のもので OK。申請したプロジェクトであることを確認できるようにきちんと README を書いておいた方が先方もスムーズだろう。&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;
申請が受理され publish する準備が整うとチケットに &quot;&lt;i&gt;Group ID&lt;/i&gt; has been prepared&quot; のコメントが付きステータスが resolved にとなる。この手続きは最大 2 営業日内に行われるとのことだが多くは数分～数時間で返っている。
&lt;/p&gt;


&lt;h3&gt;PGP の公開鍵を公開する&lt;/h3&gt;
&lt;p&gt;
Maven Central で配布する JAR/ソース/javadoc は公開者の署名を必要とする。この操作は sbt の PGP プラグインを利用すると簡単だ。PGP プラグインの詳しい使い方は &lt;a href=&quot;http://www.scala-sbt.org/sbt-pgp/usage.html&quot;&gt;ここを参照&lt;/a&gt;すると良い。
&lt;/p&gt;
&lt;p&gt;
まず sbt プロジェクトの &lt;code&gt;project/plugins.sbt&lt;/code&gt; に以下を追加する。&lt;code&gt;sbt-sonatype&lt;/code&gt; は PGP とは関係ないが後述のリリースで使用するのでついでに行っておく。開発マシン上の全 sbt プロジェクトで有効にしたいならこれを &lt;code&gt;~/.sbt/0.13/plugins/gpg.sbt&lt;/code&gt; に記述してもよいが、.sbt の下を書き換えたら &lt;code&gt;sbt&lt;/code&gt; の再起動を忘れずに。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
addSbtPlugin(&quot;org.xerial.sbt&quot; % &quot;sbt-sonatype&quot; % &quot;1.1&quot;)
addSbtPlugin(&quot;com.jsuereth&quot; % &quot;sbt-pgp&quot; % &quot;1.0.0&quot;)
&lt;/pre&gt;
&lt;p&gt;
もし署名用の鍵をまだ作成していないのであれば続いて &lt;code&gt;sbt&lt;/code&gt; コマンドから鍵を生成する。下線部の入力は自分の環境に合わせて変更するように。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
&lt;span class=&quot;prompt&quot;&gt;C:\Users\Takami Torao\git\quebic&amp;gt;&lt;/span&gt;&lt;b&gt;sbt&lt;/b&gt;
&amp;gt; &lt;b&gt;set pgpReadOnly := false&lt;/b&gt;
[info] Defining */*:pgpReadOnly
[info] The new value will be used by no settings or tasks.
[info] Reapplying settings...
[info] Set current project to quebic (in build file:/C:/Users/Takami%20Torao/git/quebic/)
&amp;gt; &lt;b&gt;pgp-cmd gen-key&lt;/b&gt;
Please enter the name associated with the key: &lt;b&gt;&lt;u&gt;TAKAMI Torao&lt;/u&gt;&lt;/b&gt;
Please enter the email associated with the key: &lt;b&gt;&lt;u&gt;koiroha@gmail.com&lt;/u&gt;&lt;/b&gt;
Please enter the passphrase for the key: &lt;b&gt;&lt;u&gt;********&lt;/u&gt;&lt;/b&gt;
Please re-enter the passphrase for the key: &lt;b&gt;&lt;u&gt;********&lt;/u&gt;&lt;/b&gt;
[info] Creating a new PGP key, this could take a long time.
[info] Public key := C:\Users\Takami Torao\.sbt\gpg\pubring.asc
[info] Secret key := C:\Users\Takami Torao\.sbt\gpg\secring.asc
[info] Please do not share your secret key.   Your public key is free to share.
&lt;/pre&gt;
&lt;p&gt;
もし署名用の鍵をまだ公開していないのであれば続いて sbt から公開鍵を鍵サーバへ登録する。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
&amp;gt; &lt;b&gt;pgp-cmd list-keys&lt;/b&gt;
C:\Users\Takami Torao\.sbt\gpg\pubring.asc
------------------------------------------
pub     RSA@2048/&lt;u&gt;074c9d3e&lt;/u&gt;       2017-06-18
uid                             TAKAMI Torao &amp;lt;koiroha@gmail.com&amp;gt;

&amp;gt; &lt;b&gt;pgp-cmd send-key &lt;u&gt;074c9d3e&lt;/u&gt; hkp://keyserver.ubuntu.com&lt;/b&gt;
[info] Sending PublicKeyRing(PublicKey(e611829e074c9d3e, TAKAMI Torao &lt;koiroha@gmail.com&gt;, RSA@2048)) to HkpServer(http://keyserver.ubuntu.com:11371)
&lt;/pre&gt;
&lt;p&gt;
&lt;code&gt;send-key&lt;/code&gt; で指定している &lt;code&gt;074c9d3e&lt;/code&gt; は直前に入力した名前かメールアドレスでも良い。送信する公開鍵を特定するために使用しているだけだ。
&lt;/p&gt;
&lt;p&gt;
個人的に秘密鍵は絶対にマシンから持ち出さないポリシーのためマシンごとに署名用の鍵を作成しているが、署名鍵を共通化する必要があるなら &lt;code&gt;list-keys&lt;/code&gt; に出てくるファイルをコピー/上書きしても良さそうだ。1台のマシンで複数の鍵を切り替え方法は不明。
&lt;/p&gt;
&lt;p&gt;
しかしこの作業、公開鍵が何の認証ともが関連づけられていないようだが、これによって何を保証できているのかがよく分からないところである。
&lt;/p&gt;

&lt;h4&gt;GPG コマンドラインツールを使う場合&lt;/h4&gt;
&lt;p&gt;
ライブラリの署名に PGP プラグインではなくコマンドラインツールの GPG (GNU Privacy Guard) を使用することもできるらしい (昔の sbt では gpg を使っていたようだ)。詳しくは &lt;a href=&quot;http://www.scala-sbt.org/0.13/docs/Using-Sonatype.html#First+-+PGP+Signatures&quot;&gt;First - PGP Signatures&lt;/a&gt; あたりを参照。GPG は Windows なら Gpg4win をダウンロードする (寄付を要求されるがまぁよしなに)。
&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;&lt;a href=&quot;https://www.gnupg.org/download/index.html&quot;&gt;GPG をダウンロードして&lt;/a&gt;インストール&lt;/li&gt;
&lt;li&gt;ライブラリ署名用のキーペアを作成&lt;/li&gt;
&lt;li&gt;公開鍵を公開&lt;/li&gt;
&lt;li&gt;sbt から &lt;code&gt;gpg&lt;/code&gt; コマンドを起動できるように &lt;code&gt;PATH&lt;/code&gt; に設定&lt;/li&gt;
&lt;li&gt;&lt;code&gt;build.sbt&lt;/code&gt; に &lt;code&gt;useGpg := true&lt;/code&gt; を追加&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;
鍵の送信は &lt;code&gt;gpg --send-keys &lt;i&gt;keyId&lt;/i&gt;&lt;/code&gt; でできるようだが keyId が何か分からないので省略。
&lt;/p&gt;
&lt;pre class=&quot;console&quot; style=&quot;height:120px;overflow:auto;&quot;&gt;
&lt;span class=&quot;prompt&quot;&gt;C:\Users\Takami Torao&amp;gt;&lt;/span&gt;&lt;b&gt;gpg --gen-key&lt;/b&gt;
gpg (GnuPG) 2.0.30; Copyright (C) 2015 Free Software Foundation, Inc.
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

ご希望の鍵の種類を選択してください:
   (1) RSA と RSA (デフォルト)
   (2) DSA と Elgamal
   (3) DSA (署名のみ)
   (4) RSA (署名のみ)
あなたの選択は? 
RSA 鍵は 1024 から 4096 ビットの長さで可能です。
鍵長は? (2048)
要求された鍵長は2048ビット
鍵の有効期限を指定してください。
         0 = 鍵は無期限
      &amp;lt;n&amp;gt;  = 鍵は n 日間で期限切れ
      &amp;lt;n&amp;gt;w = 鍵は n 週間で期限切れ
      &amp;lt;n&amp;gt;m = 鍵は n か月間で期限切れ
      &amp;lt;n&amp;gt;y = 鍵は n 年間で期限切れ
鍵の有効期間は? (0)
鍵の有効期間は? (0)は無期限です
これで正しいですか? (y/N) &lt;b&gt;y&lt;/b&gt;

GnuPGはあなたの鍵を識別するためにユーザIDを構成する必要があります。

本名: &lt;b&gt;TAKAMI Torao&lt;/b&gt;
電子メール・アドレス: &lt;b&gt;koiroha@gmail.com&lt;/b&gt;
コメント:
次のユーザIDを選択しました:
    &quot;TAKAMI Torao &amp;lt;koiroha@gmail.com&amp;gt;&quot;

名前(N)、コメント(C)、電子メール(E)の変更、またはOK(O)か終了(Q)? O
秘密鍵を保護するためにパスフレーズがいります。

たくさんのランダム・バイトの生成が必要です。キーボードを打つ、マウスを動か
す、ディスクにアクセスするなどの他の操作を素数生成の間に行うことで、乱数生
成器に十分なエントロピーを供給する機会を与えることができます。
たくさんのランダム・バイトの生成が必要です。キーボードを打つ、マウスを動か
す、ディスクにアクセスするなどの他の操作を素数生成の間に行うことで、乱数生
成器に十分なエントロピーを供給する機会を与えることができます。
gpg: C:/Users/Takami Torao/AppData/Roaming/gnupg/trustdb.gpg: 信用データベースができました
gpg: 鍵73085AE5を究極的に信用するよう記録しました
公開鍵と秘密鍵を作成し、署名しました。

gpg: 信用データベースの検査
gpg: 「まぁまぁの信用」3、「全面的信用」1、PGP信用モデル
gpg: 深さ: 0  有効性:   1  署名:   0  信用: 0-, 0q, 0n, 0m, 0f, 1u
pub   2048R/73085AE5 2017-06-17
 フィンガー・プリント = D910 DE37 22F0 B8D2 4361  7762 6815 C9E9 7308 5AE5
uid       [  究極  ] TAKAMI Torao &amp;lt;koiroha@gmail.com&amp;gt;
sub   2048R/505FDA01 2017-06-17

C:\Users\Takami Torao&amp;gt;&lt;b&gt;gpg -k&lt;/b&gt;
C:/Users/Takami Torao/AppData/Roaming/gnupg/pubring.gpg
-------------------------------------------------------
pub   2048R/73085AE5 2017-06-17
uid       [  究極  ] TAKAMI Torao &amp;lt;koiroha@gmail.com&amp;gt;
sub   2048R/505FDA01 2017-06-17
&lt;/pre&gt;


&lt;h3&gt;プロジェクトの設定とリリース&lt;/h3&gt;
&lt;p&gt;
ライブラリをリポジトリに登録するために &lt;code&gt;~/.sbt/0.13/sonatype.sbt&lt;/code&gt; に Sonatype Nexus Repository Manager の認証情報を記述する。&lt;code&gt;project/plugins.sbt&lt;/code&gt; でも良いかも知れないが事故で公開してしまわないようにプロジェクトとは別にすべきだろう。ユーザ名とパスワードは Sonatype の JIRA にサインアップしたときのものを指定する。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
&lt;span class=&quot;prompt&quot;&gt;C:\Users\Takami Torao&amp;gt;&lt;/span&gt;&lt;b&gt;type .sbt\0.13\sonatype.sbt&lt;/b&gt;
credentials += Credentials(&quot;Sonatype Nexus Repository Manager&quot;,
                           &quot;oss.sonatype.org&quot;,
                           &quot;torao&quot;,
                           &quot;****&quot;)
&lt;/pre&gt;
&lt;p&gt;
続いて &lt;code&gt;build.sbt&lt;/code&gt; に以下の情報を追記する。下線部分を自分のプロジェクト向けに書き換える。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
publishMavenStyle := true

publishTo := {
  val nexus = &quot;https://oss.sonatype.org/&quot;
  if (isSnapshot.value)
    Some(&quot;snapshots&quot; at nexus + &quot;content/repositories/snapshots&quot;)
  else
    Some(&quot;releases&quot;  at nexus + &quot;service/local/staging/deploy/maven2&quot;)
}

publishArtifact in Test := false

pomIncludeRepository := { _ =&gt; false }

sonatypeProfileName := &quot;&lt;u&gt;at.hazm&lt;/u&gt;&quot;

licenses := Seq(&quot;&lt;u&gt;Apache-2.0&lt;/u&gt;&quot; -&gt; url(&quot;&lt;u&gt;https://www.apache.org/licenses/LICENSE-2.0&lt;/u&gt;&quot;))

homepage := Some(url(&quot;&lt;u&gt;https://github.com/torao/quebic&lt;/u&gt;&quot;))

scmInfo := Some(
  ScmInfo(
    url(&quot;&lt;u&gt;https://github.com/torao/quebic&lt;/u&gt;&quot;),
    &quot;&lt;u&gt;https://github.com/torao/quebic.git&lt;/u&gt;&quot;
  )
)

developers := List(
  Developer(
    id    = &quot;&lt;u&gt;torao&lt;/u&gt;&quot;,
    name  = &quot;&lt;u&gt;TAKAMI Torao&lt;/u&gt;&quot;,
    email = &quot;&lt;u&gt;koiroha@gmail.com&lt;/u&gt;&quot;,
    url   = url(&quot;&lt;u&gt;http://hazm.at&lt;/u&gt;&quot;)
  )
)
&lt;/pre&gt;
&lt;p&gt;
特に問題なければ sbt から &lt;code&gt;publishSigned&lt;/code&gt; を実行するとステージング環境で公開される。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
&amp;gt; &lt;b&gt;publishSigned&lt;/b&gt;
[info] Wrote C:\Users\Takami Torao\git\quebic\target\scala-2.12\quebic_2.12-1.0.1.pom
[info] :: delivering :: at.hazm#quebic_2.12;1.0.1 :: 1.0.1 :: release :: Sun Jun 18 08:28:33 JST 2017
[info]  delivering ivy file to C:\Users\Takami Torao\git\quebic\target\scala-2.12\ivy-1.0.1.xml
[info] Packaging C:\Users\Takami Torao\git\quebic\target\scala-2.12\quebic_2.12-1.0.1.jar ...
[info] Done packaging.
Please enter PGP passphrase (or ENTER to abort): &lt;b&gt;********&lt;/b&gt;
[info]  published quebic_2.12 to https://oss.sonatype.org/service/local/staging/deploy/maven2/at/hazm/quebic_2.12/1.0.1/quebic_2.12-1.0.1.pom
…
&lt;/pre&gt;
&lt;p&gt;
ステージング環境で特に問題がなければ sbt から &lt;code&gt;sonatypeRelease&lt;/code&gt; を実行すればいよいよ公開される。search.maven.org に同期されるまで遅くても 2 時間とのことだ。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
&amp;gt; &lt;b&gt;sonatypeRelease&lt;/b&gt;
[info] Nexus repository URL: https://oss.sonatype.org/service/local
[info] sonatypeProfileName = at.hazm
[info] Reading staging repository profiles...
[info] Reading staging profiles...
&lt;/pre&gt;
&lt;p&gt;
利用可能な sonatype コマンドは &lt;a href=&quot;https://github.com/xerial/sbt-sonatype&quot;&gt;ここを参照&lt;/a&gt;。Open や Close が何を意味しているのかよく分からないが。
&lt;/p&gt;</content><link rel='replies' type='application/atom+xml' href='http://koiroha.blogspot.com/feeds/2954605493807481083/comments/default' title='コメントの投稿'/><link rel='replies' type='text/html' href='http://koiroha.blogspot.com/2017/06/maven-central-repository-sbt-013-how-to-upload.html#comment-form' title='0 件のコメント'/><link rel='edit' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/2954605493807481083'/><link rel='self' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/2954605493807481083'/><link rel='alternate' type='text/html' href='http://koiroha.blogspot.com/2017/06/maven-central-repository-sbt-013-how-to-upload.html' title='自作ライブラリを Maven Central Repository に公開する手順 (sbt 0.13)'/><author><name>kuromoyo</name><uri>http://www.blogger.com/profile/06743675683543438152</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><thr:total>0</thr:total></entry><entry><id>tag:blogger.com,1999:blog-9192882573722458820.post-2174540549401907861</id><published>2017-05-02T12:21:00.000+09:00</published><updated>2017-05-02T13:14:15.269+09:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="Java"/><category scheme="http://www.blogger.com/atom/ns#" term="random"/><category scheme="http://www.blogger.com/atom/ns#" term="シミュレーション"/><category scheme="http://www.blogger.com/atom/ns#" term="乱数"/><category scheme="http://www.blogger.com/atom/ns#" term="統計"/><title type='text'>Java 標準 Random の乱数偏り問題</title><content type='html'>&lt;p&gt;
Java 標準の &lt;code&gt;java.util.Random&lt;/code&gt; が生成する疑似乱数には割と有名な偏りがあります。機械学習のアルゴリズムを
 Java で実装するにあたってふとこの問題はまだ残っているんだろうか? と気になったので再現してみました。Java 8 でもまだ残っているようです。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
java version &quot;1.8.0_121&quot;
Java(TM) SE Runtime Environment (build 1.8.0_121-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.121-b13, mixed mode)
&lt;/pre&gt;
&lt;p&gt;
再現コードは (Scala で書いてますが) &lt;code&gt;Random&lt;/code&gt; インスタンスからの一回目の double 値を取得するものです。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
val random = new java.util.Random()
val count = new Array[Int](100)
val samples = count.length * 10000
for(i &lt;- 0 until samples){
  random.setSeed(i)
  count((random.nextDouble() * count.length).toInt) += 1
}
&lt;/pre&gt;
&lt;p&gt;
上記の結果から乱数値を横軸、発生回数を縦軸にヒストグラムを作成したものが以下のグラフです。平均 10000.0、標準偏差 765.5 と明らかな分布の偏りが出ているのがわかります。
&lt;p&gt;
&lt;div class=&quot;separator&quot; style=&quot;clear: both; text-align: center;&quot;&gt;&lt;a href=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgOw7ngAvUcARBgUq4cgoLvZZPKXyS1CwD7_J5TO2eBoBuGHFEv-hdH_vNcPOQvV2jMzHWD2sfNS9J7hdd7HNj0FWuSfX_2t3hZaMFCyYNIpoUL5bgGSoyFsfLj4dhCEmk4b6iRtKhxJoU/s1600/-----------+-+Google+--------.clipular.png&quot; imageanchor=&quot;1&quot; style=&quot;margin-left: 1em; margin-right: 1em;&quot;&gt;&lt;img border=&quot;0&quot; src=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgOw7ngAvUcARBgUq4cgoLvZZPKXyS1CwD7_J5TO2eBoBuGHFEv-hdH_vNcPOQvV2jMzHWD2sfNS9J7hdd7HNj0FWuSfX_2t3hZaMFCyYNIpoUL5bgGSoyFsfLj4dhCEmk4b6iRtKhxJoU/s1600/-----------+-+Google+--------.clipular.png&quot; /&gt;&lt;/a&gt;&lt;/div&gt;
&lt;h3&gt;シードの依存性&lt;/h3&gt;
&lt;p&gt;
この偏りは乱数シードに対して変化するのでしょうか? シードに使用するウィンドウを以下のようにスライドさせてみました。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
&lt;b&gt;for(j &lt;- 0 to 1000){&lt;/b&gt;
  val count = new Array[Int](100)
  val samples = count.length * 10000
  for(i &lt;- 0 until samples){
    random.setSeed(&lt;b&gt;j * count.length&lt;/b&gt; + i)
    count((random.nextDouble() * count.length).toInt) += 1
  }
  val m = count.sum / count.length.toDouble
  val n2 = count.map{ x =&gt; (x-m) * (x-m) }.sum
  println(s&quot;$j,${math.sqrt(n2)}&quot;)
&lt;b&gt;}&lt;/b&gt;
&lt;/pre&gt;
&lt;p&gt;
以下は &lt;code&gt;j&lt;/code&gt; を横軸、標準偏差を縦軸としたグラフです。シードと標準偏差には何らかの規則性があるように見えます。平均 10,000 に対して標準偏差 1,500 ってかなり大きな偏りですね。
&lt;/p&gt;
&lt;div class=&quot;separator&quot; style=&quot;clear: both; text-align: center;&quot;&gt;&lt;a href=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgCu_7JyNNJM3yNd8NeiMnuXvQGMDWDxjSwtguUL7uYzHFSqefyP0LwAejx452LAKTtremxWM1Ux4ZnvvfmzfgeLj37EDmMh8JIG7W5J4tJsQCcbIWnAIvPpGCuOSFI2o7BP6l0Nq6ftQo/s1600/xx+-+Eegraph.clipular.png&quot; imageanchor=&quot;1&quot; style=&quot;margin-left: 1em; margin-right: 1em;&quot;&gt;&lt;img border=&quot;0&quot; src=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgCu_7JyNNJM3yNd8NeiMnuXvQGMDWDxjSwtguUL7uYzHFSqefyP0LwAejx452LAKTtremxWM1Ux4ZnvvfmzfgeLj37EDmMh8JIG7W5J4tJsQCcbIWnAIvPpGCuOSFI2o7BP6l0Nq6ftQo/s1600/xx+-+Eegraph.clipular.png&quot; /&gt;&lt;/a&gt;&lt;/div&gt;
&lt;h3&gt;実行回数の依存性&lt;/h3&gt;
&lt;p&gt;
&lt;code&gt;Random&lt;/code&gt; インスタンスに対する 2 回目以降の &lt;code&gt;nextDouble()&lt;/code&gt; 呼び出しはどうなのかと呼び出し回数を横軸、標準偏差を縦軸にしたものが以下のグラフです。この偏りは初回のみで 2 回目以降はほぼ一様乱数のように動作することが分かります。
&lt;/p&gt;
&lt;div class=&quot;separator&quot; style=&quot;clear: both; text-align: center;&quot;&gt;&lt;a href=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjsoduD3CcJa-1X8BMA8LN__EcaC0olPLFB1B7DtQUKkSrLU-CX6LeP36XppmzpGHWDsr4aoKI0iU15l7mIsavuTrZKZ8xU7bSFr0vRqhonYYrcqUBNzLaji4hdaExCRs7FDxv0pzBfCV0/s1600/-----------+-+Google+--------.clipular+%25282%2529.png&quot; imageanchor=&quot;1&quot; style=&quot;margin-left: 1em; margin-right: 1em;&quot;&gt;&lt;img border=&quot;0&quot; src=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjsoduD3CcJa-1X8BMA8LN__EcaC0olPLFB1B7DtQUKkSrLU-CX6LeP36XppmzpGHWDsr4aoKI0iU15l7mIsavuTrZKZ8xU7bSFr0vRqhonYYrcqUBNzLaji4hdaExCRs7FDxv0pzBfCV0/s1600/-----------+-+Google+--------.clipular+%25282%2529.png&quot; /&gt;&lt;/a&gt;&lt;/div&gt;
&lt;h3&gt;int型の乱数の偏り&lt;/h3&gt;
&lt;p&gt;
&lt;code&gt;Random&lt;/code&gt; クラスには &lt;code&gt;int&lt;/code&gt; 型の乱数機能もあります。そちらの偏りはどうでしょうか? 乱数生成部分を以下のように書き換えて実行したところ:
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
count(random.nextInt(count.length)) += 1
&lt;/pre&gt;
&lt;p&gt;
平均 10,000.0 に対して標準偏差は 140.0 という結果となりました。以下は &lt;code&gt;nextDouble()&lt;/code&gt; との分布比較ですが、こちらは一様に分布していることが分かります。
&lt;/p&gt;
&lt;div class=&quot;separator&quot; style=&quot;clear: both; text-align: center;&quot;&gt;&lt;a href=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEh3_uqJPAnmcdXf5om3e8KyTsGU2do5cX57zhM7Xh0VoqM29ZH2EcAQ8wUwO2mbSmBIKVVbZZsUvx543TwEr1byswtRO9epNtJDzCtNeCS0SIDFU6seKF7di6bMUswHE4KI0iSXbM3okVE/s1600/Book.xlsx+-+Microsoft+Excel+Online.clipular+%25281%2529.png&quot; imageanchor=&quot;1&quot; style=&quot;margin-left: 1em; margin-right: 1em;&quot;&gt;&lt;img border=&quot;0&quot; src=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEh3_uqJPAnmcdXf5om3e8KyTsGU2do5cX57zhM7Xh0VoqM29ZH2EcAQ8wUwO2mbSmBIKVVbZZsUvx543TwEr1byswtRO9epNtJDzCtNeCS0SIDFU6seKF7di6bMUswHE4KI0iSXbM3okVE/s1600/Book.xlsx+-+Microsoft+Excel+Online.clipular+%25281%2529.png&quot; /&gt;&lt;/a&gt;&lt;/div&gt;
&lt;h3&gt;結論&lt;/h3&gt;
&lt;p&gt;
より高い精度が求められるシミュレーションやゲーム、分析ではこの偏り問題以前に &lt;code&gt;java.lang.Random&lt;/code&gt; ではなく&lt;code&gt;java.security.SecureRandom&lt;/code&gt; や Mersenne Twister など非標準の疑似乱数ライブラリを使用した方がよい事は明らかです。ただ精度とパフォーマンスはトレードオフということもあって、精度についてはこの偏り問題を回避できればよいという状況であれば一度 &lt;code&gt;nextDouble()&lt;/code&gt; を実行した &lt;code&gt;Random&lt;/code&gt; インスタンスを使いまわすという判断でもよいと思います (&lt;code&gt;Random&lt;/code&gt; インスタンスはスレッドセーフです)。
&lt;/p&gt;</content><link rel='replies' type='application/atom+xml' href='http://koiroha.blogspot.com/feeds/2174540549401907861/comments/default' title='コメントの投稿'/><link rel='replies' type='text/html' href='http://koiroha.blogspot.com/2017/05/java-random-deviation-probrem.html#comment-form' title='0 件のコメント'/><link rel='edit' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/2174540549401907861'/><link rel='self' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/2174540549401907861'/><link rel='alternate' type='text/html' href='http://koiroha.blogspot.com/2017/05/java-random-deviation-probrem.html' title='Java 標準 Random の乱数偏り問題'/><author><name>kuromoyo</name><uri>http://www.blogger.com/profile/06743675683543438152</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><media:thumbnail xmlns:media="http://search.yahoo.com/mrss/" url="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgOw7ngAvUcARBgUq4cgoLvZZPKXyS1CwD7_J5TO2eBoBuGHFEv-hdH_vNcPOQvV2jMzHWD2sfNS9J7hdd7HNj0FWuSfX_2t3hZaMFCyYNIpoUL5bgGSoyFsfLj4dhCEmk4b6iRtKhxJoU/s72-c/-----------+-+Google+--------.clipular.png" height="72" width="72"/><thr:total>0</thr:total></entry><entry><id>tag:blogger.com,1999:blog-9192882573722458820.post-7540301751891614055</id><published>2017-04-23T02:34:00.000+09:00</published><updated>2017-08-22T15:54:22.519+09:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="data extract"/><category scheme="http://www.blogger.com/atom/ns#" term="Machine Learning"/><category scheme="http://www.blogger.com/atom/ns#" term="ML"/><category scheme="http://www.blogger.com/atom/ns#" term="NLP"/><category scheme="http://www.blogger.com/atom/ns#" term="wikipedia"/><category scheme="http://www.blogger.com/atom/ns#" term="自然言語処理"/><title type='text'>Wikipedia データのダウンロード/入手/加工方法</title><content type='html'>&lt;p&gt;
自然言語処理と機械学習の学習データが必要だったため Wikipedia 日本語版 &amp; 英語版の全記事をデータベース化しました。MediaWiki ダンプデータのダウンロード、テキスト抽出 (Wiki記法除外)、カテゴリ抽出などの手間が省けると思います。最新版や他の言語版を入手したい場合は次の章に記述した手順で行ってください。
&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;big&gt;&lt;a href=&quot;https://drive.google.com/open?id=0Bw3bmWvXtpUYR2ZKQWplVzVrUW8&quot;&gt;jawiki-20170801-pages-articles.db.sqlite.bz2&lt;/a&gt;&lt;/big&gt;&lt;br/&gt;&lt;small&gt;SQLite3 + BZIP2 / 881MB / 1,070,383文書&lt;/small&gt;&lt;/li&gt;
&lt;li&gt;&lt;big&gt;&lt;a href=&quot;https://drive.google.com/open?id=0Bw3bmWvXtpUYUWNudjQ3bTMtQ3c&quot;&gt;enwiki-20170801-pages-articles.db.sqlite.bz2&lt;/a&gt;&lt;/big&gt;&lt;br/&gt;&lt;small&gt;SQLite3 + BZIP2 / 4GB / 5,452,301文書&lt;/small&gt;&lt;/li&gt;
&lt;/ul&gt;
&lt;small&gt;「エラー。プレビューに問題が発生しました。」と出ますがそのままダウンロードしてください。&lt;/small&gt;
&lt;p&gt;
ファイルは SQLite3 DB ファイルの BZIP2 圧縮形式ですので、解凍すれば &lt;code&gt;sqlite3&lt;/code&gt; コマンドですぐに利用できます。プログラミング言語からアクセスする場合は JDBC ドライバや Python など SQLite3 をサポートするライブラリを使用してください。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
&lt;span class=&quot;prompt&quot;&gt;torao@cobalt$ &lt;/span&gt;bunzip2 jawiki-20170801-pages-articles.db.sqlite.bz2
&lt;span class=&quot;prompt&quot;&gt;torao@cobalt$ &lt;/span&gt;sqlite3 jawiki-20170801-pages-articles.db.sqlite
SQLite version 3.8.2 2013-12-06 14:53:30
Enter &quot;.help&quot; for instructions
Enter SQL statements terminated with a &quot;;&quot;
&lt;span class=&quot;prompt&quot;&gt;sqlite&amp;gt; &lt;/span&gt;.schema
CREATE TABLE pages(
  id INTEGER NOT NULL PRIMARY KEY,
  title TEXT NOT NULL,
  redirect_to TEXT NULL);
CREATE TABLE categories(
  id INTEGER NOT NULL PRIMARY KEY AUTOINCREMENT,
  title TEXT NOT NULL UNIQUE);
CREATE TABLE page_categories(
  page_id INTEGER NOT NULL REFERENCES pages(id) ON DELETE CASCADE,
  category_id INTEGER NOT NULL REFERENCES categories(id) ON DELETE CASCADE);
CREATE TABLE articles(
  id INTEGER NOT NULL PRIMARY KEY,
  title TEXT NOT NULL,
  content TEXT NOT NULL);
&lt;span class=&quot;prompt&quot;&gt;sqlite&amp;gt; &lt;/span&gt;select count(*) from articles;
1070383
&lt;/pre&gt;
&lt;p&gt;
&lt;code&gt;pages&lt;/code&gt; テーブルにはリダイレクト先と Help: や Wikipedia: ページを含みます。また文書ラベリング (クラスタリング) を行う目的でカテゴリ情報を含みます。元記事への URL は idを使って https://ja.wikipedia.org/?curid=5 のように記述することができます。
&lt;/p&gt;
&lt;p&gt;
このデータは Wikipedia からの派生物ですので Creative Commons BY-SA ライセンスが適用されます。
&lt;/p&gt;
&lt;div&gt;
&lt;iframe style=&quot;width:120px;height:240px;&quot; marginwidth=&quot;0&quot; marginheight=&quot;0&quot; scrolling=&quot;no&quot; frameborder=&quot;0&quot; src=&quot;//rcm-fe.amazon-adsystem.com/e/cm?lt1=_blank&amp;bc1=000000&amp;IS2=1&amp;bg1=FFFFFF&amp;fc1=000000&amp;lc1=0000FF&amp;t=ponta09c-22&amp;o=9&amp;p=8&amp;l=as4&amp;m=amazon&amp;f=ifr&amp;ref=as_ss_li_til&amp;asins=4873117585&amp;linkId=8ea770cef0a6d6be417b935328090fa3&quot;&gt;&lt;/iframe&gt;

&lt;iframe style=&quot;width:120px;height:240px;&quot; marginwidth=&quot;0&quot; marginheight=&quot;0&quot; scrolling=&quot;no&quot; frameborder=&quot;0&quot; src=&quot;//rcm-fe.amazon-adsystem.com/e/cm?lt1=_blank&amp;bc1=000000&amp;IS2=1&amp;bg1=FFFFFF&amp;fc1=000000&amp;lc1=0000FF&amp;t=ponta09c-22&amp;o=9&amp;p=8&amp;l=as4&amp;m=amazon&amp;f=ifr&amp;ref=as_ss_li_til&amp;asins=4339027510&amp;linkId=929963c4d617152cc43c1b3190354f5c&quot;&gt;&lt;/iframe&gt;

&lt;iframe style=&quot;width:120px;height:240px;&quot; marginwidth=&quot;0&quot; marginheight=&quot;0&quot; scrolling=&quot;no&quot; frameborder=&quot;0&quot; src=&quot;//rcm-fe.amazon-adsystem.com/e/cm?lt1=_blank&amp;bc1=000000&amp;IS2=1&amp;bg1=FFFFFF&amp;fc1=000000&amp;lc1=0000FF&amp;t=ponta09c-22&amp;o=9&amp;p=8&amp;l=as4&amp;m=amazon&amp;f=ifr&amp;ref=as_ss_li_til&amp;asins=4061529242&amp;linkId=e883a17984f3fc8c98b5f85a182cea34&quot;&gt;&lt;/iframe&gt;
&lt;/div&gt;

&lt;h3&gt;最新データの取得と加工方法&lt;/h3&gt;
&lt;p&gt;
Wikipedia のダンプデータは「&lt;a href=&quot;https://ja.wikipedia.org/wiki/Wikipedia:%E3%83%87%E3%83%BC%E3%82%BF%E3%83%99%E3%83%BC%E3%82%B9%E3%83%80%E3%82%A6%E3%83%B3%E3%83%AD%E3%83%BC%E3%83%89&quot; target=&quot;_blank&quot;&gt;Wikipedia:データベースダウンロード&lt;/a&gt;」からたどって入手することができる。基本的に最新版の jawiki-latest-pages-articles.xml.bz2 (現在2.4GB) をダウンロードすれば良いだろう。ダウンロードにはおおむね 5～15 分程度かかる。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
$ wget https://dumps.wikimedia.org/jawiki/latest/jawiki-latest-pages-articles.xml.bz2
&lt;/pre&gt;
&lt;p&gt;
ダウンロードしたファイルは bzip2 で圧縮された XML だが、肝心の記事部分には MediaWiki 書式がそのまま入っており自然言語処理向きではない。Python + &lt;a href=&quot;https://github.com/attardi/wikiextractor&quot; target=&quot;_blank&quot;&gt;WikiExtractor&lt;/a&gt; でプレーンテキストに変換しよう。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
$ git clone https://github.com/attardi/wikiextractor.git
$ cd wikiextractor
$ python setup.py install
$ cd ..
$ python wikiextractor/WikiExtractor.py -o wikipwdia jawiki-latest-pages-articles.xml.bz2
&lt;/pre&gt;
&lt;p&gt;
WikiExtractor には「曖昧さの回避」ページを除いたり、マルチプロセス実行のオプションもある。必要なら上記リンクを参照。
&lt;/p&gt;
&lt;p&gt;
なお Docker が使えるなら setup.py install で環境を汚すことなく変換処理ができるのでお勧め。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
$ docker -it --rm -v &quot;$PWD:/opt/data&quot; python /bin/bash
$ cd /opt/data
$ git clone ...
&lt;/pre&gt;
&lt;p&gt;
この変換処理は Core i7-6600 + SSD で 3 時間ほどかかる。&lt;code&gt;-o&lt;/code&gt; オプションで指定したディレクトリに AA ～ というディレクトリが作成され、その中に記事ごとに &amp;lt;doc&amp;gt～&amp;lt;/doc&amp;gt; で囲まれたデータが入っている。あとは自分の目的に合った形式に加工すればよいだろう。
&lt;/p&gt;
&lt;p&gt;
このページで配布しているファイルはさらに改行や不要な空白を除去しプログラムで扱いやすいように 1 行 1 記事としている。
&lt;/p&gt;
</content><link rel='replies' type='application/atom+xml' href='http://koiroha.blogspot.com/feeds/7540301751891614055/comments/default' title='コメントの投稿'/><link rel='replies' type='text/html' href='http://koiroha.blogspot.com/2017/04/how-to-get-wikipedia-dump-as-plaintext.html#comment-form' title='0 件のコメント'/><link rel='edit' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/7540301751891614055'/><link rel='self' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/7540301751891614055'/><link rel='alternate' type='text/html' href='http://koiroha.blogspot.com/2017/04/how-to-get-wikipedia-dump-as-plaintext.html' title='Wikipedia データのダウンロード/入手/加工方法'/><author><name>kuromoyo</name><uri>http://www.blogger.com/profile/06743675683543438152</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><thr:total>0</thr:total></entry><entry><id>tag:blogger.com,1999:blog-9192882573722458820.post-2856892303113227991</id><published>2017-04-09T05:23:00.001+09:00</published><updated>2017-05-26T20:21:34.712+09:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="ライフハック"/><category scheme="http://www.blogger.com/atom/ns#" term="ロジカルシンキング"/><title type='text'>論議と考察のためのプロトコル - F2O</title><content type='html'>&lt;h3&gt;Fact/Opinion&lt;/h3&gt;
&lt;p&gt;
論理的に話をするスキルを身に付けたいあなた。&lt;b&gt;物事&lt;/b&gt; (Object) についての言説を述べたり見聞きしたり、あるいは思考を巡らすとき、それがファクト (Fact) なのかオピニオン (Opinion) なのかを意識するだけで話が論理的になりますよ。
&lt;/p&gt;
&lt;div class=&quot;separator&quot; style=&quot;clear: both; text-align: center;&quot;&gt;&lt;a href=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhyGLpCYFdwmXWYdQ4kAHTeHONGIbDRnEl3NSFSR8DAGYiQRorLPE7OPnmSNwqhYZNXoHA4XJA5CqAjQWkeiCzp5Ppn_sEezAPxPl9lPmUv5YkFzmZFKs8nZv6HiPzHjvYJD5Ijcx4Pkis/s1600/object-fact-opinion.png&quot; imageanchor=&quot;1&quot; style=&quot;margin-left: 1em; margin-right: 1em;&quot;&gt;&lt;img border=&quot;0&quot; src=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhyGLpCYFdwmXWYdQ4kAHTeHONGIbDRnEl3NSFSR8DAGYiQRorLPE7OPnmSNwqhYZNXoHA4XJA5CqAjQWkeiCzp5Ppn_sEezAPxPl9lPmUv5YkFzmZFKs8nZv6HiPzHjvYJD5Ijcx4Pkis/s1600/object-fact-opinion.png&quot; /&gt;&lt;/a&gt;&lt;/div&gt;
&lt;p&gt;
&lt;b&gt;ファクト&lt;/b&gt;とは事実を述べているくだりである。ファクトの背景には客観的な証拠やエビデンスが存在し論理的に説明できなければならない。可能ならその事実を第三者が検証可能であるべきだろう。それに対して&lt;b&gt;オピニオン&lt;/b&gt;は意見や解釈、主義主張を述べるくだりだ。オピニオンはファクトと違い不確定性や不合理、理不尽感が含まれていてもかまわないし、何なら後で変わったってかまわない。
&lt;/p&gt;
&lt;table class=&quot;wikitable&quot;&gt;
&lt;tr&gt;
  &lt;th&gt;&lt;/th&gt;
  &lt;th&gt;述べていること&lt;/th&gt;
  &lt;th&gt;観点&lt;/th&gt;
&lt;/tr&gt;
&lt;tr&gt;
  &lt;td&gt;ファクト&lt;/td&gt;
  &lt;td&gt;事実、定義&lt;/td&gt;
  &lt;td&gt;客観的、論理的、普遍的&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
  &lt;td&gt;オピニオン&lt;/td&gt;
  &lt;td&gt;意見、解釈、主義、判断、方針、仮説&lt;/td&gt;
  &lt;td&gt;主観的、感情的、個性的&lt;/td&gt;
&lt;/tr&gt;
&lt;/table&gt;

&lt;h4&gt;具体的に見てみよう&lt;/h4&gt;
&lt;p&gt;
例として日経新聞の社説を見てみよう。昨日、シリアのアサド政権が反体制派の地域に化学兵器を用いた空爆を行ったことを言及している。
&lt;/p&gt;
&lt;blockquote&gt;
許しがたい犯罪行為である。内戦が続くシリアの反体制派の支配地域で、化学兵器を使ったとみられる空爆があり、女性や子供を含む多数の市民が犠牲になった。
&lt;div style=&quot;text-align:right;&quot;&gt;
&lt;small&gt;&lt;a href=&quot;http://www.nikkei.com/article/DGXKZO15026630W7A400C1EA1000/&quot;&gt;日経新聞 2017年4月7日 社説&lt;/a&gt;&lt;/small&gt;
&lt;/div&gt;
&lt;/blockquote&gt;
&lt;div&gt;
&lt;span style=&quot;color:#FF5A36;&quot;&gt;許しがたい犯罪行為である&lt;/span&gt; … 「許しがたい」が主観表現であることからこの部分はオピニオンを述べていることが分かるだろう。ただし、もし化学兵器禁止条約で禁止されている毒ガスが使用されていたなら、厳密には「犯罪行為」という部分はファクトの可能性がある。
&lt;/div&gt;
&lt;div&gt;
&lt;span style=&quot;color:#284799;&quot;&gt;内戦が続くシリアの反体制派の支配地域&lt;/span&gt;で、&lt;span style=&quot;color:#284799;&quot;&gt;化学兵器を使ったとみられる空爆があり&lt;/span&gt;、&lt;span style=&quot;color:#284799;&quot;&gt;女性や子供を含む多数の市民が犠牲になった&lt;/span&gt; … これらは全て複数のニュースや現地レポートとして報じられておりファクトとみなして良いだろう。「とみられる」は厳密なファクトの表現ではないが、状況から確証に近い裏付けがとれていると想定できる。
&lt;/div&gt;
&lt;p&gt;
一般的にはこの文章のように一文あるいは一文節ごとにファクトとオピニオンが切り替わるので注意が必要だ。余談だがこのオピニオンは後のファクトに基づいて得られたものであるが、あえて倒置することでオピニオンを強調する表現方法を用いている。
&lt;/p&gt;
&lt;p&gt;
別の例を見てみよう。
&lt;/p&gt;
&lt;blockquote&gt;
とはいえ、&lt;span style=&quot;color:#284799;&quot;&gt;国連安全保障理事会などに明確な証拠を提示することもなしに武力行使をした&lt;/span&gt;のは、&lt;span style=&quot;color:#FF5A36;&quot;&gt;はやり過ぎ&lt;/span&gt;である。&lt;span style=&quot;color:#284799;&quot;&gt;米国は「大量破壊兵器を保有している」として2003年にイラクに攻め込んだ&lt;/span&gt;が、&lt;span style=&quot;color:#284799;&quot;&gt;発見できなかった&lt;/span&gt;。
&lt;div style=&quot;text-align:right;&quot;&gt;
&lt;small&gt;&lt;a href=&quot;http://www.nikkei.com/article/DGXKZO15073890Y7A400C1EA1000/&quot;&gt;日経新聞 2017年4月8日 社説&lt;/a&gt;&lt;/small&gt;
&lt;/div&gt;
&lt;/blockquote&gt;
&lt;p&gt;
この文章でも最も伝えたい結論はオピニオンだ。ファクトはすべてそれを裏付けるための根拠として使用しているのが分かるだろう。社説については事実を述べることよりも意見を述べることを趣旨としているためおおむねオピニオンが結論として現れる。
&lt;/p&gt;

&lt;h4&gt;主観はファクトとなるか&lt;/h4&gt;
&lt;p&gt;
ファクトは感情や印象に左右されない事実のみに注目する。ここで注意したいのは「そういう意見を持っていること」自体が客観的事実なら主観をファクトとして扱う必要があるということだ。
&lt;/p&gt;
&lt;p&gt;
たとえば「安倍内閣は継続するか」という論議において支持/不支持は国民それぞれの主観だが「内閣支持率は50.5%、不支持は31.2%」は統計的根拠に裏付けられ論点に影響するファクトといえる。しかし「私は安倍内閣を支持しない」という個人的な意見はオピニオンであろう。
&lt;/p&gt;
&lt;p&gt;
一方で「福島の帰宅可能区域を拡大するにあたって住民の意向は」のようにオピニオンそのものを論点とすることもある。この場合、論点とはいえ「避難所生活は辛く人体に影響がないレベルの放射線量であれば早く家に帰りたい」はあくまでオピニオンであってファクトとはいえない (来月になったら気が変わっているかも知れない)。
&lt;/p&gt;
&lt;p&gt;
正直なところ主観がファクトになるかという部分は (ケースとして多いわけではないが) この思考方法で弱い点だろう。
実際、この抜け穴を突いてイデオロギー (オピニオン) をファクトに偽装するような手口がしばしば使われているように感じている。
特に他人の主観を語るときは伝える人間の意図が入りやすい。
&lt;/p&gt;

&lt;h3&gt;考察と論議&lt;/h3&gt;
&lt;h4&gt;F/Oを前進させよう&lt;/h4&gt;
&lt;p&gt;
ファクトは客観的事実に基づかなければならない。オピニオンに基づいたファクトは存在しないが、あるファクトから別のファクトを導き出すことは可能である。対してオピニオンはファクトまたは別のオピニオン基づいていなければならない。
&lt;/p&gt;
&lt;p&gt;
ファクトやオピニオンに裏付けられていないオピニオン ─ ここでは&lt;b&gt;擬オピニオン&lt;/b&gt; (pseudo-opinion) と呼ぶことにする ─ は単なる感想や空想、デマである。擬オピニオンは何の結論も導かなかったり、結論の根底がきわめて脆弱になるため考察や論議の場に持ち込むべきではない。
&lt;/p&gt;
&lt;div class=&quot;separator&quot; style=&quot;clear: both; text-align: center;&quot;&gt;&lt;a href=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhHmQ5nvYH4A0w6-H0l5qiVa9F2Svr_x6RvpEayZYmcJ2OcL_CAMLOK-MJufMq1aKnTYGefahd3An_uW8ucJQ4jGVEy4a8hkP4OogtcqHdwDYD3vJ7qBTGfv4ix94crL3zyoIEVWP2L2lQ/s1600/fact-opinion-consideration.png&quot; imageanchor=&quot;1&quot; style=&quot;margin-left: 1em; margin-right: 1em;&quot;&gt;&lt;img border=&quot;0&quot; src=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhHmQ5nvYH4A0w6-H0l5qiVa9F2Svr_x6RvpEayZYmcJ2OcL_CAMLOK-MJufMq1aKnTYGefahd3An_uW8ucJQ4jGVEy4a8hkP4OogtcqHdwDYD3vJ7qBTGfv4ix94crL3zyoIEVWP2L2lQ/s1600/fact-opinion-consideration.png&quot; style=&quot;padding:1em;&quot; /&gt;&lt;/a&gt;&lt;/div&gt;
&lt;p&gt;
他にも Opinion (仮説) + Fact で元の Opinion が Fact に昇格するようなケースもあるが話を簡単にするためここでは取り扱わない。
&lt;/p&gt;

&lt;h4&gt;ゴールはオピニオン&lt;/h4&gt;
&lt;p&gt;
ファクトとオピニオンの接続を連ねて行くとオピニオンにしかならないことが分かるだろう。判断、方針、仮説、解釈のように、世の中の多くの論議は&lt;u&gt;最終的にオピニオンを導くことをゴールとしている&lt;/u&gt;。ファクト (調査や観測などで得られた客観的事実) はオピニオンを導き出すための素材でなければならない。このようにファクトとオピニオンを連ねてより高位へ進むことをこの記事では&lt;b&gt;考察&lt;/b&gt; (Consideration) または&lt;b&gt;論議&lt;/b&gt; (Discussion) を進めると表現しておこう。
&lt;/p&gt;
&lt;p&gt;
考察を逆方向に進むことは&lt;u&gt;根拠を述べること&lt;/u&gt;に等しい。&lt;b&gt;ファクトチェック&lt;/b&gt;とはオピニオンの根拠となったファクトをさかのぼってその検証を行うことである。
&lt;/p&gt;
&lt;p&gt;
ちなみに考え事や論議をする上で何が何に基づいて導かれたかを上記のような考察グラフで表すと、考察の道筋が可視化され新たなひらめきや疑問が生じたときにその根拠をたどりやすい。俗に&lt;b&gt;マインドマップ&lt;/b&gt;と呼ばれるものがそれである。
&lt;/p&gt;

&lt;h3&gt;O2O論法は脆弱&lt;/h3&gt;
&lt;div class=&quot;separator&quot; style=&quot;clear: both; text-align: center;&quot;&gt;&lt;a href=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgkFM5WD97-7vFsSHog3yoWqpBmXGWvXvnvJxFH_Bv-lHcQA62ii-88jGQQnLliNGIdAmvMo8c4LMjjU9Rv2Bcp0MoGYUJIEHKejFDH0Jb2YGNUS-Hq80s765NseQK0GcnQ8BzrAq0sYKk/s1600/fantastic-opinion.png&quot; imageanchor=&quot;1&quot; style=&quot;clear: right; float: right; margin-bottom: 1em; margin-left:&quot;&gt;&lt;img border=&quot;0&quot; src=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgkFM5WD97-7vFsSHog3yoWqpBmXGWvXvnvJxFH_Bv-lHcQA62ii-88jGQQnLliNGIdAmvMo8c4LMjjU9Rv2Bcp0MoGYUJIEHKejFDH0Jb2YGNUS-Hq80s765NseQK0GcnQ8BzrAq0sYKk/s1600/fantastic-opinion.png&quot; style=&quot;padding:1em;&quot; /&gt;&lt;/a&gt;&lt;/div&gt;
&lt;p&gt;
オピニオンからオピニオンを導き出すこと (&lt;b&gt;O2O&lt;/b&gt;; Opinion to Opinion と呼んでおこう) は間違いではないが脆弱になりがちであることに注意したい。可能な限り使わない方が良いし、耳にした場合は相手の真意が別のところにないかを疑ってみた方がよい。
&lt;/p&gt;
&lt;p&gt;
その理由としてオピニオンは変わってしまうことがある。主観に基づいたオピニオンはもちろんのこと、新たなファクトが見つかったことでオピニオンの根拠が変わりオピニオンに影響することは珍しくない。オピニオンが変わるとそれを根拠にしていたオピニオンも変えざるを得ない。
&lt;/p&gt;
&lt;p&gt;
もう一つの理由として、ファクトからオピニオンまでのホップ数が増えるにつれて本人に都合の良い主観や恣意が紛れ込みやすく、先述の擬オピニオンと同等の脆弱さを含むようになるためだ。私が常々&lt;u&gt;事実に基づいた懸念は考慮に値するが、仮定に基づいた懸念はただの妄想だ&lt;/u&gt;と主張しているのはこのためである。
&lt;/p&gt;
&lt;p&gt;
実際このような結論の組み立て方は安っぽいアジテーションや世論誘導、不安商法、詐欺などでよく見られる論法である。もしアジ演説や &quot;商品説明会&quot; などをやる機会があればぜひ試してみると良いだろう。そういう場では理論立てた話よりも哲学で言うところの pathos が重視されるのだ。
&lt;/p&gt;

&lt;h4&gt;根拠の選択的排除&lt;/h4&gt;
&lt;p&gt;
&lt;b&gt;結論ありき&lt;/b&gt;の論議は日常でもよく見かけるシーンだ。その動機はイデオロギーからポジショントーク、商売、偏見、個人的な嗜好まで様々なのでここでは論議しないが、これが考察や論議の健全さを妨害する行為であることは明らかだろう。
&lt;/p&gt;
&lt;p&gt;
結論ありきとはつまり&lt;u&gt;オピニオンの恣意的な誘導&lt;/u&gt;である。手法としては目的の結論を導き出すために根拠となるファクトまたはオピニオンを&lt;u&gt;選択的に排除&lt;/u&gt;する。要は「都合の悪い事実は見ない」というやつである。ファクトの無視、気づいていないふり(馬鹿のふり)、ひどいものになると適当な理由をつけてファクトをデマ認定するなどが見られる。
&lt;/p&gt;
&lt;p&gt;
ただ根拠をオピニオンに取り込むかは本人の判断次第なところがやっかいで弱い点だ。厚顔で押し通せるなら O2O でこじつけても良い。対処として明確な答えは持っていないが、ファクトの一つ一つを合意し言質を取ること、O2O は使わないと事前に合意すること、などの下積みが必要なのだろう。
&lt;/p&gt;
&lt;p&gt;
技術・研究分野の初等で徹底的にたたき込まれる&lt;b&gt;認めがたくも事実は事実&lt;/b&gt;という思想はまさにこのような、自分たちに都合の良い結論のために事実を選択的に排除しないための倫理といえるだろう。
&lt;/p&gt;

&lt;h4&gt;考察の例&lt;/h4&gt;
&lt;p&gt;
ファクトとオピニオンの接続についてイメージしやすいようにいくつか例を挙げてみよう。原則どれも「従って」「なぜならば」で接続できるはずだ。
&lt;/p&gt;
&lt;table class=&quot;wikitable&quot; style=&quot;font-size:10pt;&quot;&gt;
&lt;tr&gt;
  &lt;th&gt;&lt;nobr&gt;Fact&lt;/nobr&gt;&lt;/th&gt;
  &lt;td&gt;&lt;span style=&quot;color:#284799;&quot;&gt;アサド政権が化学兵器を用いて空爆を行った&lt;/span&gt;。&lt;br/&gt;&lt;span style=&quot;color:#284799;&quot;&gt;米軍のミサイル攻撃直後にアメリカの株価が暴落した&lt;/span&gt;。&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
  &lt;th&gt;F→F&lt;/th&gt;
  &lt;td&gt;&lt;span style=&quot;color:#284799;&quot;&gt;アサド政権が化学兵器を用いた&lt;/span&gt;ことは、&lt;span style=&quot;color:#284799;&quot;&gt;政権は化学兵器禁止条約に違反した&lt;/span&gt;ことを意味する。&lt;br/&gt;&lt;span style=&quot;color:#284799;&quot;&gt;多くの投資家が経済の先行き不安を感じた&lt;/span&gt;ため&lt;span style=&quot;color:#284799;&quot;&gt;米国の株価は暴落した&lt;/span&gt;。&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
  &lt;th&gt;F→O&lt;/th&gt;
  &lt;td&gt;&lt;span style=&quot;color:#284799;&quot;&gt;アサド政権が国際条約に違反した&lt;/span&gt;ことにより、&lt;span style=&quot;color:#FF5A36;&quot;&gt;政権側を支援するロシアの立場も一層悪くなるだろう&lt;/span&gt;。&lt;br/&gt;&lt;span style=&quot;color:#284799;&quot;&gt;非戦闘員を標的にしたアサド政権&lt;/span&gt;は&lt;span style=&quot;color:#FF5A36;&quot;&gt;支持できない&lt;/span&gt;。&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
  &lt;th&gt;O→O&lt;/th&gt;
  &lt;td&gt;&lt;span style=&quot;color:#FF5A36;&quot;&gt;非人道的兵器の使用はとうてい許されるものではない&lt;/span&gt;。&lt;span style=&quot;color:#FF5A36;&quot;&gt;各国は協力してアサド政権に制裁を加えるべきだ&lt;/span&gt;。&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
  &lt;th&gt;O→F&lt;/th&gt;
  &lt;td&gt;
    &lt;span style=&quot;color:#FF5A36;&quot;&gt;非人道的兵器の使用はとうてい許されるものではない&lt;/span&gt;。だから… (ファクトにはつながらない)。
    ※ただし「～とうてい許されるものではないと『世論が大きく傾いた』。だから米国は巡航ミサイルを使用した」という意味であれば世論は定量的な調査が可能であるため Fact → Fact である。
  &lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
  &lt;th&gt;&lt;nobr&gt;Opinion&lt;/nobr&gt;&lt;/th&gt;
  &lt;td&gt;根拠はないけど&lt;span style=&quot;color:#FF5A36;&quot;&gt;アサド政権はクソ&lt;/span&gt;。 (で?)&lt;br/&gt;&lt;span style=&quot;color:#FF5A36;&quot;&gt;アサドはわりとイケメン&lt;/span&gt;。(で?)&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
  &lt;th&gt;F+F→O&lt;/th&gt;
  &lt;td&gt;&lt;span style=&quot;color:#284799;&quot;&gt;アサド政権は化学兵器を使用した&lt;/span&gt;。最近では&lt;span style=&quot;color:#284799;&quot;&gt;金正男氏の暗殺に VXガスが使用された&lt;/span&gt;のが記憶に新しい。&lt;span style=&quot;color:#FF5A36;&quot;&gt;北朝鮮からシリアへ毒ガス製造のノウハウが流れた可能性がある&lt;/span&gt;。&lt;/td&gt;
&lt;/tr&gt;
&lt;/table&gt;
&lt;p&gt;
O2O は明確に間違いとまではいえないが恣意的な誘導が含まれているように感じないだろうか。
&lt;/p&gt;

&lt;h3&gt;言説の保証&lt;/h3&gt;

&lt;h4&gt;何によって保証されるか&lt;/h4&gt;
&lt;div class=&quot;separator&quot; style=&quot;clear: both; text-align: center;&quot;&gt;&lt;a href=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhgi3WmbwCIIyWFMx7G64tgTnrwjagKrQxfkWSzsBE-fLS0s4sVLd8jNenVnKFenme0HzcsK3GwPFgMnpqWG6frUk0VLkqjeCz_KqV6gPgtNAErQowA1S4mx48hy9bwoXKpXBm5jMPcOuc/s1600/dema.png&quot; imageanchor=&quot;1&quot; style=&quot;clear: right; float: right; margin-bottom: 1em; margin-left: 1em;&quot;&gt;&lt;img border=&quot;0&quot; src=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhgi3WmbwCIIyWFMx7G64tgTnrwjagKrQxfkWSzsBE-fLS0s4sVLd8jNenVnKFenme0HzcsK3GwPFgMnpqWG6frUk0VLkqjeCz_KqV6gPgtNAErQowA1S4mx48hy9bwoXKpXBm5jMPcOuc/s1600/dema.png&quot; style=&quot;padding:1em;&quot; /&gt;&lt;/a&gt;&lt;/div&gt;
&lt;p&gt;
ファクトは背景に普遍性を必須とするため客観的根拠やエビデンスを以てその正当性を保証することができる。間違ったファクトとは事実と異なるファクトであり、それはつまり&lt;b&gt;デマ&lt;/b&gt;を意味する。
&lt;/p&gt;
&lt;p&gt;
デマはそれを根拠とする別のファクトやオピニオンに汚染を広げ論議や考察を間違った結論に導く。デマの言説を流布することも、デマと知りながら根拠とすることも考察や論議の目的を考えれば&lt;u&gt;明らかに禁止すべき&lt;/u&gt;である。またデマの可能性が疑わしい情報も考察の根拠からは外した方が良いだろう。
&lt;/p&gt;
&lt;p&gt;
対して理不尽な感情論も包含するオピニオンに正しさは存在しない。強いて言えば大多数が賛同するオピニオンは正しいといえるかもしれないが、ここではそのようなオピニオンの正しさについては考慮しない。オピニオンに対する正しさは「正義とは何か」に通じていて、立ち位置や時代によって変わる本質的にあやふやなものだ。
&lt;/p&gt;

&lt;h4&gt;表現の自由が保証する対象&lt;/h4&gt;
&lt;p&gt;
さて、オピニオンの正しさは明確な指標がなく各個人の判断に委任されることから、どのようなオピニオンも (受け入れるかは別にして) 言説することは保証されるべきである。これが&lt;b&gt;表現の自由&lt;/b&gt;の根幹であると私は考えている。ファクトはそもそも普遍性によって正しさが担保できることから表現の自由によって守る必要はない。ここで大事なのは間違ったファクトであるデマの流布は表現の自由の対象とはならない。
&lt;/p&gt;
&lt;p&gt;
大事なことなのでもう一度言う。
&lt;/p&gt;
&lt;div style=&quot;text-align:center;font-size:larger;&quot;&gt;
デマの流布は表現の自由の対象ではない
&lt;/div&gt;
&lt;p&gt;
ファクトはその根拠となるエビデンスによって評価することができる。対してオピニオンの評価は明確ではなく、その内容に偏見や思い込み、イデオロギーが含まれていないかを判断することになるだろう。どちらを評価するかかによってそのアプローチ方法は全く違うものになる。
&lt;/p&gt;
&lt;table class=&quot;wikitable&quot;&gt;
&lt;tr&gt;
  &lt;th&gt;&lt;/th&gt;
  &lt;th&gt;保証&lt;/th&gt;
  &lt;th&gt;評価&lt;/th&gt;
&lt;/tr&gt;
&lt;tr&gt;
  &lt;td&gt;ファクト&lt;/td&gt;
  &lt;td&gt;根拠の普遍性&lt;/td&gt;
  &lt;td&gt;根拠とするエビデンスの信頼性、過不足や改ざんなど&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
  &lt;td&gt;オピニオン&lt;/td&gt;
  &lt;td&gt;言論の自由&lt;/td&gt;
  &lt;td&gt;発信者の偏見や思い込み、無知、イデオロギーなど&lt;/td&gt;
&lt;/tr&gt;
&lt;/table&gt;

&lt;h2&gt;F/O表現&lt;/h2&gt;
&lt;h3&gt;提示表現&lt;/h3&gt;
&lt;p&gt;
言説がファクトなのかオピニオンなのかは選ぶ言葉である程度はっきりさせることができる。F/O がはっきりすると話の趣旨が明確になりより論理的で読みやすい文章となるだろう。
&lt;/p&gt;
&lt;p&gt;
ファクトを述べるときは断定形や過去形を使用する。ニュース記事は 8 割りがたファクトを表す文章なのであの文調を真似すると良いだろう。
オピニオンは感情的、主観的な言葉で締めくくられる。また「すべき」で締めることができる文はどんなにあたりまえのことであっても原則オピニオンである。
&lt;/p&gt;
&lt;p&gt;
上位の考察には必ず根拠がある。それらは下に向かって「なぜならば」で接続できなければならない。論議において特に新しいオピニオンを述べる場合はまず「私は～と思う、なぜならば～」のテンプレートで文章を組み立てるとよい。これを意識するだけで自分の意見が論理的に伝えることができるのでぜひ習慣化して欲しい。
&lt;/p&gt;

&lt;h4&gt;応答表現&lt;/h4&gt;
&lt;p&gt;
さて、話を聞く側としても相手がファクトを話したのかオピニオンを話したのかで応答の表現を変える必要がある。
&lt;/p&gt;
&lt;p&gt;
ファクトに対してはそれが正しいか正しくないかの2通りしかない。オピニオンに対してはもう少しバリエーションが豊富で、同意するかどうか、好みかどうか、あるいは二元での表現が適切でなければ別のオピニオンを述べるなど様々である。今まで述べた F/O の性質の違いを考えればこれらの応答を入れ替えたら意味が通らないことは明らかだろう。
&lt;/p&gt;
&lt;p&gt;
ここで特に注意して欲しいのは、オピニオンに対してファクト否定表現「正しくない/間違っている」を使ってはいけないということだ (これを取り違える人が非常に多い)。オピニオンの否定は相手にとって表現、言論、思想の自由の否定 (人格否定) とも受け止められトラブルや悪印象の元になる。それをして良いケースは根拠となるファクトが間違いであったときのみだし、それでも「君の意見は根拠が間違っている」と言わなければならない。
&lt;/p&gt;
&lt;p&gt;
全ての応答表現に対して (特に否定型を出す場合には) その根拠を示す「なぜならば」を用意しておくべきである。特に否定をする場合はその根拠となるファクトやオピニオンを示さなければ相手は考慮を進めることができず論議をする意味がない。
&lt;/p&gt;

&lt;table class=&quot;wikitable&quot;&gt;
&lt;tr&gt;
  &lt;th&gt;&lt;/th&gt;
  &lt;th&gt;提示表現&lt;/th&gt;
  &lt;th&gt;応答表現&lt;/th&gt;
&lt;/tr&gt;
&lt;tr&gt;
  &lt;td&gt;ファクト&lt;/td&gt;
  &lt;td&gt;した・だった(過去形)&lt;/td&gt;
  &lt;td&gt;正しい/正しくない&lt;br/&gt;間違っている&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
  &lt;td&gt;オピニオン&lt;/td&gt;
  &lt;td&gt;思う・残念だ・賛成だなどの感情表現/すべき&lt;/td&gt;
  &lt;td&gt;同意する/同意しない&lt;br/&gt;そう思う/思わない&lt;br/&gt;私向きだ/私向きではない&lt;/td&gt;
&lt;/tr&gt;
&lt;/table&gt;


&lt;h3&gt;おわり&lt;/h3&gt;
&lt;p&gt;
最近&lt;i&gt;ファクトチェック&lt;/i&gt;という言葉が流行っているようだ。ファクトは私がエンジニアとして生きる上で最も重要視する事柄と考えている。このエントリは二十代の頃にいくつもの火消しプロジェクトに携わった (そして某匿名掲示板で必死にデマや詭弁を見破ろうとしていた) 経験で得たファクトにまつわる思考方法を、良い機会なのでまとめておこうと書き出したものだ。実際に考えを書き下してみると網羅できていない部分や考慮の浅い部分などもよく分かって有用だった。
&lt;/p&gt;
&lt;p&gt;
この F/O 法は「怪しい情報に踊らされない」の他に「煙に巻きにくる狡猾な狸ジジイども」「チームに蔓延した得体の知れない不安」「分かりづらいく進まない論議」などいくつかの問題に対処するために使っている日常の基本部分だ。これをそのまま(亜流)ロジカルシンキングとしても成り立つだろう。ただ哲学方面や自己啓発方面などの裏付けがあるわけではないし、単に経験から得た持論であることをくみ取って気軽に読んで欲しいところです。
&lt;/p&gt;
&lt;p&gt;
うまい言葉が見つからない便宜上、なるべくそれと分かるようにいくつか造語を入れさせてもらいました。見慣れない言葉をググって出てこなければたぶんここの造語です。
&lt;/p&gt;</content><link rel='replies' type='application/atom+xml' href='http://koiroha.blogspot.com/feeds/2856892303113227991/comments/default' title='コメントの投稿'/><link rel='replies' type='text/html' href='http://koiroha.blogspot.com/2017/04/fact-opinion-thinking-protocol.html#comment-form' title='0 件のコメント'/><link rel='edit' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/2856892303113227991'/><link rel='self' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/2856892303113227991'/><link rel='alternate' type='text/html' href='http://koiroha.blogspot.com/2017/04/fact-opinion-thinking-protocol.html' title='論議と考察のためのプロトコル - F2O'/><author><name>kuromoyo</name><uri>http://www.blogger.com/profile/06743675683543438152</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><media:thumbnail xmlns:media="http://search.yahoo.com/mrss/" url="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhyGLpCYFdwmXWYdQ4kAHTeHONGIbDRnEl3NSFSR8DAGYiQRorLPE7OPnmSNwqhYZNXoHA4XJA5CqAjQWkeiCzp5Ppn_sEezAPxPl9lPmUv5YkFzmZFKs8nZv6HiPzHjvYJD5Ijcx4Pkis/s72-c/object-fact-opinion.png" height="72" width="72"/><thr:total>0</thr:total></entry><entry><id>tag:blogger.com,1999:blog-9192882573722458820.post-453156006283353491</id><published>2015-06-24T21:33:00.000+09:00</published><updated>2015-06-24T21:49:26.272+09:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="Distributed System"/><category scheme="http://www.blogger.com/atom/ns#" term="Spark"/><category scheme="http://www.blogger.com/atom/ns#" term="分散システム"/><title type='text'>Spark 1.4 分散実行環境の構築</title><content type='html'>&lt;p&gt;
Spark 1.4.0 へのバージョンアップでクラスタを再構築する必要があったので、ついでに一番簡単な Spark 分散環境を構築する方法を書き留めておきます。なお Worker 用のスレーブノードを用意しているだけで EC2 や YARN などは使用していません。
&lt;/p&gt;

&lt;dl&gt;
&lt;dt&gt;1. ダウンロード&lt;/dt&gt;
&lt;dd&gt;
&lt;p&gt;
&lt;a href=&quot;http://spark.apache.org/downloads.html&quot;&gt;Spark ダウンロード&lt;/a&gt; から実行環境に適切なアーカイブを選んでダウンロードし解凍します。
当方では CDH4 に実行対象のデータが存在しているので spark-1.4.0-bin-cdh4.tgz を使用します。 
&lt;/p&gt;
&lt;/dd&gt;
&lt;dt&gt;&lt;b&gt;2. 環境設定&lt;/b&gt;&lt;/dt&gt;
&lt;dd&gt;
&lt;p&gt;
&lt;code&gt;conf/slaves&lt;/code&gt; を編集して Worker プロセスを起動するスレーブの IP アドレスまたはホスト名を指定します。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
&lt;span class=&quot;prompt&quot;&gt;clove@torao$&lt;/span&gt; cp conf/slaves.template conf/slaves
&lt;span class=&quot;prompt&quot;&gt;clove@torao$&lt;/span&gt; vim conf/slaves
# A Spark Worker will be started on each of the machines listed below.
192.168.101.21
192.168.101.22
192.168.101.23
...
&lt;/pre&gt;
&lt;p&gt;
Spark のリモート管理系コマンドはそれぞれのスレーブに ssh で接続して Worker プロセスを起動します。各スレーブで公開鍵認証を on にして authorized_keys に公開鍵を登録してパスワードなしで ssh 接続できるようにしておくと楽ですが、手動でそれぞれのスレーブに ssh ログインして sbin/slave.sh で個別に起動しておくこともできます。
&lt;/p&gt;
&lt;p&gt;
各スレーブに conf の設定の済んだバイナリを配布し、環境変数 SPARK_HOME の設定、PATH へ $SPARK_HOME/bin の追加を行っておきます (NFS などでマウントできれば楽)。
&lt;/p&gt;
&lt;p&gt;
slaves.sh を使用して全てのスレーブに接続可能、かつ spark のコマンドを実行可能であることを確認します。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
&lt;span class=&quot;prompt&quot;&gt;clove@torao$&lt;/span&gt; sbin/slaves.sh echo &#39;`hostname`&#39;
clove04: clove04
clove01: clove01
clove02: clove02
...
&lt;span class=&quot;prompt&quot;&gt;clove@torao$&lt;/span&gt; sbin/slaves.sh spark-shell --version
clove02: Welcome to
clove02:       ____              __
clove02:      / __/__  ___ _____/ /__
clove02:     _\ \/ _ \/ _ `/ __/  &#39;_/
clove02:    /___/ .__/\_,_/_/ /_/\_\   version 1.4.0
clove02:       /_/
clove02:
clove02: Type --help for more information.
clove01: Welcome to
clove01:       ____              __
clove01:      / __/__  ___ _____/ /__
clove01:     _\ \/ _ \/ _ `/ __/  &#39;_/
clove01:    /___/ .__/\_,_/_/ /_/\_\   version 1.4.0
clove01:       /_/
clove01:
clove01: Type --help for more information.
clove05: Welcome to
clove05:       ____              __
clove05:      / __/__  ___ _____/ /__
clove05:     _\ \/ _ \/ _ `/ __/  &#39;_/
clove05:    /___/ .__/\_,_/_/ /_/\_\   version 1.4.0
clove05:       /_/
clove05:
clove05: Type --help for more information.
...
&lt;/pre&gt;
&lt;/dd&gt;
&lt;dt&gt;&lt;b&gt;3. マスター/スレーブの起動と停止&lt;/b&gt;&lt;/dt&gt;
&lt;dd&gt;
&lt;p&gt;
マスター/スレーブまとめて起動/停止を行うには以下のコマンドを実行します。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
&lt;span class=&quot;prompt&quot;&gt;clove@torao$&lt;/span&gt; sbin/start-all.sh
&lt;span class=&quot;prompt&quot;&gt;clove@torao$&lt;/span&gt; sbin/stop-all.sh
&lt;/pre&gt;
&lt;p&gt;
他に、マスターのみの起動/停止 (start-master.sh/stop-master.sh)、全スレーブの起動/停止 (start-slaves.sh/stop-slaves.sh)、スレーブごとの個別起動/停止 (個別のスレーブノード上で start-slave.sh/stop-slave.sh) などのコマンドが用意されています。
&lt;/p&gt;
&lt;/dd&gt;
&lt;dt&gt;&lt;b&gt;4. spark-shell を分散実行&lt;/b&gt;&lt;/dt&gt;
&lt;dd&gt;
&lt;p&gt;
--master spark://&lt;i&gt;master&lt;/i&gt;:7077 で分散実行のクラスタを指定して spark-shell を起動します。URL の &lt;i&gt;master&lt;/i&gt; 部分はマスターを起動したノードのホスト名か IP アドレスです。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
&lt;span class=&quot;prompt&quot;&gt;torao@cobalt$&lt;/span&gt; spark-shell --master spark://192.168.101.20:7077
15/06/24 21:17:02 INFO SecurityManager: Changing view acls to: torao
...
&lt;span class=&quot;prompt&quot;&gt;scala&amp;gt;&lt;/span&gt; sc.parallelize((0 to 9999).map{ _ =&amp;gt; math.random }).map{ _ * 2 }.sum
...
15/06/24 21:19:48 INFO TaskSetManager: Finished task 20.0 in stage 0.0 (TID 20) in 1167 ms on &lt;u&gt;192.168.101.22&lt;/u&gt; (76/80)
15/06/24 21:19:48 INFO TaskSetManager: Finished task 50.0 in stage 0.0 (TID 50) in 1135 ms on &lt;u&gt;192.168.101.23&lt;/u&gt; (77/80)
15/06/24 21:19:48 INFO TaskSetManager: Finished task 75.0 in stage 0.0 (TID 75) in 1113 ms on &lt;u&gt;192.168.101.23&lt;/u&gt; (78/80)
15/06/24 21:19:48 INFO TaskSetManager: Finished task 25.0 in stage 0.0 (TID 25) in 1171 ms on &lt;u&gt;192.168.101.22&lt;/u&gt; (79/80)
15/06/24 21:19:48 INFO TaskSetManager: Finished task 70.0 in stage 0.0 (TID 70) in 1128 ms on &lt;u&gt;192.168.101.22&lt;/u&gt; (80/80)
15/06/24 21:19:48 INFO DAGScheduler: ResultStage 0 (sum at &amp;lt;console&amp;gt;:22) finished in 1.236 s
15/06/24 21:19:48 INFO TaskSchedulerImpl: Removed TaskSet 0.0, whose tasks have all completed, from pool
15/06/24 21:19:48 INFO DAGScheduler: Job 0 finished: sum at &amp;lt;console&amp;gt;:22, took 1.470222 s
res0: Double = 10097.02811729086
&lt;/pre&gt;
&lt;p&gt;
乱数を倍にして合計しているだけの意味のない処理ですが、処理がタスクに分割され各スレーブの IP アドレスで実行されていれば分散化ができています。
&lt;/p&gt;
&lt;/dd&gt;
&lt;/dl&gt;
&lt;p&gt;
ちなみに分散化の効果についてですが、試しに HDFS 上のアクセスログからサイトごとのアクセス数を求める処理を行ってみて、ローカルの8コア/16スレッド (--master local[16]) で3分1秒かかった処理が同スペック 5 Worker への分散で 42 秒に短縮されました。
&lt;/p&gt;</content><link rel='replies' type='application/atom+xml' href='http://koiroha.blogspot.com/feeds/453156006283353491/comments/default' title='コメントの投稿'/><link rel='replies' type='text/html' href='http://koiroha.blogspot.com/2015/06/getting-started-spark-distribution.html#comment-form' title='0 件のコメント'/><link rel='edit' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/453156006283353491'/><link rel='self' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/453156006283353491'/><link rel='alternate' type='text/html' href='http://koiroha.blogspot.com/2015/06/getting-started-spark-distribution.html' title='Spark 1.4 分散実行環境の構築'/><author><name>kuromoyo</name><uri>http://www.blogger.com/profile/06743675683543438152</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><thr:total>0</thr:total></entry><entry><id>tag:blogger.com,1999:blog-9192882573722458820.post-5365853988676269825</id><published>2015-06-04T17:19:00.003+09:00</published><updated>2015-06-04T17:19:51.467+09:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="Flume"/><category scheme="http://www.blogger.com/atom/ns#" term="Ubuntu"/><title type='text'>Getting Started Apache Flume</title><content type='html'>&lt;p&gt;
Ubuntu 12.04.2 (precise) で Apache Flume 1.5.0 を動作させまさう。現在のところ &lt;a href=&quot;https://flume.apache.org/index.html&quot;&gt;Apache Flume&lt;/a&gt; 本家の最新バージョンは 1.6.0 ですが作業の簡易さのため &lt;a href=&quot;http://www.cloudera.com/content/cloudera/en/documentation/cdh5/v5-0-0/CDH5-Installation-Guide/cdh5ig_flume_package_install.html&quot;&gt;CDH 5.4.2&lt;/a&gt; (FlumeNG 1.5.0) を使用しています。
&lt;/p&gt;
&lt;h2&gt;インストール&lt;/h2&gt;
&lt;p&gt;
先に OS と Java のバージョン確認。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
&lt;span class=&quot;prompt&quot;&gt;torao@cobalt$&lt;/span&gt; cat /etc/os-release
NAME=&quot;Ubuntu&quot;
VERSION=&quot;12.04.2 LTS, Precise Pangolin&quot;
ID=ubuntu
ID_LIKE=debian
PRETTY_NAME=&quot;Ubuntu precise (12.04.2 LTS)&quot;
VERSION_ID=&quot;12.04&quot;
&lt;span class=&quot;prompt&quot;&gt;torao@cobalt$&lt;/span&gt; java -version
java version &quot;1.7.0_67&quot;
Java(TM) SE Runtime Environment (build 1.7.0_67-b01)
Java HotSpot(TM) 64-Bit Server VM (build 24.65-b04, mixed mode)
&lt;/pre&gt;
&lt;p&gt;
CDH5 のリポジトリを追加して flume agent をインストール。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
&lt;span class=&quot;prompt&quot;&gt;torao@cobalt$&lt;/span&gt; wget &quot;http://archive-primary.cloudera.com/cdh5/one-click-install/precise/amd64/cdh5-repository_1.0_all.deb&quot;
--2015-06-04 13:40:25--  http://archive-primary.cloudera.com/cdh5/one-click-install/precise/amd64/cdh5-repository_1.0_all.deb
Resolving archive-primary.cloudera.com (archive-primary.cloudera.com)... 54.237.90.33
Connecting to archive-primary.cloudera.com (archive-primary.cloudera.com)|54.237.90.33|:80... connected.
…

&lt;span class=&quot;prompt&quot;&gt;torao@cobalt$&lt;/span&gt; sudo dpkg -i cdh5-repository_1.0_all.deb
Selecting previously unselected package cdh5-repository.
(Reading database ... 19654 files and directories currently installed.)
Unpacking cdh5-repository (from cdh5-repository_1.0_all.deb) ...
…

&lt;span class=&quot;prompt&quot;&gt;torao@cobalt$&lt;/span&gt; sudo apt-get install flume-ng flume-ng-agent
Reading package lists... Done
Building dependency tree
Reading state information... Done
…
Setting up flume-ng-agent (1.5.0+cdh5.4.2+122-1.cdh5.4.2.p0.4~precise-cdh5.4.2) ...
 * Starting Flume NG agent daemon (flume-ng-agent):

&lt;span class=&quot;prompt&quot;&gt;torao@cobalt$&lt;/span&gt; /usr/lib/flume-ng/bin/flume-ng version
Flume 1.5.0-cdh5.4.2
Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
Revision: 630ff10f2befd181e22e07dc79a14b36e36ee6f6
Compiled by jenkins on Tue May 19 16:59:57 PDT 2015
From source with checksum b364b946fbf965da57c00c8cde1ddd74

&lt;span class=&quot;prompt&quot;&gt;torao@cobalt$&lt;/span&gt; sysv-rc-conf --list | grep flume-ng
flume-ng-age 0:off      1:off   2:on    3:on    4:on    5:on    6:off
&lt;/pre&gt;
&lt;p&gt;
インストールが完了すると自動で &lt;code&gt;flume-ng-agent&lt;/code&gt; が起動しました。
&lt;/p&gt;

&lt;h2&gt;動作確認&lt;/h2&gt;
&lt;p&gt;
設定ファイルを付属のサンプル設定で更新するとログファイルに延々と連番が出力され始めます。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
&lt;span class=&quot;prompt&quot;&gt;torao@cobalt$&lt;/span&gt; sudo cp /etc/flume-ng/conf/flume-conf.properties.template /etc/flume-ng/conf/flume.conf

&lt;span class=&quot;prompt&quot;&gt;torao@cobalt$&lt;/span&gt; tail -f /var/log/flume-ng/flume.log
04 Jun 2015 06:10:27,993 INFO  [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.LoggerSink.process:94)  - Event: { headers:{} body: 35 35 32 38 32 36 38                            5528268 }
04 Jun 2015 06:10:27,993 INFO  [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.LoggerSink.process:94)  - Event: { headers:{} body: 35 35 32 38 32 36 39                            5528269 }
04 Jun 2015 06:10:27,993 INFO  [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.LoggerSink.process:94)  - Event: { headers:{} body: 35 35 32 38 32 37 30                            5528270 }
…
&lt;/pre&gt;
&lt;p&gt;
このサンプル設定は以下の通り。連番を生成するだけの Source、メモリ上に保持する Channel、ログに出力するだけの Sink で構成されています。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
agent.sources = seqGenSrc
agent.channels = memoryChannel
agent.sinks = loggerSink

agent.sources.seqGenSrc.type = seq
agent.sources.seqGenSrc.channels = memoryChannel
agent.sinks.loggerSink.type = logger
agent.sinks.loggerSink.channel = memoryChannel
agent.channels.memoryChannel.type = memory
agent.channels.memoryChannel.capacity = 100
&lt;/pre&gt;
&lt;p&gt;
Source が正規のデータソースと接続されているなら Sink に &lt;code&gt;null&lt;/code&gt; を指定して停止しますが、上記は自己完結のサンプルなので設定ファイルを空のファイルで置き換えて停止します。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
&lt;span class=&quot;prompt&quot;&gt;torao@cobalt$&lt;/span&gt; sudo cp /dev/null /etc/flume-ng/conf/flume.conf
&lt;span class=&quot;prompt&quot;&gt;torao@cobalt$&lt;/span&gt; tail -f /var/log/flume-ng/flume.log
…
04 Jun 2015 06:35:13,615 INFO  [conf-file-poller-0] (org.apache.flume.instrumentation.MonitoredCounterGroup.stop:178)  - Shutdown Metric for type: CHANNEL, name: memoryChannel. channel.event.take.success == 38342279
04 Jun 2015 06:35:13,615 INFO  [conf-file-poller-0] (org.apache.flume.node.Application.startAllComponents:138)  - Starting new configuration:{ sourceRunners:{} sinkRunners:{} channels:{} }
&lt;/pre&gt;
&lt;p&gt;
設定ファイルの更新を検知して素早くスマートに流れを変更できるのがデータ収集フレームワークの良いところですね。
標準で使用できる Source, Channel, Sink 実装は
&lt;a href=&quot;https://flume.apache.org/FlumeUserGuide.html#flume-sources&quot;&gt;本家&lt;/a&gt;や &lt;a href=&quot;http://www.cloudera.com/content/cloudera/en/documentation/cdh5/v5-0-0/CDH5-Installation-Guide/cdh5ig_flume_supported_sources_sinks_channels.html&quot;&gt;Cloudera&lt;/a&gt; で参照できます。
&lt;/p&gt;
</content><link rel='replies' type='application/atom+xml' href='http://koiroha.blogspot.com/feeds/5365853988676269825/comments/default' title='コメントの投稿'/><link rel='replies' type='text/html' href='http://koiroha.blogspot.com/2015/06/getting-started-apache-flume.html#comment-form' title='0 件のコメント'/><link rel='edit' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/5365853988676269825'/><link rel='self' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/5365853988676269825'/><link rel='alternate' type='text/html' href='http://koiroha.blogspot.com/2015/06/getting-started-apache-flume.html' title='Getting Started Apache Flume'/><author><name>kuromoyo</name><uri>http://www.blogger.com/profile/06743675683543438152</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><thr:total>0</thr:total></entry><entry><id>tag:blogger.com,1999:blog-9192882573722458820.post-5286117961180336982</id><published>2015-02-17T23:10:00.000+09:00</published><updated>2015-02-17T23:19:34.486+09:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="DOM"/><category scheme="http://www.blogger.com/atom/ns#" term="HTML"/><category scheme="http://www.blogger.com/atom/ns#" term="JavaScript"/><title type='text'>DOM 構造変化時のイベント処理</title><content type='html'>&lt;p&gt;
不特定サイト向けに設計する JavaScript は jQuery 等の便利ライブラリ環境を前提とすることが難しく、従って素の JavaScript で書く事が多い。このような状況での互換性問題は難しさ一つでもある。
&lt;/p&gt;
&lt;p&gt;
今回は動的に追加された要素へイベントハンドラを設定する方法 (jQuery で言うところの &lt;code&gt;on()&lt;/code&gt; の振り替え手段) と古い IE への対応方法について調べている。単純に考えて DOM に新しいノードが追加された時にイベントハンドラを設定してやれば良いのだが、これまた古い IE では W3C DOM Events 仕様だけでは難しいようだ。
&lt;/p&gt;
&lt;h3&gt;W3C DOM Events を使用する&lt;/h3&gt;
&lt;p&gt;
DOM の構造変化を検出する方法としては &lt;a href=&quot;http://www.w3.org/TR/dom/&quot;&gt;W3C DOM4 仕様&lt;/a&gt;の &lt;a href=&quot;http://www.w3.org/TR/dom/#mutation-observers&quot;&gt;&lt;code&gt;MutationObserver&lt;/code&gt;&lt;/a&gt; を使った方法と &lt;a href=&quot;http://www.w3.org/TR/DOM-Level-3-Events/&quot;&gt;DOM Level3 Events 仕様&lt;/a&gt;の &lt;code&gt;&quot;DOMNodeInserted&quot;&lt;/code&gt; にイベントリスナを設定する方法とがある (DOM3 の方法は deprecated であり DOM4 が推奨されているが古いブラウザに対応するためにはそうも言ってられない)。具体的な条件判断は以下のようになるだろう。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
if(typeof MutationObserver !== &quot;undefined&quot;){
  var observer = new MutationObserver(function(e){ console.log(&quot;node mutated&quot;); });
  observer.observe(elem, { childList: true, subtree: true });
} else if(typeof elem.addEventListener !== &quot;&quot;){
  elem.addEventListener(&quot;DOMNodeInserted&quot;, function(e){ console.log(&quot;node inserted&quot;); }, false);
} else {
  // 正攻法では対応できないブラウザ (古いIEは attachEvent() しかないが DOMNodeInserted には未対応)
}
&lt;/pre&gt;
&lt;ul&gt;
&lt;li&gt;&lt;a href=&quot;https://developer.mozilla.org/en-US/docs/Web/Guide/Events/Mutation_events&quot;&gt;Mutation events - Web developer guide | MDN&lt;/a&gt;&lt;/li&gt;
&lt;li&gt;&lt;a href=&quot;https://developer.mozilla.org/ja/docs/Web/API/MutationObserver&quot;&gt;MutationObserver - Web API インターフェイス | MDN&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;
実際にサンプルコードを動かして現時点でのブラウザごとの対応状況を調べてみよう。
&lt;/p&gt;

&lt;table class=&quot;wikitable&quot;&gt;
&lt;tr&gt;
  &lt;th&gt;OS&lt;/th&gt;
  &lt;th&gt;ブラウザ&lt;/th&gt;
  &lt;th&gt;バージョン&lt;/th&gt;
  &lt;th&gt;DOM4&lt;/th&gt;
  &lt;th&gt;DOM3&lt;/th&gt;
&lt;/tr&gt;
&lt;tr&gt;&lt;td rowspan=&quot;7&quot;&gt;Windows 7&lt;/td&gt;&lt;td&gt;Chrome&lt;/td&gt;&lt;td&gt;40&lt;/td&gt;&lt;td&gt;○&lt;/td&gt;&lt;td&gt;○&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;Firefox&lt;/td&gt;&lt;td&gt;34&lt;/td&gt;&lt;td&gt;○&lt;/td&gt;&lt;td&gt;○&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;IE&lt;/td&gt;&lt;td&gt;11&lt;/td&gt;&lt;td&gt;○&lt;/td&gt;&lt;td&gt;○&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;IE&lt;/td&gt;&lt;td&gt;10&lt;/td&gt;&lt;td&gt;×&lt;/td&gt;&lt;td&gt;○&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;IE&lt;/td&gt;&lt;td&gt;9&lt;/td&gt;&lt;td&gt;×&lt;/td&gt;&lt;td&gt;○&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;IE&lt;/td&gt;&lt;td&gt;8&lt;/td&gt;&lt;td&gt;×&lt;/td&gt;&lt;td&gt;×&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;IE&lt;/td&gt;&lt;td&gt;7&lt;/td&gt;&lt;td&gt;×&lt;/td&gt;&lt;td&gt;×&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td rowspan=&quot;3&quot;&gt;Android 4.2&lt;/td&gt;&lt;td&gt;Arrows NX 標準ブラウザ&lt;/td&gt;&lt;td&gt;-&lt;/td&gt;&lt;td&gt;×&lt;/td&gt;&lt;td&gt;○&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;Chrome&lt;/td&gt;&lt;td&gt;40&lt;/td&gt;&lt;td&gt;○&lt;/td&gt;&lt;td&gt;○&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;Firefox&lt;/td&gt;&lt;td&gt;○&lt;/td&gt;&lt;td&gt;○&lt;/td&gt;&lt;td&gt;○&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td rowspan=&quot;2&quot;&gt;iOS 8&lt;/td&gt;&lt;td&gt;Safari&lt;/td&gt;&lt;td&gt;-&lt;/td&gt;&lt;td&gt;○&lt;/td&gt;&lt;td&gt;○&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;Chrome&lt;/td&gt;&lt;td&gt;40&lt;/td&gt;&lt;td&gt;○&lt;/td&gt;&lt;td&gt;○&lt;/td&gt;&lt;/tr&gt;
&lt;/table&gt;
&lt;p&gt;
IE9 以降を対象にするのであれば DOM4/DOM3 を併用しての対応が可能なようだ。
&lt;/p&gt;

&lt;h3&gt;IE8以前に対応するには&lt;/h3&gt;
&lt;p&gt;
問題は IE8 以前への対応である。
&lt;/p&gt;

&lt;h4&gt;DOM操作メソッドの書き換え&lt;/h4&gt;
&lt;p&gt;
&lt;code&gt;Element.prototype.appendChild&lt;/code&gt; や &lt;code&gt;insertBefore()&lt;/code&gt; などの DOM 操作系メソッドを書き換えてイベント発火処理を追加する。ただし IE7 では &lt;code&gt;Element&lt;/code&gt; が未定義のため IE8 向けの対応となる。環境が限定できる業務システムでのワークアラウンドとしては考慮できる。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
if(typeof Element !== &quot;undefined&quot;){
  (function(original){
    Element.prototype.appendChild = function(node){
      original.call(this, node);
      console.log(&quot;appendChild(&quot; + node + &quot;): fire dom change event in here.&quot;);
    }
  })(Element.prototype.appendChild);
  // 以下 insertBefore などにも適用
}
&lt;/pre&gt;

&lt;h4&gt;限定的に jQuery を使わせてもらう&lt;/h4&gt;
&lt;p&gt;
不特定のサイト向けとは言え jQuery を使っているサイトはそこそこあり、未対応にしてしまうより jQuery が使えるようであればそれを利用した方が利便性は高いとも言える (「必要であれば jQuery を併用して下さい」と交渉の余地があることもビジネス上は結構大事)。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
if(typeof jQuery !== &quot;undefined&quot;){
  jQuery(&quot;.myclass&quot;).on(&quot;click&quot;, function(){ console.log(&quot;clicked&quot;); });
}
&lt;/pre&gt;
&lt;p&gt;
ちなみに jQuery の &lt;code&gt;on()&lt;/code&gt; はどうやっているのか? さらっと見た感じではノードに対してイベントリスナを登録するのではなく、イベントが発生したときに都度その対象要素がトリガー条件と一致しているかを評価している様子。確かにこの方法であれば動的に追加されるノードをわざわざ検出する必要はない。ブラウザ間の挙動を広く吸収するのであれば自前で実装した方が良いのかも知れない。
&lt;/p&gt;

&lt;h4&gt;定期的に要素数を確認&lt;/h4&gt;
&lt;p&gt;
タイマーを使って定期的に &lt;code&gt;document.all.length&lt;/code&gt; あるいは対象要素の全ての子要素数を確認し、増減があったら何らかの要素が追加/削除されたとする。イベント駆動にはならないし対象の要素も分からないが、ワークアラウンドとしてはこれで事足りるケースもあるかもしれない。
&lt;/p&gt;

&lt;h4&gt;CSS Behavior を使用する&lt;/h4&gt;
&lt;p&gt;
IE5 から CSS Behavior が実装されておりスタイルの適用時に &lt;code&gt;expression&lt;/code&gt; (インライン) または &lt;code&gt;url&lt;/code&gt; (外部ファイル) で指定した JavaScript を実行することができる。これをワークアラウンドとして利用。
&lt;/p&gt;
&lt;p&gt;
以下のコードでは最初にノードが表示される時 (つまりノードが追加された時) に &lt;code&gt;insert_detected_by_css_behavior()&lt;/code&gt; が呼び出され、それ以降の再描画で適用されないように &lt;code&gt;&quot;none&quot;&lt;/code&gt; で消去している。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
function insert_detected_by_css_behavior(elem){
  elem.style.behavior = &quot;none&quot;;
  console.log(&quot;element inserted&quot;);
}
document.createStyleSheet().cssText = &quot;*{behavior:expression(insert_detected_by_css_behavior(this))}&quot;;
&lt;/pre&gt;
&lt;p&gt;
IE8 では &lt;a href=&quot;https://msdn.microsoft.com/en-us/library/ie/ms530723%28v=vs.85%29.aspx&quot;&gt;&lt;code&gt;-ms-behavior&lt;/code&gt;&lt;/a&gt; を使用しなければならないのか IE11 のエミュレーションモードでは動作しませんね。実機での動作確認が必要です。
&lt;/p&gt;
</content><link rel='replies' type='application/atom+xml' href='http://koiroha.blogspot.com/feeds/5286117961180336982/comments/default' title='コメントの投稿'/><link rel='replies' type='text/html' href='http://koiroha.blogspot.com/2015/02/event-handling-for-dom-inserted-in-javascript.html#comment-form' title='0 件のコメント'/><link rel='edit' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/5286117961180336982'/><link rel='self' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/5286117961180336982'/><link rel='alternate' type='text/html' href='http://koiroha.blogspot.com/2015/02/event-handling-for-dom-inserted-in-javascript.html' title='DOM 構造変化時のイベント処理'/><author><name>kuromoyo</name><uri>http://www.blogger.com/profile/06743675683543438152</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><thr:total>0</thr:total><georss:featurename>日本, 恵比寿駅（東京）</georss:featurename><georss:point>35.64669 139.710106</georss:point><georss:box>9.7123655 98.401512 61.581014499999995 -178.98130000000003</georss:box></entry><entry><id>tag:blogger.com,1999:blog-9192882573722458820.post-936191576450058354</id><published>2014-12-28T23:30:00.004+09:00</published><updated>2015-01-03T02:15:09.004+09:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="Ingress"/><title type='text'>東京都内の Ingress ポータル数を調べたよ</title><content type='html'>&lt;p&gt;
土日に Ingress をｱﾊｰﾝ♥して都内のポータル数を算出してみました。
&lt;/p&gt;
&lt;table class=&quot;wikitable&quot;&gt;
&lt;tr&gt;&lt;td&gt;港区&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;2,577&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;千代田区&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;2,186&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;杉並区&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;1,572&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;渋谷区&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;1,550&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;台東区&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;1,458&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;新宿区&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;1,425&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;中央区&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;1,332&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;大田区&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;1,311&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;世田谷区&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;1,230&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;江東区&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;1,033&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;文京区&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;1,014&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;足立区&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;981&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;練馬区&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;963&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;八王子市&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;901&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;中野区&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;886&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;品川区&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;837&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;府中市&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;681&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;目黒区&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;626&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;江戸川区&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;593&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;豊島区&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;564&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;墨田区&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;557&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;板橋区&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;531&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;町田市&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;486&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;葛飾区&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;439&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;調布市&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;371&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;立川市&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;340&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;青梅市&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;301&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;三鷹市&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;295&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;日野市&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;263&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;荒川区&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;261&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;東久留米市&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;259&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;武蔵野市&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;250&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;小平市&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;248&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;西多摩郡奥多摩町&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;241&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;多摩市&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;223&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;小金井市&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;208&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;西東京市&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;191&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;国分寺市&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;156&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;東村山市&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;144&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;あきる野市&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;142&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;北区&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;138&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;稲城市&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;119&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;清瀬市&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;117&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;国立市&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;80&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;福生市&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;79&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;昭島市&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;71&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;羽村市&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;70&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;東大和市&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;63&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;狛江市&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;60&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;西多摩郡瑞穂町&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;30&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;武蔵村山市&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;27&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;西多摩郡日の出町&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;24&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;西多摩郡檜原村&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;10&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;(該当なし)&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;3&lt;/td&gt;&lt;/tr&gt;
&lt;/table&gt;</content><link rel='replies' type='application/atom+xml' href='http://koiroha.blogspot.com/feeds/936191576450058354/comments/default' title='コメントの投稿'/><link rel='replies' type='text/html' href='http://koiroha.blogspot.com/2014/12/ingress-tokyo-portals.html#comment-form' title='0 件のコメント'/><link rel='edit' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/936191576450058354'/><link rel='self' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/936191576450058354'/><link rel='alternate' type='text/html' href='http://koiroha.blogspot.com/2014/12/ingress-tokyo-portals.html' title='東京都内の Ingress ポータル数を調べたよ'/><author><name>kuromoyo</name><uri>http://www.blogger.com/profile/06743675683543438152</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><thr:total>0</thr:total></entry><entry><id>tag:blogger.com,1999:blog-9192882573722458820.post-4236125029644111696</id><published>2014-09-21T16:26:00.002+09:00</published><updated>2014-09-21T22:51:56.324+09:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="Ajax"/><category scheme="http://www.blogger.com/atom/ns#" term="Cookie"/><category scheme="http://www.blogger.com/atom/ns#" term="CORS"/><category scheme="http://www.blogger.com/atom/ns#" term="Cross-Origin Resource Sharing"/><category scheme="http://www.blogger.com/atom/ns#" term="Web"/><category scheme="http://www.blogger.com/atom/ns#" term="クロスサイト"/><category scheme="http://www.blogger.com/atom/ns#" term="クロスドメイン"/><category scheme="http://www.blogger.com/atom/ns#" term="セキュリティ"/><title type='text'>異なるドメインのURLからデータを参照する方法 - Cross-Origin Resource Sharing</title><content type='html'>&lt;p&gt;
&lt;a href=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgbn5Yp6SHzdw6olIC0b4l65r5-Qpx99sdgB09QqNcb_E3Isy0heQyMfP6UjvwXajNOOaHl21bguGolRIlqO2oqpVVQrZ2yuuRo9ZoOPFoynj8oV-NiBG6GYSvi6NkXeujuLtoBngukgLs/s1600/no-more-api-theif.png&quot; imageanchor=&quot;1&quot; style=&quot;clear:right; float:right; margin-bottom:1em; margin-left:1em;&quot;&gt;&lt;img border=&quot;0&quot; src=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgbn5Yp6SHzdw6olIC0b4l65r5-Qpx99sdgB09QqNcb_E3Isy0heQyMfP6UjvwXajNOOaHl21bguGolRIlqO2oqpVVQrZ2yuuRo9ZoOPFoynj8oV-NiBG6GYSvi6NkXeujuLtoBngukgLs/s240/no-more-api-theif.png&quot; /&gt;&lt;/a&gt;
2014/1/16 に W3C Recommendation になった &lt;b&gt;&lt;a href=&quot;http://www.w3.org/TR/cors/&quot;&gt;Cross-Origin Resource Sharing&lt;/a&gt;&lt;/b&gt; (以下 CORS) 仕様について、サーバ実装およびスクリプト実装をどのように CORS 対応すれば良いかのエントリです。CORS 対応のユーザエージェントを実装しなければいけないという奇特な人は W3C 仕様の 7 章あたりを参照してください。
&lt;p&gt;
&lt;p&gt;
10月に CORS in Action も発売されるようです。W3C 仕様は表現や文章構成がアレなんでこっちに期待したいですね。
&lt;/p&gt;
&lt;div style=&quot;float:right;&quot;&gt;
&lt;iframe src=&quot;http://rcm-fe.amazon-adsystem.com/e/cm?lt1=_blank&amp;bc1=000000&amp;IS2=1&amp;bg1=FFFFFF&amp;fc1=000000&amp;lc1=0000FF&amp;t=ponta09c-22&amp;o=9&amp;p=8&amp;l=as4&amp;m=amazon&amp;f=ifr&amp;ref=ss_til&amp;asins=161729182X&quot; style=&quot;width:120px;height:240px;&quot; scrolling=&quot;no&quot; marginwidth=&quot;0&quot; marginheight=&quot;0&quot; frameborder=&quot;0&quot;&gt;&lt;/iframe&gt;
&lt;/div&gt;

&lt;h3&gt;導入&lt;/h3&gt;
&lt;p&gt;
サイト間でのコンテンツまたは Web 機能の意図しない利用を防止する目的で、Ajax を使用した origin (ドメイン) の異なるサイトへのリクエストはユーザエージェント (ブラウザ) によって制限されています。CORS はリソース (データや Web API) の&lt;u&gt;提供側&lt;/u&gt;がそのデータを提供先サイトで利用して良いものかどうかブラウザに指示することで CORS の制限を回避する仕組みです。
&lt;/p&gt;
&lt;p&gt;
CORS の大きな特徴として、ブラウザは &lt;b&gt;preflight リクエスト&lt;/b&gt;を使用して Ajax 呼び出し先の URL がクロスドメインで利用できるか調べる事ができます。言い換えればクロスオリジンで呼び出される事を想定した Web API は preflight リクエストに対して適切なレスポンスを返すよう実装する必要があります。
&lt;/p&gt;

&lt;h3&gt;ざっくりとした動き&lt;/h3&gt;
&lt;p&gt;
CORS はクロスドメインのリクエストに対する挙動をサーバ側で決定し、スクリプトの動作しているユーザエージェントに伝えます。
&lt;/p&gt;
&lt;p&gt;
例として、ユーザ情報を JSON 形式で返す Web API が http://api.bar.com/user/profile に実装されているとします。これを別のサイト http://www.foo.com から利用するケースを考えます。
&lt;/p&gt;
&lt;p&gt;
http://www.foo.com の JavaScript が Ajax を使用して http://api.bar.com へリクエストを行おうとするケースはクロスオリジンになりますので、ブラウザは必ず &lt;code&gt;Origin&lt;/code&gt; ヘッダを追加してリクエストがどのサイトから行われているかを api.bar.com に伝えます。また、条件によって実際のリクエストを行う前に「このリソースにこのメソッド、ヘッダで参照できますか?」という preflight リクエストを行うことがあります。
&lt;/p&gt;
&lt;div class=&quot;separator&quot; style=&quot;clear: both; text-align: center;&quot;&gt;&lt;a href=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgmBYC7j27fnXozXGiMDwZmffbe0HdNDzbWMCTMBdMd-H3NQDktbvzN1b1KtC0dxsVlCauPzqTb553-vH8eqD0M4r_TTG9L4VHLuj9BywjPlg5Ymbapfw6xZRb-tj1aKyG_ZoRfSvctrwc/s1600/cors-request.png&quot; imageanchor=&quot;1&quot; style=&quot;margin-left: 1em; margin-right: 1em;&quot;&gt;&lt;img border=&quot;0&quot; src=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgmBYC7j27fnXozXGiMDwZmffbe0HdNDzbWMCTMBdMd-H3NQDktbvzN1b1KtC0dxsVlCauPzqTb553-vH8eqD0M4r_TTG9L4VHLuj9BywjPlg5Ymbapfw6xZRb-tj1aKyG_ZoRfSvctrwc/s1600/cors-request.png&quot; /&gt;&lt;/a&gt;&lt;/div&gt;
&lt;p&gt;
&lt;b&gt;CORS未対応&lt;/b&gt;: 
サイト api.bar.com が CORS (やその他のアクセス制御) を全く考慮していなければ /user/profile への GET リクエストで JSON データを含むレスポンスが返されます。しかしレスポンスに &lt;code&gt;Access-Control-Allow-Origin&lt;/code&gt; ヘッダが付けられていないため、ブラウザはそのデータを www.foo.com に提供することが許可されていないとみなし (サーバ処理及び HTTP 通信上は成功しているにも関わらず) Ajax の呼び出しは&lt;b&gt;失敗&lt;/b&gt;します。後述する preflight リクエストの OPTIONS の場合も同様に判断されます。
&lt;/p&gt;
&lt;p&gt;
&lt;b&gt;利用許可&lt;/b&gt;: 
サイト api.bar.com が www.foo.com からの利用を許可しているならば、レスポンスに &lt;code&gt;Access-Control-Allow-Origin&lt;/code&gt; ヘッダ (必要があれば追加のヘッダも) を追加します。ブラウザはレスポンスの JSON データを www.foo.com のスクリプトで利用して良いものと判断して Ajax 呼び出しは&lt;b&gt;成功&lt;/b&gt;します。
&lt;/p&gt;
&lt;p&gt;
&lt;b&gt;利用禁止&lt;/b&gt;: 
サイト api.bar.com が www.foo.com からの利用を許可していないならば 401 Forbidden レスポンスを返す事で Ajax 呼び出しは&lt;b&gt;失敗&lt;/b&gt;します。また不必要に処理が動くこともコンテンツが流出することもありません。
W3C の仕様では &quot;CORS未対応&quot; と同じ動きにするよう書かれていますが、エラーレスポンスを返した方が HTTPd のログにも残りますし問題の切り分けに便利なのは明らかです。
&lt;/p&gt;

&lt;h3&gt;CORS は何でないか (is NOT to be)&lt;/h3&gt;
&lt;p&gt;
クロスオリジンはしばしば「悪意のあるスクリプトが意図しないサイトに裏で勝手に情報を送ることを防止するため」と誤解した説明がされています。しかし送信側のスクリプトと受信側のサーバの両方が攻撃者の配下であれば CORS に対応させ裏で情報を送らせることは容易です。ユーザを守るものではなくコンテンツ提供側を守る仕組みです。
&lt;/p&gt;
&lt;p&gt;
CORS はコンテンツ泥棒や API の無断利用を完全に防止するものではありません。エンジニアであれば中継サーバを介して Origin ヘッダを細工しコンテンツ参照や Web API 呼び出しを行うことは容易に思い付くはずです。CORS は JavaScript で実装・配布されたブログパーツやアクセス解析 ASP などが意図しないサイトで勝手に使用される&quot;障壁となる&quot;にとどまります。
&lt;/p&gt;

&lt;h3&gt;具体的なサーバ実装とブラウザの挙動&lt;/h3&gt;
&lt;p&gt;
とりあえず CORS の具体的な制限と回避方法が把握できれば詳しい仕様は追々で良いという方が多数だと思いますので、具体的なスクリプトとサーバの実装でどのような挙動になるか、いくつかのケースに分けて Chrome 37.0 + jQuery 1.11 で試してみます。試行に使用した簡易サーバ (Scala) の実装は &lt;a href=&quot;https://gist.github.com/torao/fc5a1957371efbea6833&quot;&gt;Gist&lt;/a&gt; に置いておきます。
&lt;/p&gt;

&lt;h4&gt;クロスオリジンでのリクエストを許可する&lt;/h4&gt;
&lt;p&gt;
クロスオリジンで呼び出されるサーバの実装が CORS を考慮していないレスポンスを返した場合、ユーザエージェントが正しいレスポンスを受信しているにも関わらず Ajax の呼び出しは失敗します。具体的には Chrome ディベロッパーツールの Status が (canceled)、レスポンス詳細も provisional headers are shown となります。これは通信エラーと同等の扱いですので complete のイベントは呼び出されずデータも渡されません。
&lt;/p&gt;
&lt;p&gt;
サーバ実装はリクエストに &lt;a href=&quot;#origin-header&quot;&gt;Origin ヘッダ&lt;/a&gt;が存在するかでどうかでクロスオリジンで呼び出されているかを判断することが出来ます。サーバ実装はクロスオリジンで参照される想定の URI に対して、リクエストに &lt;a href=&quot;#origin-header&quot;&gt;Origin ヘッダ&lt;/a&gt;が存在するかを確認し、存在する場合はレスポンスに &lt;code&gt;Access-Control-Allow-Origin&lt;/code&gt; ヘッダを追加することで、そのオリジンでレスポンスデータを利用しても良いことを示します。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
GET /user/profile HTTP/1.1
&lt;b&gt;Origin: http://www.foo.com&lt;/b&gt;
...

HTTP/1.1 200 OK
&lt;b&gt;Access-Control-Allow-Origin: http://www.foo.com&lt;/b&gt;
&lt;/pre&gt;

&lt;h4&gt;Cookie を使用する&lt;/h4&gt;
&lt;p&gt;
クロスオリジンリクエストの場合、何もしないとブラウザはサーバの発行した Cookie を返してきません。スクリプト側で XMLHttpRequest の withCredentials に true を設定し、サーバ側で &lt;code&gt;Access-Control-Allow-Credentials: true&lt;/code&gt; レスポンスヘッダを追加するとサーバ側が発行した Cookie をユーザエージェントが返してくるようになります。
&lt;/p&gt;
&lt;p&gt;
withCredentials は jQuery では以下のように設定できます。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
$.ajax({
  url: &#39;http://api.bar.com/user/profile&#39;,
  type: &#39;GET&#39;,
  dataType: &#39;json&#39;,
  &lt;b&gt;xhrFields: { withCredentials: true }&lt;/b&gt;,
  complete: function(json){ /*...*/ }
});
&lt;/pre&gt;
&lt;p&gt;
またそれに対する Cookie を使用したい URI のレスポンスに Access-Control-Allow-Credentials ヘッダを追加します。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
HTTP/1.1 200 OK
&lt;b&gt;Access-Control-Allow-Credentials: true&lt;/b&gt;
&lt;b&gt;Set-Cookie: ...&lt;/b&gt;
&lt;/pre&gt;
&lt;p&gt;
それぞれ値に対する挙動は以下のようになります。
&lt;/p&gt;
&lt;table class=&quot;wikitable&quot;&gt;
&lt;tr&gt;
  &lt;th&gt;withCredential&lt;/th&gt;
  &lt;th&gt;Access-Control-Allow-Credentials&lt;/th&gt;
  &lt;th&gt;挙動&lt;/th&gt;
&lt;/tr&gt;
&lt;tr&gt;
  &lt;td rowspan=&quot;2&quot;&gt;false&lt;/td&gt;
  &lt;td&gt;なし&lt;/td&gt;
  &lt;td rowspan=&quot;2&quot;&gt;サーバの発行した Cookie を送り返してこない&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
  &lt;td&gt;true&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
  &lt;td rowspan=&quot;2&quot;&gt;true&lt;/td&gt;
  &lt;td&gt;なし&lt;/td&gt;
  &lt;td&gt;Status:(canceled), provisional headers are shown で失敗&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
  &lt;td&gt;true&lt;/td&gt;
  &lt;td&gt;サーバの発行した Cookie を送り返してくる&lt;/td&gt;
&lt;/tr&gt;
&lt;/table&gt;
&lt;p&gt;
&lt;code&gt;Access-Control-Allow-Credential: true&lt;/code&gt; の場合、&lt;code&gt;Access-Control-Allow-Origin&lt;/code&gt; に &lt;code&gt;*&lt;/code&gt; は使えません。&lt;code&gt;Origin&lt;/code&gt; リクエストヘッダの値をそのまま設定してください。
&lt;/p&gt;

&lt;h4&gt;スクリプトがリクエストヘッダ/リクエストメソッドを指定する&lt;/h4&gt;
&lt;p&gt;
クロスオリジンとなるリクエストでは、スクリプトが指定したリクエストメソッドや追加のリクエストヘッダに対して「このヘッダ使って良いですか?」という &lt;a href=&quot;#preflightrequest&quot;&gt;preflight リクエスト&lt;/a&gt;が実行されます。サーバは &lt;code&gt;OPTIONS&lt;/code&gt; メソッドの preflight リクエストに対して &lt;code&gt;Access-Control-Allow-Method&lt;/code&gt;、&lt;code&gt;Access-Control-Allow-Headers&lt;/code&gt; 付きのレスポンスを返すことで&lt;a href=&quot;#actualrequest&quot;&gt;実際のリクエスト&lt;/a&gt;が実行されます。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
$.ajax({
    url: &#39;http://api.bar.com/user/profile&#39;,
    &lt;b&gt;type: &#39;PATCH&#39;&lt;/b&gt;,
    dataType: &#39;json&#39;,
    &lt;b&gt;headers: { &#39;X-Greeting&#39;: &#39;hello, world&#39; }&lt;/b&gt;,
    complete: function(json){ /*...*/ }
});
&lt;/pre&gt;
&lt;pre class=&quot;console&quot;&gt;
&lt;b&gt;OPTIONS&lt;/b&gt; /user/profile HTTP/1.1    &lt;span class=&quot;comment&quot;&gt;# preflight リクエスト&lt;/span&gt;
&lt;b&gt;Access-Control-Request-Method: PATCH
Access-Control-Request-Headers: accept, x-greeting&lt;/b&gt;
Origin: http://www.foo.com
…

HTTP/1.1 200 OK
Access-Control-Allow-Origin: http://www.foo.com
&lt;b&gt;Access-Control-Allow-Methods: PATCH
Access-Control-Allow-Headers: accept, x-greeting&lt;/b&gt;
…

&lt;b&gt;PATCH&lt;/b&gt; /user/profile HTTP/1.1  &lt;span class=&quot;comment&quot;&gt;# 実際のリクエスト&lt;/span&gt;
Origin: http://www.foo.com
&lt;b&gt;X-Greeting: hello, world&lt;/b&gt;
…
&lt;/pre&gt;
&lt;p&gt;
preflight リクエストに対するレスポンスボディは 0 バイトで OK です。もちろんメソッドやヘッダが許可されないのであれば &lt;code&gt;Access-Control-Alow-Origin&lt;/code&gt; を付けなかったり 40x エラーを返しても良いです。リクエストメソッドが &lt;a href=&quot;#simplemethod&quot;&gt;simple method&lt;/a&gt; の場合は &lt;code&gt;Access-Control-Allow-Methods&lt;/code&gt; を指定しなくても実際のリクエストは行われます。
&lt;/p&gt;

&lt;h4&gt;スクリプトがレスポンスヘッダを参照する&lt;/h4&gt;
&lt;p&gt;
クロスドメインでサーバ側から送信されたレスポンスヘッダの値をスクリプト側で参照するには、prefligh または実際のリクエストのレスポンスに &lt;code&gt;Access-Control-Expose-Headers&lt;/code&gt; ヘッダを追加し、スクリプトから参照しても良いヘッダをサーバ側で指定します。
&lt;/p&gt;
&lt;p&gt;
下記の例では &lt;code&gt;X-Time&lt;/code&gt; というレスポンスヘッダをスクリプト側で参照しています。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
$.ajax({
    url: &#39;http://api.bar.com/user/profile&#39;,
    type: &#39;GET&#39;,
    complete: function(xhr){ alert(xhr.getResponseHeader(&#39;X-Time&#39;)); }
});
&lt;/pre&gt;
&lt;pre class=&quot;console&quot;&gt;
GET /user/profile HTTP/1.1
Origin: http://www.foo.com
…

HTTP/1.1 200 OK
Access-Control-Allow-Origin: http://www.foo.com
Access-Control-Allow-Credentials: true
&lt;b&gt;Access-Control-Expose-Headers: x-time
X-Time: 999&lt;/b&gt;
…
&lt;/pre&gt;
&lt;p&gt;
&lt;code&gt;Access-Control-Expose-Header&lt;/code&gt; で許可されてないヘッダを参照しようとした場合、実際にヘッダを受信したにもかかわらず値は &lt;code&gt;null&lt;/code&gt; となります。
&lt;/p&gt;

&lt;h3&gt;リクエスト/レスポンスヘッダ&lt;/h3&gt;
&lt;p&gt;
CORS の動作を実装するために定義されているヘッダを以下に記述します:
&lt;/p&gt;

&lt;dl&gt;

&lt;dt&gt;&lt;a name=&quot;origin-header&quot; id=&quot;origin-header&quot;&gt;&lt;/a&gt;Origin リクエストヘッダ&lt;/dt&gt;
&lt;dd&gt;
クロスオリジンの Ajax リクエストとなる場合に origin の URL をブラウザが設定します。サーバはこの値を評価して許可されているサイトかどうかを判断することが出来ます。また単にこのヘッダが存在するかどうかでクロスオリジンで呼び出されたかを判断することもできます。
&lt;/dd&gt;

&lt;dt&gt;Access-Control-Request-Method リクエストヘッダ&lt;/dt&gt;
&lt;dd&gt;
preflight リクエスト時に実際のリクエストで URI に対してどのようなメソッドを使おうとしているかを表します。
サーバ実装はレスポンスの &lt;code&gt;Access-Control-Allow-Methods&lt;/code&gt; で URI に対して使用が許可されているメソッドを示します。
&lt;/dd&gt;

&lt;dt&gt;Access-Control-Request-Headers リクエストヘッダ&lt;/dt&gt;
&lt;dd&gt;
preflight リクエスト時に実際のリクエストで URI に対してどのようなヘッダを送信しようとしているかをヘッダフィールドのリストで表します。
サーバ実装はレスポンスの &lt;code&gt;Access-Control-Allow-Headers&lt;/code&gt; で URI に対して使用が許可されているリクエストヘッダを示します。
&lt;/dd&gt;

&lt;dt&gt;Access-Control-Allow-Origin レスポンスヘッダ&lt;/dt&gt;
&lt;dd&gt;
&lt;p&gt;
preflight 及びクロスオリジンリクエストに対して、URI へのアクセスが許可される場合は &lt;code&gt;Origin&lt;/code&gt; リクエストヘッダの値 (または credential でなければ &lt;code&gt;*&lt;/code&gt;)、許可されない場合はこのヘッダを付けないか、文字列 &lt;code&gt;null&lt;/code&gt; か、あるいは 401 Forbidden 等のエラーレスポンスを返します (仕様上のセマンティクスは「許可されている origin リスト」ですが、現実的にはリクエストを許可するかの評価値となります)。
&lt;/p&gt;
&lt;p&gt;
どのような origin でも利用を許可するのであれば &lt;code&gt;Origin&lt;/code&gt; リクエストヘッダの値を暗黙的に設定するのが簡単です。
&lt;code&gt;Access-Control-Allow-Credentails: true&lt;/code&gt; の場合は &lt;code&gt;*&lt;/code&gt; を使用することはできません。
&lt;/dd&gt;

&lt;dt&gt;Access-Control-Allow-Credentials レスポンスヘッダ&lt;/dt&gt;
&lt;dd&gt;
&lt;p&gt;
ユーザエージェント側で withCredential が true に設定されている場合、対象 URI に対する Cookie などの資格情報 (credential) をリクエストで送信しても良いことを示します。preflight リクエストに対するレスポンスにこのヘッダが含まれる場合は実際のリクエストでユーザの資格情報 (Cookie など) を含むことが出来ることを表します。
資格情報とは Cookie、Web 認証、クライアント側での SSL 認証などです。
&lt;/p&gt;
&lt;p&gt;
値には case-sensitive な固定文字 &lt;code&gt;true&lt;/code&gt; のみを使用することができます。
&lt;p&gt;
&lt;/dd&gt;

&lt;dt&gt;Access-Control-Allow-Method レスポンスヘッダ&lt;/dt&gt;
&lt;dd&gt;
preflight リクエストに対するレスポンスヘッダとして、指定された URI に対してどのメソッドが利用できるかを表します。メソッドに制限を設けないのであれば、単に &lt;code&gt;Access-Control-Request-Method&lt;/code&gt; の値を返すだけで十分です (もし指定されているなら)。なお simple method に属しているものを含める必要はありません (禁止されているわけでもありません)。
&lt;/dd&gt;

&lt;dt&gt;Access-Control-Allow-Headers レスポンスヘッダ&lt;/dt&gt;
&lt;dd&gt;
&lt;p&gt;
preflight リクエストに対するレスポンスヘッダとして、指定された URI に対してどのリクエストヘッダが利用できるかを表します。
対象のヘッダが simple header であり Content-Type でなければリストする必要はありません。Content-Type ヘッダはその値のサブセットが simple header を修飾する場合のみリストされます。
リクエストヘッダに制限を設けていないのであれば単純に &lt;code&gt;Access-Control-Request-Headers&lt;/code&gt; からサポートするヘッダを返すだけで十分です。
&lt;/p&gt;
&lt;/dd&gt;

&lt;dt&gt;Access-Control-Expose-Headers レスポンスヘッダ&lt;/dt&gt;
&lt;dd&gt;
&lt;p&gt;
サーバからユーザエージェントに&lt;a href=&quot;#actualrequest&quot;&gt;実際のクロスオリジンリクエスト&lt;/a&gt;に対するレスポンスヘッダのどれをスクリプトが参照しても良いかを示します。
&lt;/p&gt;
&lt;/dd&gt;

&lt;dt&gt;Access-Control-Max-Age レスポンスヘッダ&lt;/dt&gt;
&lt;dd&gt;
preflight リクエストの結果をブラウザがキャッシュして良い時間を秒数で指定できます。
&lt;/dd&gt;
&lt;/dl&gt;

&lt;a name=&quot;preflightrequest&quot; id=&quot;preflightrequest&quot;&gt;&lt;/a&gt;
&lt;h3&gt;preflight リクエスト&lt;/h3&gt;
&lt;p&gt;
ブラウザは&lt;a href=&quot;#actualrequest&quot;&gt;クロスオリジンのリクエスト&lt;/a&gt;に先だって &lt;b&gt;preflight リクエスト&lt;/b&gt;を送信し、そのリソースへアクセス (及び送ろうとしているメソッドやヘッダの使用) が許可されているかを確認することができます。これは必須ではなく、ユーザエージェントがサポートしていない場合や以前の結果をキャッシュしている場合は preflight リクエストは省略されます。
&lt;/p&gt;
&lt;p&gt;
サーバ実装はリクエストが &lt;code&gt;OPTIONS&lt;/code&gt; メソッドかつ (&lt;code&gt;*&lt;/code&gt; でない) 具体的な URI と &lt;code&gt;Origin&lt;/code&gt; ヘッダが指定されているかで preflight リクエストであることを判断できます。W3C 仕様では、サーバは preflight リクエストに対して以下のフローでレスポンスヘッダを決定すると記述しています。
&lt;/p&gt;
&lt;div class=&quot;separator&quot; style=&quot;clear: both; text-align: center;&quot;&gt;&lt;a href=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgBUhJclOfiUIQBJZiO3Nzj4LlBYoDAOt9KcJuAz6pZUlc1X7uIbxOhI7pX11nBcpVnprgz3koY_dcUj6KaofNWfK8WBgn9o62TBoVwBdZb_jONFCgU6wVNjTVnb9tkQGKE0-s115SS8e8/s1600/preflight-request.png&quot; imageanchor=&quot;1&quot; style=&quot;margin-left: 1em; margin-right: 1em;&quot;&gt;&lt;img border=&quot;0&quot; src=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgBUhJclOfiUIQBJZiO3Nzj4LlBYoDAOt9KcJuAz6pZUlc1X7uIbxOhI7pX11nBcpVnprgz3koY_dcUj6KaofNWfK8WBgn9o62TBoVwBdZb_jONFCgU6wVNjTVnb9tkQGKE0-s115SS8e8/s800/preflight-request.png&quot; /&gt;&lt;/a&gt;&lt;/div&gt;
&lt;p&gt;
preflight リクエストの内容で実際のリクエストを許可する場合はレスポンスコード 200 に必要なヘッダを付加し 0 バイトのレスポンスボディで応答します。
&lt;/p&gt;

&lt;h3 name=&quot;actualrequest&quot; id==&quot;actualrequest&quot;&gt;実際のクロスオリジンリクエスト&lt;/h3&gt;
&lt;p&gt;
リソースに対するクロスオリジンリクエストは &lt;a href=&quot;#preflightrequest&quot;&gt;preflight リクエスト&lt;/a&gt;を伴わない場合もあります (W3C 仕様では事前の preflight リクエストなしにおこなうクロスオリジンリクエストを simple cross-origin request、preflight リクエストを行った上でのクロスオリジンリクエストを actual request と区別して表現しています)。
&lt;/p&gt;
&lt;p&gt;
実際のリソースに対する W3C 仕様で記述されているフローは以下の通りです。
&lt;/p&gt;
&lt;div class=&quot;separator&quot; style=&quot;clear: both; text-align: center;&quot;&gt;&lt;a href=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiLU67BiQ7rLsyqb_GKzq_LD1tfeYxbp80cDOT8IUeZAN3yK9Hk5tqYoeU29B_EKjeeWWj7PoB9V6aWSnxlcCC3e4u4gKynMy6xQq28gtWgjriHUcyABoBNZoSjGsrRQLtZ170_fSrtqmI/s1600/actual-request.png&quot; imageanchor=&quot;1&quot; style=&quot;margin-left: 1em; margin-right: 1em;&quot;&gt;&lt;img border=&quot;0&quot; src=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiLU67BiQ7rLsyqb_GKzq_LD1tfeYxbp80cDOT8IUeZAN3yK9Hk5tqYoeU29B_EKjeeWWj7PoB9V6aWSnxlcCC3e4u4gKynMy6xQq28gtWgjriHUcyABoBNZoSjGsrRQLtZ170_fSrtqmI/s500/actual-request.png&quot; /&gt;&lt;/a&gt;&lt;/div&gt;
&lt;p&gt;
意図的に &lt;code&gt;Access-Control-Allow-Origin&lt;/code&gt; などの必須ヘッダを返さないことでユーザエージェント側の preflight リクエストの結果キャッシュをクリアすることが出来ます。一時的に 503 Service Unavailable のような CORS 必須ヘッダの無い固定レスポンスを返すとユーザエージェント側のキャッシュがクリアされ、サーバ復帰後に多くの preflight リクエストが発生することが予想されます (突然 OPTIONS リクエストが増えてたらこれじゃね? って話)。
&lt;/p&gt;

&lt;h3&gt;用語&lt;/h3&gt;
&lt;dl&gt;
&lt;dt&gt;&lt;a name=&quot;simplemethod&quot; id=&quot;simplemethod&quot;&gt;&lt;/a&gt;simple method&lt;/dt&gt;
&lt;dd&gt;case-sensitive で &lt;code&gt;GET&lt;/code&gt;, &lt;code&gt;HEAD&lt;/code&gt;, &lt;code&gt;POST&lt;/code&gt; のいずれか。&lt;/dd&gt;
&lt;dt&gt;&lt;a name=&quot;ommitcredentialflag&quot; id=&quot;ommitcredentialflag&quot;&gt;&lt;/a&gt;ommit credential フラグ&lt;/dt&gt;
&lt;dd&gt;リクエストからユーザの資格情報が除外され、レスポンス内の Cookie が無視されるフラグ。要は ommit credential フラグが設定されているブラウザは CORS の時には Cookie などの credential 情報を送ってこない。&lt;/dd&gt;
&lt;dt&gt;手動リダイレクトフラグ&lt;/dt&gt;
&lt;dd&gt;サーバからのリダイレクト指示に自動では従わないユーザエージェント側のフラグ。&lt;/dd&gt;
&lt;/dl&gt;</content><link rel='replies' type='application/atom+xml' href='http://koiroha.blogspot.com/feeds/4236125029644111696/comments/default' title='コメントの投稿'/><link rel='replies' type='text/html' href='http://koiroha.blogspot.com/2014/09/cross-origin-resource-sharing.html#comment-form' title='0 件のコメント'/><link rel='edit' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/4236125029644111696'/><link rel='self' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/4236125029644111696'/><link rel='alternate' type='text/html' href='http://koiroha.blogspot.com/2014/09/cross-origin-resource-sharing.html' title='異なるドメインのURLからデータを参照する方法 - Cross-Origin Resource Sharing'/><author><name>kuromoyo</name><uri>http://www.blogger.com/profile/06743675683543438152</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><media:thumbnail xmlns:media="http://search.yahoo.com/mrss/" url="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgbn5Yp6SHzdw6olIC0b4l65r5-Qpx99sdgB09QqNcb_E3Isy0heQyMfP6UjvwXajNOOaHl21bguGolRIlqO2oqpVVQrZ2yuuRo9ZoOPFoynj8oV-NiBG6GYSvi6NkXeujuLtoBngukgLs/s72-c/no-more-api-theif.png" height="72" width="72"/><thr:total>0</thr:total><georss:featurename>日本, 錦糸町駅（東京）</georss:featurename><georss:point>35.696437 139.81394899999998</georss:point><georss:box>35.683541500000004 139.79377899999997 35.7093325 139.834119</georss:box></entry><entry><id>tag:blogger.com,1999:blog-9192882573722458820.post-2869710658530114333</id><published>2014-07-29T13:36:00.001+09:00</published><updated>2014-07-30T14:05:24.657+09:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="Python"/><category scheme="http://www.blogger.com/atom/ns#" term="virtualenv"/><category scheme="http://www.blogger.com/atom/ns#" term="仮想化"/><title type='text'>管理者権限のない環境で Python を構成する</title><content type='html'>&lt;p&gt;
管理者権限を持たない環境で仮想的な Python 環境を構築し、最新の Python やライブラリ管理で好きなツールを入れて使う方法。&lt;b&gt;virtualenv&lt;/b&gt; という Ruby で言う rvm のようなものを使います。
&lt;/p&gt;
&lt;p&gt;
2.6 あたりの若干古いバージョンでも良いので Python を実行できる必要があります。Linux や OS X は標準で入っていますし、ローカルインストールしておいても良いです。
&lt;/p&gt;

&lt;h2&gt;virtualenv のインストール&lt;/h2&gt;
&lt;p&gt;
virtualenv はシステムを汚さないためにユーザのローカル環境 &lt;code&gt;~/.local&lt;/code&gt; 上にパッケージを構成します。
&lt;/p&gt;
&lt;p&gt;
&lt;code&gt;.bashrc&lt;/code&gt; などで以下の &lt;code&gt;PATH&lt;/code&gt; を通しておくと良い。また &lt;code&gt;virtualenvwrapper.sh&lt;/code&gt; は後で入るがログインごとに仮想 Python 環境を有効にするまじないです。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
&lt;span class=&quot;prompt&quot;&gt;torao@clove$&lt;/span&gt; cat ~/.bashrc
…
export PATH=&quot;$PATH:$HOME/.local/bin&quot;
. $HOME/.local/bin/virtualenvwrapper.sh
&lt;/pre&gt;
&lt;p&gt;
まず&lt;a href=&quot;https://pypi.python.org/pypi/setuptools#unix-wget&quot;&gt;ユーザ環境に setuptools を入れ&lt;/a&gt;ます。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
&lt;span class=&quot;prompt&quot;&gt;torao@clove$&lt;/span&gt; wget https://bootstrap.pypa.io/ez_setup.py -O - | python - --user
&lt;/pre&gt;
&lt;p&gt;
次に &lt;code&gt;pip&lt;/code&gt; を入れます。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
&lt;span class=&quot;prompt&quot;&gt;torao@clove$&lt;/span&gt; easy_install-2.7 pip
&lt;/pre&gt;
&lt;p&gt;
ユーザ環境に &lt;code&gt;virtualenv&lt;/code&gt; 等々を入れて &lt;code&gt;virtualenvwrapper.sh&lt;/code&gt; を読み込みます。&lt;code&gt;virtualenvwrapper.sh&lt;/code&gt; には &lt;a href=&quot;http://virtualenvwrapper-docs-ja.readthedocs.org/en/latest/command_ref.html#&quot;&gt;&lt;code&gt;mkvirtualenv&lt;/code&gt; などのユーティリティ&lt;/a&gt;が定義されています。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
&lt;span class=&quot;prompt&quot;&gt;torao@clove$&lt;/span&gt; pip install virtualenv virtualenvwrapper --user
&lt;span class=&quot;prompt&quot;&gt;torao@clove$&lt;/span&gt; . $HOME/.local/bin/virtualenvwrapper.sh
&lt;/pre&gt;
&lt;p&gt;
例として &lt;code&gt;nautilus&lt;/code&gt; という名前の仮想環境を作成します (名前は何でも良い)。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
&lt;span class=&quot;prompt&quot;&gt;torao@clove$&lt;/span&gt; mkvirtualenv nautilus
New python executable in nautilus/bin/python
Installing setuptools, pip...done.
(nautilus)&lt;span class=&quot;prompt&quot;&gt;torao@clove$&lt;/span&gt;
&lt;/pre&gt;
&lt;p&gt;
プロンプトが示すとおり作成と同時に仮想環境に入っていますので、試しに &lt;code&gt;--user&lt;/code&gt; オプションなしに ansible をインストールして実行できるか試しています。実行者は管理者権限がないので /usr の下などにインストールされることはありません。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
(nautilus)&lt;span class=&quot;prompt&quot;&gt;torao@clove$&lt;/span&gt; pip install ansible
…
Successfully installed ansible paramiko jinja2 PyYAML pycrypto ecdsa markupsafe
Cleaning up...
(nautilus)&lt;span class=&quot;prompt&quot;&gt;torao@clove$&lt;/span&gt; ansible --version
ansible 1.6.10
(nautilus)&lt;span class=&quot;prompt&quot;&gt;torao@clove$&lt;/span&gt; which ansible
/home/torao/.virtualenvs/nautilus/bin/ansible
&lt;/pre&gt;
&lt;p&gt;
&lt;code&gt;workon &lt;i&gt;name&lt;/i&gt;&lt;/code&gt; や &lt;code&gt;deactivate&lt;/code&gt; で仮想環境に出入りしたり環境を力変えたりできます。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
(nautilus)&lt;span class=&quot;prompt&quot;&gt;torao@clove$&lt;/span&gt; deactivate
&lt;span class=&quot;prompt&quot;&gt;torao@clove$&lt;/span&gt; workon
nautilus
&lt;span class=&quot;prompt&quot;&gt;torao@clove$&lt;/span&gt; workon nautilus
(nautilus)&lt;span class=&quot;prompt&quot;&gt;torao@clove$&lt;/span&gt;
&lt;/pre&gt;
</content><link rel='replies' type='application/atom+xml' href='http://koiroha.blogspot.com/feeds/2869710658530114333/comments/default' title='コメントの投稿'/><link rel='replies' type='text/html' href='http://koiroha.blogspot.com/2014/07/setup-python-without-admin-permission-using-virtualenv.html#comment-form' title='0 件のコメント'/><link rel='edit' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/2869710658530114333'/><link rel='self' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/2869710658530114333'/><link rel='alternate' type='text/html' href='http://koiroha.blogspot.com/2014/07/setup-python-without-admin-permission-using-virtualenv.html' title='管理者権限のない環境で Python を構成する'/><author><name>kuromoyo</name><uri>http://www.blogger.com/profile/06743675683543438152</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><thr:total>0</thr:total><georss:featurename>日本, 恵比寿駅（東京）</georss:featurename><georss:point>35.64669 139.710106</georss:point><georss:box>35.620883 139.66976549999998 35.672497 139.7504465</georss:box></entry><entry><id>tag:blogger.com,1999:blog-9192882573722458820.post-5160675585003123862</id><published>2014-07-23T17:44:00.000+09:00</published><updated>2014-07-23T17:44:20.817+09:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="Ansible"/><category scheme="http://www.blogger.com/atom/ns#" term="CentOS"/><category scheme="http://www.blogger.com/atom/ns#" term="CM"/><category scheme="http://www.blogger.com/atom/ns#" term="Configuration Management"/><category scheme="http://www.blogger.com/atom/ns#" term="Linux"/><category scheme="http://www.blogger.com/atom/ns#" term="Python"/><category scheme="http://www.blogger.com/atom/ns#" term="Ubuntu"/><category scheme="http://www.blogger.com/atom/ns#" term="YML"/><title type='text'>Getting Started with Ansible</title><content type='html'>&lt;h2&gt;Ansible を使ってみる&lt;/h2&gt;
&lt;p&gt;
何種類かのサーバへ個別にアプリケーションを配備する必要があったので &lt;b&gt;Ansible&lt;/b&gt; を使ってみようと Kindle で &lt;b&gt;&lt;a href=&quot;http://www.amazon.co.jp/gp/product/1783280816/ref=as_li_ss_tl?ie=UTF8&amp;camp=247&amp;creative=7399&amp;creativeASIN=1783280816&amp;linkCode=as2&amp;tag=ponta09c-22&quot;&gt;Ansible Configuration Management&lt;/a&gt;&lt;img src=&quot;http://ir-jp.amazon-adsystem.com/e/ir?t=ponta09c-22&amp;l=as2&amp;o=9&amp;a=1783280816&quot; width=&quot;1&quot; height=&quot;1&quot; border=&quot;0&quot; alt=&quot;&quot; style=&quot;border:none !important; margin:0px !important;&quot; /&gt;&lt;/b&gt; を購入して調べてみました。
&lt;/p&gt;
&lt;p&gt;
&lt;a href=&quot;http://docs.ansible.com/index.html&quot;&gt;&lt;b&gt;Ansible&lt;/b&gt;&lt;/a&gt; はサーバ構成やアプリケーションの配布を行う構成管理ツールです。Chef や Puppet、Capistrano、Fabric あたりの親戚と思ってもらえば概ね正しい感じ。管理対象のノードに言語やエージェント的なものをインストールする必要がなく、また Chef や Puppet のように管理サーバも不要なので気軽に使えます。また最近の構成管理ツールっぽく冪等性 (何度やっても同じ結果になる; idempotence) も備えています。
&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;a href=&quot;http://www.ansible.com/home&quot;&gt;Ansible is Simple IT Automation&lt;/a&gt;&lt;/li&gt;
&lt;li&gt;&lt;a href=&quot;http://docs.ansible.com/index.html&quot;&gt;Ansible Documentation&lt;/a&gt;&lt;/li&gt;
&lt;li&gt;&lt;a href=&quot;https://github.com/ansible/ansible&quot;&gt;Github: ansible/ansible&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;


&lt;h3&gt;基本構成&lt;/h3&gt;
&lt;p&gt;
Ansiblie は &lt;b&gt;Controller Machine&lt;/b&gt; (デプロイ元) から各 &lt;b&gt;Managed Machine&lt;/b&gt; (デプロイ先) に ssh で接続し様々な&lt;b&gt;モジュール&lt;/b&gt; (コマンド) を発行して構成を行います。コマンド的に一つ一つのモジュールを実行することも出来ますし &lt;b&gt;Playbook&lt;/b&gt; と呼ばれる YAML を記述することでスクリプト的に動作させることもできます。
&lt;/p&gt;
&lt;p&gt;
必要最小限のコンポーネントは以下の通り:
&lt;/p&gt;
&lt;table class=&quot;wikitable&quot;&gt;
&lt;tr&gt;
 &lt;th&gt;Controller Machine&lt;/th&gt;
 &lt;td&gt;Python 2.6以上、paramiko、PyYML、jinja2&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
 &lt;th&gt;Managed Machine&lt;/th&gt;
 &lt;td&gt;Python 2.4以上、simple json (Python 2.6以上の場合は不要)&lt;/td&gt;
&lt;/tr&gt;
&lt;/table&gt;
&lt;p&gt;
Python ベースですので Linux 系の OS であれば標準で利用可能です。以下 Ubuntu 12.04 で試してみます。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; cat /etc/lsb-release
DISTRIB_ID=Ubuntu
DISTRIB_RELEASE=12.04
DISTRIB_CODENAME=precise
DISTRIB_DESCRIPTION=&quot;Ubuntu 12.04.4 LTS&quot;
&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; python --version
Python 2.7.3
&lt;/pre&gt;

&lt;h3&gt;インストール&lt;/h3&gt;
&lt;p&gt;
Fedora, RedHat, CentOS 系では &lt;code&gt;yum&lt;/code&gt;、Ubuntu, Debian 系では &lt;code&gt;apt-get&lt;/code&gt; を使用してインストールできます。Controller Machine - Managed Machine 間の ssh 接続時にパスワード認証を行う場合 (&lt;code&gt;-k&lt;/code&gt; オプションを使用する場合) は &lt;code&gt;sshpass&lt;/code&gt; も必要です。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; sudo apt-get install ansible sshpass
[sudo] password for torao:
Reading package lists... Done
Building dependency tree
…
Setting up python-pkg-resources (0.6.24-1ubuntu1) ...
Processing triggers for libc-bin ...
ldconfig deferred processing now taking place
&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; ansible --version
ansible 1.4.4
&lt;/pre&gt;
&lt;p&gt;
また &lt;code&gt;pip install ansible&lt;/code&gt; や &lt;code&gt;git clone git://github.com/ansible/ansible.git; cd ansible; make install&lt;/code&gt; でもインストールが可能です。
&lt;/p&gt;
&lt;p&gt;
インストールが完了するとディレクトリ &lt;code&gt;/etc/ansible&lt;/code&gt; に設定ファイル &lt;code&gt;ansible.cfg&lt;/code&gt; と Inventory ファイル &lt;code&gt;hosts&lt;/code&gt; が作成されます。
&lt;/p&gt;

&lt;h3&gt;Inventory ファイルの作成&lt;/h3&gt;
&lt;p&gt;
Ansible は &lt;b&gt;Inventory ファイル&lt;/b&gt; に記述されているホストにのみ接続できます (誤操作防止?)。このファイルは ini 形式と似ていて &lt;code&gt;[]&lt;/code&gt; で指定したグループの下にホスト名 (と必要であればホスト別に key=value 型の複数オプション) を記述します。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; cat mynetwork
[onion-slice]
onion00
onion01
&lt;/pre&gt;
&lt;p&gt;
Inventory ファイルの詳細は&lt;a href=&quot;http://docs.ansible.com/intro_inventory.html&quot;&gt;ここらへん&lt;/a&gt;を参考にしてください。Inventory ファイルはコマンド実行時に &lt;code&gt;-i&lt;/code&gt; オプションで指定することが出来ます。&lt;code&gt;-i&lt;/code&gt; が省略された場合は /etc/ansible/hosts または環境変数 ANSIBLE_HOSTS に設定されたファイルをデフォルトの Inventory ファイルとして使用します。
&lt;/p&gt;

&lt;h3&gt;Ping を実行する&lt;/h3&gt;
&lt;p&gt;
Ansible では基本的な操作はデフォルトでバンドルされているモジュールを使用することができます。ここでは接続確認だけなので ping モジュールを実行します。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; ansible onion00 -i mynetwork -k -m ping
SSH password:
onion00 | success &amp;gt;&amp;gt; {
    &quot;changed&quot;: false,
    &quot;ping&quot;: &quot;pong&quot;
}
&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; ansible all -i mynetwork -k -m ping
SSH password:
onion01 | success &amp;gt;&amp;gt; {
    &quot;changed&quot;: false,
    &quot;ping&quot;: &quot;pong&quot;
}

onion00 | success &amp;gt;&amp;gt; {
    &quot;changed&quot;: false,
    &quot;ping&quot;: &quot;pong&quot;
}
&lt;/pre&gt;
&lt;p&gt;
Ansible の標準モジュールは結果を JSON 形式で返します。&lt;code&gt;changed&lt;/code&gt; は共通的な項目でモジュールの実行によって管理ノードの状態に変更があったかを表しています。
&lt;/p&gt;
&lt;p&gt;
ssh ログインおよびコマンドの実行ユーザはそれぞれ指定が可能ですし Inventory ファイルの中で指定することも出来ます。以下の例は ssh での接続ユーザを指定するケースと sudo で実行ユーザを変更する
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
&lt;span class=&quot;comment&quot;&gt;# ansible ユーザで ssh ログインして whoami を実行&lt;/span&gt;
&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; ansible onion00 &lt;u&gt;-u ansible&lt;/u&gt; -k -m shell -a whoami
SSH password:
onion00 | success | rc=0 &amp;gt;&amp;gt;
ansible

&lt;span class=&quot;comment&quot;&gt;# torao で ssh ログインして sudo -u ansible whoami を実行&lt;/span&gt;
&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; ansible onion00 &lt;u&gt;--sudo-user ansible&lt;/u&gt; -k -K -m shell -a whoami
SSH password:
sudo password [defaults to SSH password]:
onion00 | success | rc=0 &amp;gt;&amp;gt;
ansible
&lt;/pre&gt;
&lt;p&gt;
正しく実行できているようですね。
&lt;/p&gt;
&lt;p&gt;
Ping 以外の標準モジュールは &lt;code&gt;ansible-doc -l&lt;/code&gt; や &lt;a href=&quot;http://docs.ansible.com/modules_by_category.html&quot;&gt;Module Index&lt;/a&gt; あたりを参照して下さい。
&lt;/p&gt;

&lt;h3&gt;Playbook の書き方&lt;/h3&gt;
&lt;p&gt;
コマンドライン実行はアドホックで少々の変更を行う時には便利ですが、オーケストレーションを行うならスクリプト的に書けた方が便利です。Ansible は YAML 形式の Playbook に記述することができます。
&lt;/p&gt;
&lt;p&gt;
Playbook はターゲットセクション (どこのホストにどのユーザで接続するか)、変数セクション、タスクセクション、ハンドラセクション (タスクが実行されたら起動するモジュール) などに分かれています。
&lt;/p&gt;
&lt;p&gt;
Playbook 実行時は管理ノードへ接続すると同時に &lt;code&gt;setup&lt;/code&gt; を実行して &lt;b&gt;facts&lt;/b&gt; と呼ばれるリモートの状態を表す変数セットを取得します (これは &lt;code&gt;gather_facts: no&lt;/code&gt; で無効化できます)。
&lt;/p&gt;
&lt;p&gt;
Playbook 内では後述する変数セクションの変数、リモート接続時に &lt;code&gt;setup&lt;/code&gt; を実行して取ってきた facts、それに Inventory ファイルで定義した変数を &lt;code&gt;{{&lt;i&gt;name&lt;/i&gt;}}&lt;/code&gt;、&lt;code&gt;${&lt;i&gt;name&lt;/i&gt;}&lt;/code&gt; または &lt;code&gt;$&lt;i&gt;name&lt;/i&gt;&lt;/code&gt; のプレースホルダーで置き換えて使用することが出来ますが Jinja2 の標準プレースホルダ &lt;code&gt;{{&lt;i&gt;name&lt;/i&gt;}}&lt;/code&gt; を使うことが推奨されているようです。
辞書型の変数は &lt;code&gt;{{http.maxconnections}}&lt;/code&gt; のようにドットに続けて記述します。
&lt;/p&gt;
&lt;!--
&lt;p&gt;
変数の値は実行をまたいで維持されることはありませんが、必要であれば &lt;code&gt;set_fact&lt;/code&gt; で設定し次回の &lt;code&gt;setup&lt;/code&gt; 実行で参照することが出来ます (未確認)。
&lt;/p&gt;
--&gt;

&lt;h3&gt;簡単な実行例&lt;/h3&gt;
&lt;p&gt;
サンプルとして管理ノードの motd を置き換え ssh 接続時に表示されるメッセージを変更します。必要なファイルは Inventory ファイルと Playbook、それに motd メッセージのテンプレート (&lt;a herf=&quot;https://ymotongpoo.appspot.com/jinja2_ja/index.html&quot;&gt;Jinja2&lt;/a&gt; 形式) です。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; cat hosts
[onion-slice]
onion00
onion01

&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; cat deploy.yml
- hosts: onion-slice
  sudo: yes
  vars:
    motd_warning: &#39;WARN: This is PRODUCTION environment.&#39;
  tasks:
    - name: distribute motd file
      template: src=motd.j2
                dest=/etc/motd
                owner=root
                group=root
                mode=0644

&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; cat motd.j2
{{motd_warning}}
{{ansible_distribution}} {{ansible_distribution_version}} {{ansible_distribution_release}}
&lt;/pre&gt;
&lt;p&gt;
上記の環境で実行してみます。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; ansible-playbook -i hosts deploy.yml -k -K
SSH password:
sudo password [defaults to SSH password]:

PLAY [onion-slice] ************************************************************

GATHERING FACTS ***************************************************************
ok: [onion01]
ok: [onion00]

TASK: [distribute motd file] **************************************************
changed: [onion01]
changed: [onion00]

PLAY RECAP ********************************************************************
onion00                    : ok=2    changed=1    unreachable=0    failed=0
onion01                    : ok=2    changed=1    unreachable=0    failed=0

&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; ssh onion00
torao@onion00&#39;s password:
Welcome to Ubuntu 14.04 LTS (GNU/Linux 3.13.0-24-generic x86_64)

 * Documentation:  https://help.ubuntu.com/
&lt;b&gt;WARN: This is PRODUCTION environment.
Ubuntu 14.04 trusty&lt;/b&gt;
Last login: Wed Jul 23 12:58:02 2014 from 192.168.228.129
&lt;/pre&gt;
&lt;p&gt;
うまく更新されたようですね。
&lt;/p&gt;

&lt;h3&gt;Playbook のセクション&lt;/h3&gt;

&lt;h4&gt;Target Section&lt;/h4&gt;
&lt;p&gt;
Playbook のターゲットセクションは Playbook 再生時の接続先ホストやユーザを指定します。代表的なものは &lt;code&gt;hosts&lt;/code&gt; と &lt;code&gt;user&lt;/code&gt; あたりですか。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
- hosts: onion-slice
  user: admin
&lt;/pre&gt;

&lt;table class=&quot;wikitable&quot;&gt;
&lt;tr&gt;
  &lt;th&gt;Name&lt;/th&gt;&lt;th&gt;Description&lt;/th&gt;
&lt;/tr&gt;
&lt;tr&gt;
  &lt;td&gt;&lt;code&gt;hosts&lt;/code&gt;&lt;/td&gt;
  &lt;td&gt;実行対象とするホストグループ名。Inventory ファイルに記述されているもの。&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
  &lt;td&gt;&lt;code&gt;sudo&lt;/code&gt;&lt;/td&gt;
  &lt;td&gt;再生時、マシンに接続したときに root になる必要があれば &lt;code&gt;yes&lt;/code&gt;。&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
  &lt;td&gt;&lt;code&gt;user&lt;/code&gt;&lt;/td&gt;
  &lt;td&gt;マシンに接続するときに使用するユーザ名。sudo が指定されているなら sudo より前に使用される。&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
  &lt;td&gt;&lt;code&gt;sudo_user&lt;/code&gt;&lt;/td&gt;
  &lt;td&gt;&lt;code&gt;sudo&lt;/code&gt; が &lt;code&gt;yes&lt;/code&gt; の時の sudo で切り替わるユーザ名。&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
  &lt;td&gt;&lt;code&gt;connection&lt;/code&gt;&lt;/td&gt;
  &lt;td&gt;リモートホストへの接続に何を使用するか。通常は &lt;code&gt;ssh&lt;/code&gt; か &lt;code&gt;paramiko&lt;/code&gt;、ローカル接続でオーバーヘッドが気になるなら &lt;code&gt;local&lt;/code&gt;。&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
  &lt;td&gt;&lt;code&gt;gather_facts&lt;/code&gt;&lt;/td&gt;
  &lt;td&gt;暗黙的に &lt;code&gt;setup&lt;/code&gt; を行ってリモートホストの変数を取得する必要がなければ &lt;code&gt;no&lt;/code&gt; (パフォーマンスが上がる)。&lt;/td&gt;
&lt;/tr&gt;
&lt;/table&gt;

&lt;h4&gt;Veriable Section&lt;/h4&gt;
&lt;p&gt;
Playbook 内で使用する変数を定義します。外部の定義ファイルを指定したり、またプロンプトで問い合わせる事が出来るようになっています。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
vars:
  motd_warning: &#39;WARN: This is PRODUCTION environment.&#39;
  testserver: no
vars_files:
  conf/production.yml
vars_prompt:
  - name: &#39;https_passphrase&#39;
    prompt: &#39;HTTPS Passphrase&#39;
    private: yes
&lt;/pre&gt;
&lt;p&gt;
定義した変数は前述の通り Playbook や Jinja2 テンプレート内で使用することが出来ます
&lt;/p&gt;

&lt;h4&gt;Task Section&lt;/h4&gt;
&lt;p&gt;
タスクセクションは実行するモジュールを並べるところです。他の構成管理ツールと違い Ansible はモジュールの依存関係の解決は行いません。
&lt;/p&gt;

&lt;h4&gt;Handler Section&lt;/h4&gt;
&lt;p&gt;
ハンドラは Ansible がタスクリストを実行し終えた後に実行されます。ハンドラとして複数回呼び出されても実行されるのは一回です。またハンドラを起動するタスクが実行されなければハンドラも実行されません。
&lt;/p&gt;
&lt;p&gt;
ハンドラはサーバを最新版に更新し設定を修正して再起動するような場合に利用できます。
最新版更新と設定修正のタスクで呼び出しておけばどちらか片方が既に行われていて実行スキップされても再起動は実行されます。またどちらも実行スキップされれば再起動も実行されません。
&lt;/p&gt;

&lt;h3&gt;よく利用されるモジュール&lt;/h3&gt;

&lt;dl&gt;
&lt;dt&gt;template&lt;/dt&gt;
&lt;dd&gt;テンプレートエンジン Jinja2 を使って整形したファイルをリモートに配置します。テンプレートエンジン内では for や if 文、コメント表記が使用できます。&lt;/dd&gt;
&lt;dt&gt;pause&lt;/dt&gt;
&lt;dd&gt;一定時間 Playbook の実行を停止します。&lt;/dd&gt;
&lt;dt&gt;wait_for&lt;/dt&gt;
&lt;dd&gt;特定の TCP ポートを監視し、接続可能になるまで処理を中断します。これは例えば設定を変更したサーバの再起動を確認するために使用できます (ssh ポートを監視すれば管理ノードの再起動でも可能?)。&lt;/dd&gt;
&lt;dt&gt;assemble&lt;/dt&gt;
&lt;dd&gt;管理ノード上の幾つかのファイルを結合して同じ管理ノード上の別のファイルに保存します (管理ノード上で &lt;code&gt;cat&lt;/code&gt; するような感じ)。いくつかの公開鍵を転送しそれらから authorized_keys ファイルを作成するような場合などに便利です。&lt;/dd&gt;
&lt;dt&gt;add_host&lt;/dt&gt;
&lt;dd&gt;実行に閉じた中で新しいマシンを動的に追加できるようにします。&lt;/dd&gt;
&lt;dt&gt;group_by&lt;/dt&gt;
&lt;dd&gt;
管理ノードの環境ごとに動的にホストグループを作成することが出来ます。例えば CentOS と Ubuntu の混在する環境で apache をインストールするには:
&lt;pre class=&quot;console&quot;&gt;
- name: create OS group
  hosts: all
  tasks:
    - group_by: key=os_{{ansible_distribution}}
- name: run on CentOS only
  hosts: os_CentOS
  tasks:
  - name: install apache
    yum: name=httpd state=latest
- name: run on Ubuntu only
  hosts: os_Ubuntu
  tasks:
  - name: install apache
    apt: pkg=apache2 state=latest
&lt;/pre&gt;
&lt;/dd&gt;
&lt;/dl&gt;

&lt;hr/&gt;
&lt;p&gt;
ここまでで &lt;a href=&quot;http://www.amazon.co.jp/gp/product/1783280816/ref=as_li_ss_tl?ie=UTF8&amp;camp=247&amp;creative=7399&amp;creativeASIN=1783280816&amp;linkCode=as2&amp;tag=ponta09c-22&quot;&gt;Ansible Configuration Management&lt;/a&gt;&lt;img src=&quot;http://ir-jp.amazon-adsystem.com/e/ir?t=ponta09c-22&amp;l=as2&amp;o=9&amp;a=1783280816&quot; width=&quot;1&quot; height=&quot;1&quot; border=&quot;0&quot; alt=&quot;&quot; style=&quot;border:none !important; margin:0px !important;&quot; /&gt; の Chapter 2 まで。Chapter 3. Advanced Playbooks あたりはまた別に書こうと思います。
&lt;/p&gt;
</content><link rel='replies' type='application/atom+xml' href='http://koiroha.blogspot.com/feeds/5160675585003123862/comments/default' title='コメントの投稿'/><link rel='replies' type='text/html' href='http://koiroha.blogspot.com/2014/07/getting-started-with-ansible.html#comment-form' title='0 件のコメント'/><link rel='edit' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/5160675585003123862'/><link rel='self' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/5160675585003123862'/><link rel='alternate' type='text/html' href='http://koiroha.blogspot.com/2014/07/getting-started-with-ansible.html' title='Getting Started with Ansible'/><author><name>kuromoyo</name><uri>http://www.blogger.com/profile/06743675683543438152</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><thr:total>0</thr:total></entry><entry><id>tag:blogger.com,1999:blog-9192882573722458820.post-9180991555780143381</id><published>2014-07-01T19:18:00.000+09:00</published><updated>2014-07-01T19:22:13.161+09:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="Hadoop"/><category scheme="http://www.blogger.com/atom/ns#" term="HDFS"/><category scheme="http://www.blogger.com/atom/ns#" term="Java"/><title type='text'>HDFS FileSystem#createNewFile() throw Exception if it fails</title><content type='html'>&lt;p&gt;
(メモ) Hadoop の &lt;code&gt;FileSystem#createNewFile()&lt;/code&gt; は成功/失敗を表す true, false を返す外に、別のノードが作成中という状態があり例外を投げるため注意が必要。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.AlreadyBeingCreatedException): Failed to create file [/foo/bar.log] for [DFSClient_NONMAPREDUCE_-1878341682_28] on client [192.168.xxx.xxx], because this file is already being created by [DFSClient_NONMAPREDUCE_-200298542_28] on [192.168.xxx.xxx]
  at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.recoverLeaseInternal(FSNamesystem.java:2062)
  at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFileInternal(FSNamesystem.java:1862)
  at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFileInt(FSNamesystem.java:1771)
  at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFile(FSNamesystem.java:1747)
  at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.create(NameNodeRpcServer.java:418)
  at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.create(ClientNamenodeProtocolServerSideTranslatorPB.java:207)
  at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java:44942)
  at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:453)
  at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1002)
  at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1701)
  at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1697)
  at java.security.AccessController.doPrivileged(Native Method)
  at javax.security.auth.Subject.doAs(Subject.java:415)
  at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1408)
  at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1695)
  at org.apache.hadoop.ipc.Client.call(Client.java:1225)
  at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:202)
  at com.sun.proxy.$Proxy10.create(Unknown Source)
  at sun.reflect.GeneratedMethodAccessor8.invoke(Unknown Source)
  at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
  at java.lang.reflect.Method.invoke(Method.java:606)
  at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:164)
  at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:83)
  at com.sun.proxy.$Proxy10.create(Unknown Source)
  at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.create(ClientNamenodeProtocolTranslatorPB.java:192)
  at org.apache.hadoop.hdfs.DFSOutputStream.&lt;init&gt;(DFSOutputStream.java:1298)
  at org.apache.hadoop.hdfs.DFSOutputStream.newStreamForCreate(DFSOutputStream.java:1317)
  at org.apache.hadoop.hdfs.DFSClient.create(DFSClient.java:1242)
  at org.apache.hadoop.hdfs.DFSClient.create(DFSClient.java:1199)
  at org.apache.hadoop.hdfs.DistributedFileSystem.create(DistributedFileSystem.java:273)
  at org.apache.hadoop.hdfs.DistributedFileSystem.create(DistributedFileSystem.java:262)
  at org.apache.hadoop.hdfs.DistributedFileSystem.create(DistributedFileSystem.java:79)
  at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:851)
  at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:832)
  at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:794)
  at org.apache.hadoop.fs.FileSystem.createNewFile(FileSystem.java:1094)
&lt;/pre&gt;
</content><link rel='replies' type='application/atom+xml' href='http://koiroha.blogspot.com/feeds/9180991555780143381/comments/default' title='コメントの投稿'/><link rel='replies' type='text/html' href='http://koiroha.blogspot.com/2014/07/hdfs-filesystemcreatenewfile-throw.html#comment-form' title='0 件のコメント'/><link rel='edit' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/9180991555780143381'/><link rel='self' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/9180991555780143381'/><link rel='alternate' type='text/html' href='http://koiroha.blogspot.com/2014/07/hdfs-filesystemcreatenewfile-throw.html' title='HDFS FileSystem#createNewFile() throw Exception if it fails'/><author><name>kuromoyo</name><uri>http://www.blogger.com/profile/06743675683543438152</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><thr:total>0</thr:total><georss:featurename>日本, 恵比寿駅（東京）</georss:featurename><georss:point>35.64669 139.710106</georss:point><georss:box>35.620883 139.66976549999998 35.672497 139.7504465</georss:box></entry><entry><id>tag:blogger.com,1999:blog-9192882573722458820.post-5215322642074727883</id><published>2014-06-08T02:49:00.000+09:00</published><updated>2014-06-08T03:09:50.720+09:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="Java"/><category scheme="http://www.blogger.com/atom/ns#" term="Performance"/><category scheme="http://www.blogger.com/atom/ns#" term="Scala"/><category scheme="http://www.blogger.com/atom/ns#" term="アルゴリズム"/><title type='text'>Java と Scala の mutable/immutable Map パフォーマンス比較</title><content type='html'>&lt;p&gt;
Java と Scala で標準で用意されている Map 型コレクションに対して要素数に対する CRUD 操作の性能を調べてみました。そもそもの動機は:
&lt;ul&gt;
&lt;li&gt;immutable なコレクションに対して mutable はどれほど優位性があるのか?&lt;/li&gt;
&lt;li&gt;要素数による性能の劣化はあるのか? あるなら immutable/mutable のどちらが最適かの選択基準となる規模はどの程度か?&lt;/li&gt;
&lt;/ul&gt;
という疑問からです。内部実装については Hashtable 時代にソースを読んで理解している程度ですのでそれほど詳しくはないです。
&lt;/p&gt;
&lt;p&gt;
実行環境は以下の通り。
&lt;/p&gt;
&lt;table class=&quot;wikitable&quot;&gt;
&lt;tr&gt;&lt;th&gt;CPU&lt;/th&gt;&lt;td&gt;Intel&amp;reg; Xeon&amp;reg; E31230 @ 3.20GHz&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;th&gt;OS&lt;/th&gt;&lt;td&gt;CentOS 5.10 Kernel 2.6.18&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;th&gt;Java&lt;/th&gt;&lt;td&gt;Oracle Java 8u05&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;th&gt;Scala&lt;/th&gt;&lt;td&gt;Scala 2.11.1&lt;/td&gt;&lt;/tr&gt;
&lt;/table&gt;

&lt;h3&gt;O&lt;small&gt;(1)&lt;/small&gt; 操作の Map 比較&lt;/h3&gt;
&lt;p&gt;
Hash ベースの Map 実装で理想的に分散されれば &lt;span style=&quot;font-family:Times,Times New Roman,serif;&quot;&gt;&lt;i&gt;O&lt;sub&gt;(1)&lt;/sub&gt;&lt;/i&gt;&lt;/span&gt; 操作になるはずですが、標準で用意されている中には Hash ベースでないものもあります。同一条件では頭打ちが早すぎて比較が難しいので、まず &lt;span style=&quot;font-family:Times,Times New Roman,serif;&quot;&gt;&lt;i&gt;O&lt;sub&gt;(1)&lt;/sub&gt;&lt;/i&gt;&lt;/span&gt; Map 実装のみでパフォーマンスを比較します。
&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;各 Map 実装が内包する要素数を x 軸値とする。&lt;/li&gt;
&lt;li&gt;Map のユースケースを考慮して x 軸は 1,024個(1k)、65,535個(64k)、1,048,576個(1M) の 3 スケールで出す。&lt;/li&gt;
&lt;li&gt;Map に存在する要素からランダムに選んだキーを使用して以下の CRUD 操作をおこなう。&lt;/li&gt;
&lt;li&gt;100回の平均実行時間 [μsec] を計測して y 軸値とする。&lt;/li&gt;
&lt;/ol&gt;

&lt;table class=&quot;wikitable&quot; style=&quot;font-size:smaller;&quot;&gt;
&lt;tr&gt;&lt;th&gt;クラス&lt;/th&gt;&lt;th&gt;参照&lt;/th&gt;&lt;th&gt;更新&lt;/th&gt;&lt;th&gt;追加&lt;/th&gt;&lt;th&gt;削除&lt;/th&gt;&lt;/tr&gt;
&lt;tr&gt;
  &lt;td&gt;&lt;code&gt;&lt;small&gt;java.util&lt;/small&gt;&lt;br/&gt;&lt;b&gt;HashMap&lt;/b&gt;&lt;/code&gt;&lt;/td&gt;
  &lt;td&gt;&lt;code&gt;map.get(key)&lt;/code&gt;&lt;/td&gt;
  &lt;td&gt;&lt;code&gt;map.put(key,value)&lt;/code&gt;&lt;/td&gt;
  &lt;td&gt;&lt;code&gt;map.put(key,value)&lt;/code&gt;&lt;/td&gt;
  &lt;td&gt;&lt;code&gt;map.remove(key)&lt;/code&gt;&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;
  &lt;td&gt;&lt;code&gt;&lt;small&gt;java.util&lt;/small&gt;&lt;br/&gt;&lt;b&gt;LinkedHashMap&lt;/b&gt;&lt;/code&gt;&lt;/td&gt;
  &lt;td&gt;&lt;code&gt;map.get(key)&lt;/code&gt;&lt;/td&gt;
  &lt;td&gt;&lt;code&gt;map.put(key,value)&lt;/code&gt;&lt;/td&gt;
  &lt;td&gt;&lt;code&gt;map.put(key,value)&lt;/code&gt;&lt;/td&gt;
  &lt;td&gt;&lt;code&gt;map.remove(key)&lt;/code&gt;&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;
  &lt;td&gt;&lt;code&gt;&lt;small&gt;java.util&lt;/small&gt;&lt;br/&gt;&lt;b&gt;TreeMap&lt;/b&gt;&lt;/code&gt;&lt;/td&gt;
  &lt;td&gt;&lt;code&gt;map.get(key)&lt;/code&gt;&lt;/td&gt;
  &lt;td&gt;&lt;code&gt;map.put(key,value)&lt;/code&gt;&lt;/td&gt;
  &lt;td&gt;&lt;code&gt;map.put(key,value)&lt;/code&gt;&lt;/td&gt;
  &lt;td&gt;&lt;code&gt;map.remove(key)&lt;/code&gt;&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;
  &lt;td&gt;&lt;code&gt;&lt;small&gt;scala.collection.mutable&lt;/small&gt;&lt;br/&gt;&lt;b&gt;HashMap&lt;/b&gt;&lt;/code&gt;&lt;/td&gt;
  &lt;td&gt;&lt;code&gt;map(key)&lt;/code&gt;&lt;/td&gt;
  &lt;td&gt;&lt;code&gt;map.update(key,value)&lt;/code&gt;&lt;/td&gt;
  &lt;td&gt;&lt;code&gt;map.update(key,value)&lt;/code&gt;&lt;/td&gt;
  &lt;td&gt;&lt;code&gt;map.remove(key)&lt;/code&gt;&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;
  &lt;td&gt;&lt;code&gt;&lt;small&gt;scala.collection.mutable&lt;/small&gt;&lt;br/&gt;&lt;b&gt;LinkedHashMap&lt;/b&gt;&lt;/code&gt;&lt;/td&gt;
  &lt;td&gt;&lt;code&gt;map(key)&lt;/code&gt;&lt;/td&gt;
  &lt;td&gt;&lt;code&gt;map.update(key,value)&lt;/code&gt;&lt;/td&gt;
  &lt;td&gt;&lt;code&gt;map.update(key,value)&lt;/code&gt;&lt;/td&gt;
  &lt;td&gt;&lt;code&gt;map.remove(key)&lt;/code&gt;&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;
  &lt;td&gt;&lt;code&gt;&lt;small&gt;scala.collection.mutable&lt;/small&gt;&lt;br/&gt;&lt;b&gt;OpenHashMap&lt;/b&gt;&lt;/code&gt;&lt;/td&gt;
  &lt;td&gt;&lt;code&gt;map(key)&lt;/code&gt;&lt;/td&gt;
  &lt;td&gt;&lt;code&gt;map.update(key,value)&lt;/code&gt;&lt;/td&gt;
  &lt;td&gt;&lt;code&gt;map.update(key,value)&lt;/code&gt;&lt;/td&gt;
  &lt;td&gt;&lt;code&gt;map.remove(key)&lt;/code&gt;&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;
  &lt;td&gt;&lt;code&gt;&lt;small&gt;scala.collection.immutable&lt;/small&gt;&lt;br/&gt;&lt;b&gt;HashMap&lt;/b&gt;&lt;/code&gt;&lt;/td&gt;
  &lt;td&gt;&lt;code&gt;map(key)&lt;/code&gt;&lt;/td&gt;
  &lt;td&gt;&lt;code&gt;map + (key,value)&lt;/code&gt;&lt;/td&gt;
  &lt;td&gt;&lt;code&gt;map + (key,value)&lt;/code&gt;&lt;/td&gt;
  &lt;td&gt;&lt;code&gt;map - key&lt;/code&gt;&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;
  &lt;td&gt;&lt;code&gt;&lt;small&gt;scala.collection.immutable&lt;/small&gt;&lt;br/&gt;&lt;b&gt;TreeMap&lt;/b&gt;&lt;/code&gt;&lt;/td&gt;
  &lt;td&gt;&lt;code&gt;map(key)&lt;/code&gt;&lt;/td&gt;
  &lt;td&gt;&lt;code&gt;map + (key,value)&lt;/code&gt;&lt;/td&gt;
  &lt;td&gt;&lt;code&gt;map + (key,value)&lt;/code&gt;&lt;/td&gt;
  &lt;td&gt;&lt;code&gt;map - key&lt;/code&gt;&lt;/td&gt;&lt;/tr&gt;
&lt;/table&gt;
&lt;p&gt;
キーは 0, 1, 2, ... と続く &lt;code&gt;Int&lt;/code&gt; 型、値はキーを文字列化した &lt;code&gt;String&lt;/code&gt; 型です。auto boxing の影響が含まれているかも知れませんが元々 Int で使う想定の処理に対する検証なのでご了承下さい。メモリはヒープ 1GB で行っています。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
&lt;span class=&quot;prompt&quot;&gt;torao@cobalt$&lt;/span&gt; scala -J-Xmx1g -J-Xmx1g Hoge.scala
&lt;/pre&gt;
&lt;p&gt;
ソースは &lt;a href=&quot;https://gist.github.com/torao/ff2edcf448a12b1e0122&quot;&gt;Gist&lt;/a&gt; に置いてあります。
&lt;/p&gt;

&lt;h4&gt;要素の参照&lt;/h4&gt;
&lt;p&gt;
まず規定個数の要素を挿入しランダムでキーを選んで値を参照する操作。
&lt;/p&gt;
&lt;div class=&quot;separator&quot; style=&quot;clear: both; text-align: center;&quot;&gt;
&lt;a href=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEi067bIJJz97P-zHwbx0zINBkoHvOmhqtOBcdv96HcKSTxrj1-FKJcDyULPZfiNcGi9WNc-iLy04Dk-FbqT6NSXqjajHSsyHXydoFn6nIvsYCYwm6-FjZwSuMceY4awahkh5g6ve6F971Q/s1600/get-64k-java8-scala211.png&quot; imageanchor=&quot;1&quot; style=&quot;margin-left: 1em; margin-right: 1em;&quot;&gt;&lt;img border=&quot;0&quot; src=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEi067bIJJz97P-zHwbx0zINBkoHvOmhqtOBcdv96HcKSTxrj1-FKJcDyULPZfiNcGi9WNc-iLy04Dk-FbqT6NSXqjajHSsyHXydoFn6nIvsYCYwm6-FjZwSuMceY4awahkh5g6ve6F971Q/s1600/get-64k-java8-scala211.png&quot; /&gt;&lt;/a&gt;&lt;br/&gt;
&lt;a href=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjf9vXRs9XHYYXy4Kq31j6B2QSokdK8n5hl-E51vz93cWrqGjygS-9JT6ZfhLnLMc0U7HgCYltqpTXn_0cY5gsiyJaWAI3EGZ2SlmCzIAHQkMvdtcDNCwzdmoFVmM8rV4vkASPcIEQHDqI/s400/get-1k-java8-scala211.png&quot; imageanchor=&quot;1&quot; style=&quot;margin-left: 1em; margin-right: 1em;&quot;&gt;&lt;img border=&quot;0&quot; src=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjf9vXRs9XHYYXy4Kq31j6B2QSokdK8n5hl-E51vz93cWrqGjygS-9JT6ZfhLnLMc0U7HgCYltqpTXn_0cY5gsiyJaWAI3EGZ2SlmCzIAHQkMvdtcDNCwzdmoFVmM8rV4vkASPcIEQHDqI/s320/get-1k-java8-scala211.png&quot; /&gt;&lt;/a&gt;
&lt;a href=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEh3V5hEPn_YZFkTUVNv5rzEsxSwCBwu4CX-Ks_K0kktMgUUuv9Y7o6YAQNeZ9HJVmFH_GPFULVD1X3FSYmvmqYjveJrH6DkfiHyenPuOp8XuD3IxHBzUqK4J2LIy_vy2e6OgE0DlZGZdvA/s1600/get-1M-java8-scala211.png&quot; imageanchor=&quot;1&quot; style=&quot;margin-left: 1em; margin-right: 1em;&quot;&gt;&lt;img border=&quot;0&quot; src=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEh3V5hEPn_YZFkTUVNv5rzEsxSwCBwu4CX-Ks_K0kktMgUUuv9Y7o6YAQNeZ9HJVmFH_GPFULVD1X3FSYmvmqYjveJrH6DkfiHyenPuOp8XuD3IxHBzUqK4J2LIy_vy2e6OgE0DlZGZdvA/s320/get-1M-java8-scala211.png&quot; /&gt;&lt;/a&gt;
&lt;/div&gt;
&lt;p&gt;
Map が小さいうちはメモリ節約指向でシノニムが出ているのか、要素数が 200 以下ではパフォーマンスのばらけ具合が大きいようです。
どのレンジでも安定して速いのは Java の &lt;b&gt;HashMap&lt;/b&gt;, &lt;b&gt;LinkedHashMap&lt;/b&gt;, Scala の &lt;b&gt;OpenHashMap&lt;/b&gt; です。逆に Java と Scala のTreeMap は要素数が大きくなるとパフォーマンスの悪さが目立ってきます。
&lt;/p&gt;

&lt;h4&gt;要素の更新&lt;/h4&gt;
&lt;p&gt;
続いて要素の更新。規定個数を挿入した Map からランダムに選んだ要素に新しい値を設定する操作です。
&lt;/p&gt;
&lt;div class=&quot;separator&quot; style=&quot;clear: both; text-align: center;&quot;&gt;
&lt;a href=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiN6Htcgw5n1a1rh8CH92BVDdjOkbV0HPcZNLCAxhcvuiD22PjD5_nu9jN8bU0w2bR5SrfF5Pq79Y9DonMRaNL0tvxJb93OJ1Zl2b7YW6_erA8xkQWAPQ3VnYxNmWN1SB7UcN6zbqavIEU/s1600/set-64k-java8-scala211.png&quot; imageanchor=&quot;1&quot; style=&quot;margin-left: 1em; margin-right: 1em;&quot;&gt;&lt;img border=&quot;0&quot; src=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiN6Htcgw5n1a1rh8CH92BVDdjOkbV0HPcZNLCAxhcvuiD22PjD5_nu9jN8bU0w2bR5SrfF5Pq79Y9DonMRaNL0tvxJb93OJ1Zl2b7YW6_erA8xkQWAPQ3VnYxNmWN1SB7UcN6zbqavIEU/s1600/set-64k-java8-scala211.png&quot; /&gt;&lt;/a&gt;
&lt;a href=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEicp1b0hi882OC-1xEc3T-3d28RtTPbUosohpKBlcFrJteOSE2BWW-vjbBGppSoGaUk5LflKf1nEMh8ybGOO7zxO9UUHX-peC_mKcfV_MXg6Zr562eTcamO4odvyodIUb5S-m0LXjM_LlI/s1600/set-1k-java8-scala211.png&quot; imageanchor=&quot;1&quot; style=&quot;margin-left: 1em; margin-right: 1em;&quot;&gt;&lt;img border=&quot;0&quot; src=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEicp1b0hi882OC-1xEc3T-3d28RtTPbUosohpKBlcFrJteOSE2BWW-vjbBGppSoGaUk5LflKf1nEMh8ybGOO7zxO9UUHX-peC_mKcfV_MXg6Zr562eTcamO4odvyodIUb5S-m0LXjM_LlI/s320/set-1k-java8-scala211.png&quot; /&gt;&lt;/a&gt;
&lt;a href=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiHpBlzyzsIWiJLXdIcDmGkJf2LoR1uccn8VA1E8t03KiZDJmW8s0wzQTYoPCSIiopzJ-r7RiD6Pw0Y0vGIRinPVEVyP6OkIZrRelP3yAwLu5e-9CwUNrJY2MVQHBgFjuWDj5wXoaNfyp0/s1600/set-1M-java8-scala211.png&quot; imageanchor=&quot;1&quot; style=&quot;margin-left: 1em; margin-right: 1em;&quot;&gt;&lt;img border=&quot;0&quot; src=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiHpBlzyzsIWiJLXdIcDmGkJf2LoR1uccn8VA1E8t03KiZDJmW8s0wzQTYoPCSIiopzJ-r7RiD6Pw0Y0vGIRinPVEVyP6OkIZrRelP3yAwLu5e-9CwUNrJY2MVQHBgFjuWDj5wXoaNfyp0/s320/set-1M-java8-scala211.png&quot; /&gt;&lt;/a&gt;
&lt;/div&gt;
&lt;p&gt;
参照時よりピーキーで傾向を読むのが難しいですが、1k スケールの Scala TreeMap, LinkedHashMap, immutable HashMap、64k スケールの Scala TreeMap, immutable HashMap、1M スケールの Java/Scala TreeMap, Scala immutable HashMap あたりの劣化が見てとれるでしょうか。
&lt;/p&gt;
&lt;p&gt;
ここでも Scala &lt;b&gt;OpenHashMap&lt;/b&gt; が一番安定的に速いように見えます。あと Java/Scala &lt;b&gt;HashMap&lt;/b&gt;、Java &lt;b&gt;LinkedHashMap&lt;/b&gt; も比較的安定している部類ですか。
&lt;/p&gt;

&lt;h4&gt;要素の追加&lt;/h4&gt;
&lt;p&gt;
規定個数 - 1 状態にした Map に既存要素と重複しないキーを持つ要素を追加する操作です。
&lt;/p&gt;
&lt;div class=&quot;separator&quot; style=&quot;clear: both; text-align: center;&quot;&gt;
&lt;a href=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEifJHiJrwcy5_fDwKtGX25VGFtDwFmHBU3sB106aUqesQ0SYVNgtOcm3ly_Gt6XGVZ9RgYNQIQ13Kv9LaGKmRGZONk8xWvls87KJEzvN5AMPZRQfxdbGZs-Orh7_Bok4vg_caHb0GQV2Sw/s1600/add-64k-java8-scala211.png&quot; imageanchor=&quot;1&quot; style=&quot;margin-left: 1em; margin-right: 1em;&quot;&gt;&lt;img border=&quot;0&quot; src=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEifJHiJrwcy5_fDwKtGX25VGFtDwFmHBU3sB106aUqesQ0SYVNgtOcm3ly_Gt6XGVZ9RgYNQIQ13Kv9LaGKmRGZONk8xWvls87KJEzvN5AMPZRQfxdbGZs-Orh7_Bok4vg_caHb0GQV2Sw/s1600/add-64k-java8-scala211.png&quot; /&gt;&lt;/a&gt;
&lt;a href=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhEpLgcgsu4uu0_bMBURaG1wCXyc6b4N9Qdun2GTGKI3tDL57OOq5EWz0JN6u6wwXf5liYIkFylueHFI9vWh9fKJp3jpWK3bW1945Ri3DmIqeia4I8ijXs3okQQp3IMhyphenhyphenId-cg88jGK2ag/s1600/add-1k-java8-scala211.png&quot; imageanchor=&quot;1&quot; style=&quot;margin-left: 1em; margin-right: 1em;&quot;&gt;&lt;img border=&quot;0&quot; src=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhEpLgcgsu4uu0_bMBURaG1wCXyc6b4N9Qdun2GTGKI3tDL57OOq5EWz0JN6u6wwXf5liYIkFylueHFI9vWh9fKJp3jpWK3bW1945Ri3DmIqeia4I8ijXs3okQQp3IMhyphenhyphenId-cg88jGK2ag/s320/add-1k-java8-scala211.png&quot; /&gt;&lt;/a&gt;
&lt;a href=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgTvzM1V1N1sesKH2FydRuf3tzlFi8Gf433x6pKRdMygp_eTNmSQm1oIKxauvDu92hLxiaPHJ6lOOFYT7mlqcwFZADMaYQlS78JxhYSeTQoBxqzEX70Ir8t6n_X1JgG2PYlv3pL0KmOEog/s1600/add-1M-java8-scala211.png&quot; imageanchor=&quot;1&quot; style=&quot;margin-left: 1em; margin-right: 1em;&quot;&gt;&lt;img border=&quot;0&quot; src=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgTvzM1V1N1sesKH2FydRuf3tzlFi8Gf433x6pKRdMygp_eTNmSQm1oIKxauvDu92hLxiaPHJ6lOOFYT7mlqcwFZADMaYQlS78JxhYSeTQoBxqzEX70Ir8t6n_X1JgG2PYlv3pL0KmOEog/s320/add-1M-java8-scala211.png&quot; /&gt;&lt;/a&gt;
&lt;/div&gt;
&lt;p&gt;
構造に変化が出る操作では TreeMap と immutable が不利な傾向といったところでしょうか。
Scala の mutable HashMap, LinkedHashMap は要素数が少ないうちはあまりパフォーマンスがよくありません。
&lt;/p&gt;

&lt;h4&gt;要素の削除&lt;/h4&gt;
&lt;p&gt;
規定個数を挿入した Map からランダムに選択した要素を削除する操作です。
&lt;/p&gt;
&lt;div class=&quot;separator&quot; style=&quot;clear: both; text-align: center;&quot;&gt;
&lt;a href=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiAXvKlu-aslyyTjm6WbNPAqiM5jxY3luqaS-1vJHGvwJaj_5je9Vaoeo49LZ4ohGm5IZGi1SrJ8w8LFCYyG5MfLkalKby4Y6rYEHHcucDbE7NlA-YxvUd43Hq5X1InleOLrmiV8RbjhqI/s1600/del-64k-java8-scala211.png&quot; imageanchor=&quot;1&quot; style=&quot;margin-left: 1em; margin-right: 1em;&quot;&gt;&lt;img border=&quot;0&quot; src=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiAXvKlu-aslyyTjm6WbNPAqiM5jxY3luqaS-1vJHGvwJaj_5je9Vaoeo49LZ4ohGm5IZGi1SrJ8w8LFCYyG5MfLkalKby4Y6rYEHHcucDbE7NlA-YxvUd43Hq5X1InleOLrmiV8RbjhqI/s1600/del-64k-java8-scala211.png&quot; /&gt;&lt;/a&gt;
&lt;a href=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiBRVBxlqoGss9jGwOURbACkOz645x1J-TRT2gC27y_g4En3EHUjylUQReyqNJHXtZaWRoL75WkEP8rCHvk0N19T8qLa_eAkgTYmyk53r95HH1fGUJbYbB5_hrdPC6BnEjjYqaJJt6VN6c/s1600/del-1k-java8-scala211.png&quot; imageanchor=&quot;1&quot; style=&quot;margin-left: 1em; margin-right: 1em;&quot;&gt;&lt;img border=&quot;0&quot; src=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiBRVBxlqoGss9jGwOURbACkOz645x1J-TRT2gC27y_g4En3EHUjylUQReyqNJHXtZaWRoL75WkEP8rCHvk0N19T8qLa_eAkgTYmyk53r95HH1fGUJbYbB5_hrdPC6BnEjjYqaJJt6VN6c/s320/del-1k-java8-scala211.png&quot; /&gt;&lt;/a&gt;
&lt;a href=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiUoFp7Kw4dlzF7gsUvp6hvT7I5P9EdJ5214fd11IylQAgWmWUuuvQuNnPosn0VIlC3fL_DMlLMxt1RoYLa8bGCMsP5VQ5yUWlFScS_tj9J_9xIWvO6nM52LRJjnfAVHxwJ_EGciMIrkyY/s1600/del-1M-java8-scala211.png&quot; imageanchor=&quot;1&quot; style=&quot;margin-left: 1em; margin-right: 1em;&quot;&gt;&lt;img border=&quot;0&quot; src=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiUoFp7Kw4dlzF7gsUvp6hvT7I5P9EdJ5214fd11IylQAgWmWUuuvQuNnPosn0VIlC3fL_DMlLMxt1RoYLa8bGCMsP5VQ5yUWlFScS_tj9J_9xIWvO6nM52LRJjnfAVHxwJ_EGciMIrkyY/s320/del-1M-java8-scala211.png&quot; /&gt;&lt;/a&gt;
&lt;/div&gt;
&lt;p&gt;
ここでも Java/Scala の TreeMap が邪悪な臭いを醸し出しています。また Scala の immutable HashMap も劣化傾向にあり、構造変化の伴う操作への不利感が出ています。
&lt;/p&gt;

&lt;h4&gt;O&lt;small&gt;(1)&lt;/small&gt; Map 比較のまとめ&lt;/h4&gt;
&lt;p&gt;
全ての操作で Scala の &lt;b&gt;OpenHashMap&lt;/b&gt;、Java の &lt;b&gt;HashMap&lt;/b&gt; と &lt;b&gt;LinkedHashMap&lt;/b&gt;  が安定的に高速でした。LinkedHashMap は挿入順序を保持する目的で選択するのが通例かと思っておりましたが、傾向を見ていると意外にも HashMap より若干効率が良いんじゃないかという感じです。
&lt;/p&gt;
&lt;p&gt;
Scala の immutable HashMap は構造に変化が入る操作に関しては全般的に mutable より劣るという結果です。ただし要素数に応じて性能劣化するというわけではないので、設計や実装上のメリットを考えて選択するのは十分ありな範囲かと思います。あとは変更操作が行われるたびに短命 &amp; 粒度の高いインスタンスが発生することによる GC の頻発やメモリ断片化の影響が気になるところではありますが。
&lt;/p&gt;
&lt;p&gt;
Java, Scala ともに TreeMap の効率は悪いですね。特に Scala の immutable TreeMap は劣化も大きく良いとこなしですので、別の方法を考えた方が良いと思います。
&lt;/p&gt;
&lt;p&gt;
ここまでそれぞれの操作をグラフに出してみましたが結構ごちゃごちゃしています。で、私の場合はどれを選択するのが最適なのよ! というのがよく分からないので、若干主観が入りますがケースごとに [○]選択肢として妥当なもの、[△]他の選択肢も検討する価値があるもの、[×](あかん…) で評価してみました。
&lt;/p&gt;
&lt;table class=&quot;wikitable&quot;&gt;
&lt;tr&gt;
  &lt;th&gt;実装&lt;/th&gt;
  &lt;th colspan=&quot;4&quot;&gt;1k&lt;/th&gt;
  &lt;th colspan=&quot;4&quot;&gt;64k&lt;/th&gt;
  &lt;th colspan=&quot;4&quot;&gt;1M&lt;/th&gt;
&lt;/tr&gt;
&lt;tr&gt;
  &lt;th&gt;&lt;/th&gt;
  &lt;th&gt;&lt;small&gt;参照&lt;/small&gt;&lt;/th&gt;
  &lt;th&gt;&lt;small&gt;更新&lt;/small&gt;&lt;/th&gt;
  &lt;th&gt;&lt;small&gt;追加&lt;/small&gt;&lt;/th&gt;
  &lt;th&gt;&lt;small&gt;削除&lt;/small&gt;&lt;/th&gt;
  &lt;th&gt;&lt;small&gt;参照&lt;/small&gt;&lt;/th&gt;
  &lt;th&gt;&lt;small&gt;更新&lt;/small&gt;&lt;/th&gt;
  &lt;th&gt;&lt;small&gt;追加&lt;/small&gt;&lt;/th&gt;
  &lt;th&gt;&lt;small&gt;削除&lt;/small&gt;&lt;/th&gt;
  &lt;th&gt;&lt;small&gt;参照&lt;/small&gt;&lt;/th&gt;
  &lt;th&gt;&lt;small&gt;更新&lt;/small&gt;&lt;/th&gt;
  &lt;th&gt;&lt;small&gt;追加&lt;/small&gt;&lt;/th&gt;
  &lt;th&gt;&lt;small&gt;削除&lt;/small&gt;&lt;/th&gt;
&lt;/tr&gt;
&lt;tr&gt;
  &lt;th&gt;&lt;code&gt;&lt;small&gt;java.util.&lt;/small&gt;HashMap&lt;/code&gt;&lt;/th&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
  &lt;th&gt;&lt;code&gt;&lt;small&gt;java.util.&lt;/small&gt;LinkedHashMap&lt;/code&gt;&lt;/th&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
  &lt;th&gt;&lt;code&gt;&lt;small&gt;java.util.&lt;/small&gt;TreeMap&lt;/code&gt;&lt;/th&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;△&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;△&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;×&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;×&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;×&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;△&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;×&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
  &lt;th&gt;&lt;code&gt;&lt;small&gt;scala.collection.mutable.&lt;/small&gt;HashMap&lt;/code&gt;&lt;/th&gt;
  &lt;td align=&quot;center&quot;&gt;△&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;△&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;△&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
  &lt;th&gt;&lt;code&gt;&lt;small&gt;scala.collection.mutable.&lt;/small&gt;LinkedHashMap&lt;/code&gt;&lt;/th&gt;
  &lt;td align=&quot;center&quot;&gt;×&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;×&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;△&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;△&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;△&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;△&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
  &lt;th&gt;&lt;code&gt;&lt;small&gt;scala.collection.mutable.&lt;/small&gt;OpenHashMap&lt;/code&gt;&lt;/th&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
  &lt;th&gt;&lt;code&gt;&lt;small&gt;scala.collection.immutable.&lt;/small&gt;HashMap&lt;/code&gt;&lt;/th&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;△&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;△&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;△&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;△&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;×&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;○&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;△&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;△&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;△&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;△&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;△&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
  &lt;th&gt;&lt;code&gt;&lt;small&gt;scala.collection.immutable.&lt;/small&gt;TreeMap&lt;/code&gt;&lt;/th&gt;
  &lt;td align=&quot;center&quot;&gt;△&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;×&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;×&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;×&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;×&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;×&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;×&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;×&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;×&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;×&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;×&lt;/td&gt;
  &lt;td align=&quot;center&quot;&gt;×&lt;/td&gt;
&lt;/tr&gt;
&lt;/table&gt;

&lt;h3&gt;O&lt;small&gt;(n)&lt;/small&gt; 操作の Map&lt;/h3&gt;

&lt;h4&gt;ListMap の存在理由とは?&lt;/h4&gt;
&lt;div class=&quot;separator&quot; style=&quot;clear: both; text-align: center;&quot;&gt;&lt;a href=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjV2eOXlTI_Mi3zAhf4dS8V52IegN1Ni6nw0gq9elx_JRCBZJIG2Iaxfc3l6L4rQ6GapypAJ6Id4gdqHhI3ENG-aH59NnWgPLxxhyphenhyphenN-VYCvQbZysOJoZmklj22ezcVzK-8SsLhqstUzspo/s1600/listmap-32k-java8-scala211.png&quot; imageanchor=&quot;1&quot; style=&quot;clear: right; float: right; margin-bottom: 1em; margin-left: 1em;&quot;&gt;&lt;img border=&quot;0&quot; src=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjV2eOXlTI_Mi3zAhf4dS8V52IegN1Ni6nw0gq9elx_JRCBZJIG2Iaxfc3l6L4rQ6GapypAJ6Id4gdqHhI3ENG-aH59NnWgPLxxhyphenhyphenN-VYCvQbZysOJoZmklj22ezcVzK-8SsLhqstUzspo/s200/listmap-32k-java8-scala211.png&quot; /&gt;&lt;/a&gt;&lt;/div&gt;
&lt;p&gt;
Scala に標準で含まれている &lt;code&gt;scala.collection.mutable.ListMap&lt;/code&gt; は単純に Key-Value ペアがリスト構造で保存されており、常に前方からの検索になるため計算量は &lt;span style=&quot;font-family:Times,Times New Roman,serif;&quot;&gt;&lt;i&gt;O&lt;sub&gt;(n)&lt;/sub&gt;&lt;/i&gt;&lt;/span&gt; になります。&lt;span style=&quot;font-family:Times,Times New Roman,serif;&quot;&gt;&lt;i&gt;O&lt;sub&gt;(1)&lt;/sub&gt;&lt;/i&gt;&lt;/span&gt; 操作の Map と同様にパフォーマンスの推移を見ても要素数に対して線形に劣化してゆくのが分かります (右図)。
&lt;/p&gt;
&lt;p&gt;
挿入順序の維持という目的では &lt;span style=&quot;font-family:Times,Times New Roman,serif;&quot;&gt;&lt;i&gt;O&lt;sub&gt;(1)&lt;/sub&gt;&lt;/i&gt;&lt;/span&gt; の LinkedHashMap が使えますので、どのような状況においても ListMap を選択する妥当な理由が思いあたりません。多態化の reference implementation 的な目的で存在するのでしょうか?
&lt;/p&gt;

&lt;h4&gt;Copied Pseudo-Immutable HashMap&lt;/h4&gt;
&lt;div class=&quot;separator&quot; style=&quot;clear: both; text-align: center;&quot;&gt;&lt;a href=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgBdLnyKNhb3T55eEfRKcSNNRAvRE3WR-EU2Hu69-Ozh18sbTWAUZs8Q1h68r1wKl7Ec1yzM04RCwjCWwTdVHe2_SrCuWRZkLCa_UtYPXktN8xPCB1UzLSsMm_x7m9I6k0XTfZ8Rq3IEq0/s1600/copyedhashmap-32k-java8-scala211.png&quot; imageanchor=&quot;1&quot; style=&quot;clear: right; float: right; margin-bottom: 1em; margin-left: 1em;&quot;&gt;&lt;img border=&quot;0&quot; src=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgBdLnyKNhb3T55eEfRKcSNNRAvRE3WR-EU2Hu69-Ozh18sbTWAUZs8Q1h68r1wKl7Ec1yzM04RCwjCWwTdVHe2_SrCuWRZkLCa_UtYPXktN8xPCB1UzLSsMm_x7m9I6k0XTfZ8Rq3IEq0/s200/copyedhashmap-32k-java8-scala211.png&quot; /&gt;&lt;/a&gt;&lt;/div&gt;
&lt;p&gt;
Scala の immutable な Map 操作に慣れてくると Java に mutable な Map しかない事に不安を覚えますが、Java でも &lt;code&gt;Collections.unmodifiableMap()&lt;/code&gt; で変更不可能な Map を作ることが出来ます。他にも自前でラッパーを作ったり、もっとソフトに Map の状態を変更しないルールを作ることもできます。しかし、いずれにせよ変更を伴う操作を行う場合はコピーを作る必要があります。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
public &lt;K,V&gt; Map&lt;K,V&gt; add(Map&lt;K,V&gt; oldMap, K key, V value){
  Map&lt;K,V&gt; newMap = new HashMap&lt;K,V&gt;(oldMap);
  newMap.put(key, value);
  return Collections.unmodifiableMap(newMap);
}
&lt;/pre&gt;
&lt;p&gt;
set/add/delete で Map の完全なコピーを作る必要があるため &lt;span style=&quot;font-family:Times,Times New Roman,serif;&quot;&gt;&lt;i&gt;O&lt;sub&gt;(n)&lt;/sub&gt;&lt;/i&gt;&lt;/span&gt; 操作になっています。実際、右の計測結果でも処理時間は線形に大きく増加しています。利用できるシーンは初期化されたらあとは参照されるだけの設定のような場合のみですかね。
&lt;/p&gt;
&lt;p&gt;
Scala の immutable な Map は add/remove の影響がなるべく小さくなるように実装されているのでこのようなことはありません。Java でも immutable な操作ができるようになれば素晴らしいですが、安易な実装は悪手と言えます。
&lt;/p&gt;

&lt;h3&gt;Map 比較のまとめ&lt;/h3&gt;
&lt;ul&gt;
&lt;li&gt;安定的に速いのは Java の HashMap と Scala の OpenHashMap。Scala では mutable HashMap より OpenHashMap の方が良い結果。&lt;/li&gt;
&lt;li&gt;Java の LinkedHashMap も良い結果なのだが、パフォーマンス目的で LinkedHashMap を使うのは通念から外れるので、他者の目を気にするなら HashMap の方が良いです。&lt;/li&gt;
&lt;li&gt;Scala の immutable Map はパフォーマンスが若干劣るが μsec オーダーの戦いをしているでなければ別の利点を考えての採用も良い。&lt;/li&gt;
&lt;li&gt;TreeMap を採用する理由があるならパフォーマンスの影響がないところで。&lt;/li&gt;
&lt;li&gt;ListMap に至っては使っちゃダメ。OpenHashMap で代用しよう。&lt;/li&gt;
&lt;li&gt;Java で immutable Map が使いたいならガチで Scala 並を実装するか、諦めよう。&lt;/li&gt;
&lt;/ul&gt;

</content><link rel='replies' type='application/atom+xml' href='http://koiroha.blogspot.com/feeds/5215322642074727883/comments/default' title='コメントの投稿'/><link rel='replies' type='text/html' href='http://koiroha.blogspot.com/2014/06/java-scala-map-performance-competition.html#comment-form' title='0 件のコメント'/><link rel='edit' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/5215322642074727883'/><link rel='self' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/5215322642074727883'/><link rel='alternate' type='text/html' href='http://koiroha.blogspot.com/2014/06/java-scala-map-performance-competition.html' title='Java と Scala の mutable/immutable Map パフォーマンス比較'/><author><name>kuromoyo</name><uri>http://www.blogger.com/profile/06743675683543438152</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><media:thumbnail xmlns:media="http://search.yahoo.com/mrss/" url="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEi067bIJJz97P-zHwbx0zINBkoHvOmhqtOBcdv96HcKSTxrj1-FKJcDyULPZfiNcGi9WNc-iLy04Dk-FbqT6NSXqjajHSsyHXydoFn6nIvsYCYwm6-FjZwSuMceY4awahkh5g6ve6F971Q/s72-c/get-64k-java8-scala211.png" height="72" width="72"/><thr:total>0</thr:total><georss:featurename>日本, 錦糸町駅（東京）</georss:featurename><georss:point>35.696437 139.81394899999998</georss:point><georss:box>35.683541500000004 139.79377899999997 35.7093325 139.834119</georss:box></entry><entry><id>tag:blogger.com,1999:blog-9192882573722458820.post-6081495249885499089</id><published>2014-06-03T14:52:00.002+09:00</published><updated>2014-06-03T15:27:19.703+09:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="C#"/><category scheme="http://www.blogger.com/atom/ns#" term="iOS"/><category scheme="http://www.blogger.com/atom/ns#" term="Java"/><category scheme="http://www.blogger.com/atom/ns#" term="OSX"/><category scheme="http://www.blogger.com/atom/ns#" term="Swift"/><category scheme="http://www.blogger.com/atom/ns#" term="プログラミング言語"/><title type='text'>Swift 言語仕様を読んだメモ</title><content type='html'>&lt;p&gt;
iOS アプリ開発と言えば Objective-C の取っつきにくさと生産性の悪さに躊躇して手を出していない人も居ると思いますが、私のことですね。すみません。
&lt;/p&gt;
&lt;p&gt;
昨夜の &lt;a href=&quot;https://developer.apple.com/wwdc/&quot;&gt;WWDC 2014&lt;/a&gt; で Apple の新しい開発言語 &lt;b&gt;Swift&lt;/b&gt; が発表されました。Apple は Objective-C をレガシー資産と名言して Swift を主力に持ってくる算段のようです。言語仕様の &lt;a href=&quot;https://itunes.apple.com/jp/book/swift-programming-language/id881256329?mt=11&quot;&gt;The Swift Programming Language&lt;/a&gt; は iBook で無料ダウンロードできますので、かいつまんで読んだ特徴などを載せておきます。
&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;LLVM ベース。GC だと思うけど Objective-C のような ARC があるかは不明。&lt;/li&gt;
&lt;li&gt;Java や C# のような値型/参照型。明示的なポインタはない。&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;
言語仕様的な特徴。
&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;強い静的型付き言語。動的型があるかは不明。&lt;/li&gt;
&lt;li&gt;ステップごとのセミコロン記述が不要。&lt;/li&gt;
&lt;li&gt;&lt;span style=&quot;font-family: Courier New, Courier, monospace;&quot;&gt;let&lt;/span&gt; と &lt;span style=&quot;font-family: Courier New, Courier, monospace;&quot;&gt;var&lt;/span&gt; でよる不変束縛、可変束縛を選択可能。Scala の &lt;span style=&quot;font-family: Courier New, Courier, monospace;&quot;&gt;val&lt;/span&gt;, &lt;span style=&quot;font-family: Courier New, Courier, monospace;&quot;&gt;var&lt;/span&gt; のようだが &lt;span style=&quot;font-family: Courier New, Courier, monospace;&quot;&gt;let&lt;/span&gt; は ML や Lisp あたりから?&lt;/li&gt;
&lt;li&gt;基本的に型推論。型の明示も可能。ただどこまで推論が賢いかは不明。&lt;/li&gt;
&lt;li&gt;言語仕様として String Interpolation をサポートしていて文字列リテラル内に変数や式を埋め込み可能。&lt;span style=&quot;font-family: Courier New, Courier, monospace;&quot;&gt;&quot;My name is /(name).&quot;&lt;/span&gt; の様に書く事が出来る。ここらへんは Python, PHP, Ruby や Scala あたりからか。&lt;/li&gt;
&lt;li&gt;Array や Dictionary に対するコレクションリテラル。例えば &lt;span style=&quot;font-family: Courier New, Courier, monospace;&quot;&gt;let arr = [&quot;A&quot;,&quot;B&quot;]&lt;/span&gt; などと書ける。個人的にケツコンマを許容しているかが気になる。&lt;/li&gt;
&lt;li&gt;&lt;span style=&quot;font-family: Courier New, Courier, monospace;&quot;&gt;nil&lt;/span&gt; (null) 値あり。ただし nil 許容型 (型の後ろに ? を付けて &lt;span style=&quot;font-family: Courier New, Courier, monospace;&quot;&gt;String?&lt;/span&gt; で宣言) でのみ使用可能。これは null 安全が売りの Kotlin から?&lt;/li&gt;
&lt;li&gt;パターンマッチあり。ただしサンプルに出ているものを見る限り Scala ほど強力ではなく if-else の糖衣構文的なもの。&lt;/li&gt;
&lt;li&gt;if, for, while 式は普通に使える。&lt;/li&gt;
&lt;li&gt;Tuple (多値) あり。型付きなので Scala のそれと同じ。&lt;/li&gt;
&lt;li&gt;クロージャー (ラムダ) あり。&lt;/li&gt;
&lt;li&gt;クラス (class)。Java と同じ単一クラス継承、多重プロトコル (インターフェース) 継承。&lt;/li&gt;
&lt;li&gt;列挙型 (enum)。switch 構文でも使えるよ。&lt;/li&gt;
&lt;li&gt;struct 型 (値としてコピーされる class みたいなもの)&lt;/li&gt;
&lt;li&gt;プロトコル (protocol)。Java で言う interface。class, enum struct で継承することが出来る。&lt;/li&gt;
&lt;li&gt;extension によるポストホックな拡張。Scala の implicit conversion っぽい。&lt;/li&gt;
&lt;li&gt;総称型あり。&lt;/li&gt;
&lt;/ul&gt;
</content><link rel='replies' type='application/atom+xml' href='http://koiroha.blogspot.com/feeds/6081495249885499089/comments/default' title='コメントの投稿'/><link rel='replies' type='text/html' href='http://koiroha.blogspot.com/2014/06/swift-memo.html#comment-form' title='0 件のコメント'/><link rel='edit' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/6081495249885499089'/><link rel='self' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/6081495249885499089'/><link rel='alternate' type='text/html' href='http://koiroha.blogspot.com/2014/06/swift-memo.html' title='Swift 言語仕様を読んだメモ'/><author><name>kuromoyo</name><uri>http://www.blogger.com/profile/06743675683543438152</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><thr:total>0</thr:total></entry><entry><id>tag:blogger.com,1999:blog-9192882573722458820.post-8408931001639635241</id><published>2014-06-02T15:01:00.001+09:00</published><updated>2014-06-02T17:28:01.017+09:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="Azure"/><category scheme="http://www.blogger.com/atom/ns#" term="de:code"/><category scheme="http://www.blogger.com/atom/ns#" term="Hadoop"/><category scheme="http://www.blogger.com/atom/ns#" term="Microsoft"/><category scheme="http://www.blogger.com/atom/ns#" term="カンファレンス"/><category scheme="http://www.blogger.com/atom/ns#" term="分散システム"/><title type='text'>de:code 2014 メモ</title><content type='html'>&lt;p&gt;
5月29日、30日と Microsoft のテクノロジーカンファレンス &lt;a href=&quot;http://www.microsoft.com/ja-jp/events/developer/default.aspx&quot;&gt;de:code 2014&lt;/a&gt; に行ってきましたメモ。教材として TOSHIBA の Windows 8.1 タブレット dynabook Tab VT/484/22K と NOKIA の Windows Phone Lumia 1320 を GET しました。ただし Windows Phone はこのカンファレンスで配るために世界中からかき集めたらしく、機種も 820/920/1320/1520 と様々あり技適マークも付いていませんでした (フライトモード ON で使用して下さいと注意書きが入っていました)。実際、私がもらったのはどこかの検証機だったのか箱が薄汚れていました。
&lt;/p&gt;

&lt;iframe src=&quot;http://rcm-fe.amazon-adsystem.com/e/cm?t=ponta09c-22&amp;o=9&amp;p=8&amp;l=as1&amp;asins=4822298337&amp;ref=qf_sp_asin_til&amp;fc1=000000&amp;IS2=1&amp;lt1=_blank&amp;m=amazon&amp;lc1=0000FF&amp;bc1=000000&amp;bg1=FFFFFF&amp;f=ifr&quot; style=&quot;width:120px;height:240px;&quot; scrolling=&quot;no&quot; marginwidth=&quot;0&quot; marginheight=&quot;0&quot; frameborder=&quot;0&quot;&gt;&lt;/iframe&gt;

&lt;h3&gt;Building Big: スケーラブルでサービス継続性の高いクラウドアプリ設計の基礎&lt;/h3&gt;
&lt;ul&gt;
&lt;li&gt;オンプレミスではハード、OS、ミドルウェア、アプリの構成レイヤーに束縛される。早期にプロビジョニングが固定化されてしまう。&lt;/li&gt;
&lt;li&gt;仮想化することでハードウェアと切り離すことが出来た。さらにファブリックコントローラで仮想環境を統合することができる。&lt;/li&gt;
&lt;li&gt;fail safe ガイダンスのお話。SLA 99.99% でも 5 インスタンス使うと 99.95% まで下がるよ。&lt;/li&gt;
&lt;li&gt;サービスによって必要な可用性が変わってくる。曜日や時期、あるいは時間帯によって細かく調整することによってコストを削減することが出来る。&lt;/li&gt;
&lt;li&gt;ワークロードは可用性、耐障害性、自動化などを要素としている。それらを隔離する。ワークロードのライフサイクルパターンがどれに当てはまるかを考える。&lt;/li&gt;
&lt;li&gt;クラウドでは障害を前提とした設計を行う。どれだけの長期間駆動するか (Mean Time To Failure) ではなくどれだけ速く復旧できるか (Mean Time To Repair) を重視する。&lt;/li&gt;
&lt;li&gt;障害対応は障害箇所 (Where) と障害モード (Why) で考える。&lt;/li&gt;
&lt;li&gt;非同期をデフォルトとして考えること。&lt;/li&gt;
&lt;li&gt;一時的障害の対処としてリトライをポリシーとする。やり過ぎても要求が輻輳するので注意。&lt;/li&gt;
&lt;li&gt;リトライが上手く行かなければ縮退やスロットリング、サーキットブレーカーで一定以上のリクエストを受け付けないようにする。&lt;/li&gt;
&lt;li&gt;Netflix の例では、応答時間やスレッドプールのキューに溜まっているジョブ量、サードパーティライブラリの例外発生頻度に対する閾値を決め、一定量を上回ったらサーキットブレーカーが発動する。&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;クラウドアプリケーション設計の王道: デザインパターン20連発! 其の一 パフォーマンスとスケーラビリティ編&lt;/h3&gt;
&lt;ul&gt;
&lt;li&gt;キャッシュやサマリーからリーダー選挙など Web を含むネットワークアプリケーションや分散システムでよく使われる設計パターン。&lt;/li&gt;
&lt;li&gt;6/5 発売の「&lt;a href=&quot;http://www.amazon.co.jp/gp/product/4822298337/ref=as_li_qf_sp_asin_tl?ie=UTF8&amp;camp=247&amp;creative=1211&amp;creativeASIN=4822298337&amp;linkCode=as2&amp;tag=ponta09c-22&quot;&gt;クラウドデザインパターン Azureを例としたクラウドアプリケーション設計の手引き&lt;/a&gt;&lt;img src=&quot;http://ir-jp.amazon-adsystem.com/e/ir?t=ponta09c-22&amp;l=as2&amp;o=9&amp;a=4822298337&quot; width=&quot;1&quot; height=&quot;1&quot; border=&quot;0&quot; alt=&quot;&quot; style=&quot;border:none !important; margin:0px !important;&quot; /&gt;
」に沿った内容。英語版は &lt;a href=&quot;http://msdn.microsoft.com/en-us/library/dn568099.aspx&quot;&gt;http://msdn.microsoft.com/en-us/library/dn568099.aspx&lt;/a&gt; から無料で参照及びダウンロードできる。&lt;/li&gt;
&lt;li&gt;Cache-Aside: いわゆるキャッシュ。&lt;/li&gt;
&lt;li&gt;Sharding: Lookupテーブル、レンジ(HBaseがそう)、ハッシュ(Riakとか)がありそれぞれ特性が違う。&lt;/li&gt;
&lt;li&gt;Index Table: KVS でセカンダリインデックスを使うパターン。&lt;/li&gt;
&lt;li&gt;Materialized View: 表示用のデータをバッチ等であらかじめ作っておくパターン。&lt;/li&gt;
&lt;li&gt;Event Sourcing: ログ追記型のパターン。ある時点での経過が分かる。定期的にスナップショットを取るなど。&lt;/li&gt;
&lt;li&gt;CQRL: Read と Write を分ける。Write に Event Sourcing を使う。&lt;/li&gt;
&lt;li&gt;Static Content Hosting: いわゆる CDN。Azure Blob なんかも使える。&lt;/li&gt;
&lt;li&gt;Valet Key: Azure でいう Shared Access Signature。操作権限をトークン化して伝達するパターン。&lt;/li&gt;
&lt;li&gt;Queue-Based Load Leveling: 短時間に大きく変動する負荷を平坦かするために全ての要求をキュー経由で処理する。&lt;/li&gt;
&lt;li&gt;Priority Queue: 無料会員と有料会員でキューを分けたり、有料会員のタスクを優先するなどするパターン。&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;クラウドアプリケーション設計の王道: デザインパターン20連発! 其の二 回復性と管理とセキュリティ編&lt;/h3&gt;
&lt;ul&gt;
&lt;li&gt;Retry: いわゆるリトライ。MS は TOPAZ という透過的フォールト処理レイヤーのライブラリがあって、特定のエラー時のみリトライするようになっている。一定間隔で延々行うと輻輳がエラいことになるで絶対にやらないこと。&lt;/li&gt;
&lt;li&gt;Circuit Breaker: 何か起きたらある機能を丸ごと切り離すこと。Shard などで使う。外部リソースで使うパターン。&lt;/li&gt;
&lt;li&gt;Throttling: 急激な負荷がかかった場合に優先度の高い処理を一時的に停止するなど。&lt;/li&gt;
&lt;li&gt;Leader Election: リーダー選挙。Azure では Blob のリースで代用する (つまりロックベース)。リジリアントで復元可能。Blob が SPoF になる。&lt;/li&gt;
&lt;li&gt;Federated Identity: OpenID みたいなもの。&lt;/li&gt;
&lt;li&gt;Gatekeeper: 外部からのリクエストの検証のみで権限のない (DB アクセスやファイル書き込み等々) ゲートウェイを経由することでセキュリティを高める。&lt;/li&gt;
&lt;li&gt;Health Endpoint Monitoring: deep ping のこと。&lt;/li&gt;
&lt;li&gt;Conpute Resource Consolidation: アプリケーションの機能をロールに分割した上で 1 台に集約。コスト削減できるしいざとなればスケールアウトも可能。&lt;/li&gt;
&lt;li&gt;Pipe &amp;amp; Filter: Apache Storm のようなパイプライン化。ポイズンメッセージの対処が必要。&lt;/li&gt;
&lt;li&gt;External Configuration Store: 分散システムで設定を共通化するために共通ストレージを使う。&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;In-Memory データベースによるスケーラビリティの追求&lt;/h3&gt;
&lt;ul&gt;
&lt;li&gt;一昔前と比べてメモリコストが下がってきた。&lt;/li&gt;
&lt;li&gt;ACID 復権。KVS では一貫性は不要と言われてきたが、最近はやっぱりあった方が良いよねという風潮になってきている。&lt;/li&gt;
&lt;li&gt;Generic Purpose RDBMS Processing Profiling によれば RDBMS でのユーザ処理は 12% に過ぎない。&lt;/li&gt;
&lt;li&gt;In-Memory DB だけではダメ。&lt;/li&gt;
&lt;li&gt;コンフリクト、協調、偏在&lt;/li&gt;
&lt;li&gt;データベースの「正しさ」= Serializability&lt;/li&gt;
&lt;li&gt;非互換な操作をシリアライズ: Cascading Abort, 先の commit を確認してから後を commit するよう並べ替え。&lt;/li&gt;
&lt;li&gt;可換でない操作 = トランザクションではない。&lt;/li&gt;
&lt;li&gt;Cascading Abort であれば recoverable&lt;/li&gt;
&lt;li&gt;スナップショット分離レベル (MVCC の話)&lt;/li&gt;
&lt;li&gt;NoSQL 分散トランザクション。RAMP (Read Atomic Multi-Partition)&lt;/li&gt;
&lt;li&gt;行Atomicならバージョンと依存先だけで分離したテーブルでもロックフリーでAtomicにできる。&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;パネルディスカッション: 日本のトップアーキテクトが最新アーキテクチャを斬る!&lt;/h3&gt;
&lt;ul&gt;
&lt;li&gt;サーバはバルク売りになる。単体売りはされなくなり100台も1台も同じ値段、DSやラック単位で扱うようになる。&lt;/li&gt;
&lt;li&gt;分散システムのミドルウェアをアプリに寄せて作っている。アプリがあってそれに適切なミドルウェアを作る。&lt;/li&gt;
&lt;li&gt;docker のようにもっとレイヤリングされるだろう。&lt;/li&gt;
&lt;li&gt;アーキテクトになるには。あとはコードを書くだけという状態まで設計を詰めること。行き当たりばったり設計の良いわけにアジャイルと言っている連中が多すぎ。&lt;/li&gt;
&lt;li&gt;本質的な事を分かりやすくかけるフレームワークやパターンを目指すこと。&lt;/li&gt;
&lt;li&gt;クラウドって何か。コストモデルだ。今後サーバはタダ同然になり、データセンターコストは土地代+電力消費になる。&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;Effective Big Computing ～ Azure HDInsite と HPC Pack でスケーラブルなアプリケーションを開発しよう&lt;/h3&gt;
&lt;ul&gt;
&lt;li&gt;HDInsite = Hadoop on Azure&lt;/li&gt;
&lt;li&gt;HPC Pack = Azure 用のちょっと大きいパック&lt;/li&gt;
&lt;li&gt;HDInsite は HDFS を使わない (使う設定は出来る)。Blob がデフォルト。&lt;/li&gt;
&lt;li&gt;Azure で大きなデータを置くので HDFS に置き直すのは無駄というポリシー。&lt;/li&gt;
&lt;li&gt;HDFS ならデータのあるノードで MapReduce の処理が行われるが、Azure はストレージノードとコンピュートノードで分かれている → Rack Awareness でないけど大丈夫なの? という話。&lt;/li&gt;
&lt;li&gt;Affinity Group は Quantum 2.0 から余り意味が無くなった。&lt;/li&gt;
&lt;li&gt;Sortbench で Gray Sort は Yahoo! が首位を持っているが、Minutes Sort は Microsoft Research の HDInsite が首位。ただし Azure のストレージではない。&lt;/li&gt;
&lt;li&gt;ネットワークが速ければ結構イケてる。&lt;/li&gt;
&lt;li&gt;リモートストレージでどうしたら速くなるか。I/O やノードをまたぐ負荷をかけない。&lt;/li&gt;
&lt;li&gt;MapReduce の Mapper 出力に対して集約関数を使い不必要なデータを流さないようにする (5倍くらい速くなる)。&lt;/li&gt;
&lt;li&gt;Mapper はスケールするが Reducer は 1 つなのでスケールしない。しかし、目的の出力が違う Reducer を同時に実行することはできる。&lt;/li&gt;
&lt;li&gt;1ストレージアカウントではあまりスケールしない。16～32ノードで歩止まりが見られる。&lt;/li&gt;
&lt;li&gt;地理冗長を off にすること。&lt;/li&gt;
&lt;li&gt;20ノードくらいはスケールするがそれ以上はストレージアカウントを追加する。&lt;/li&gt;
&lt;li&gt;HPCAzure の話。&lt;/li&gt;
&lt;li&gt;仮想マシンだけど Hyper-V は CPU オーバーヘッドが少ない。&lt;/li&gt;
&lt;li&gt;InfiniBand が使える。ただし MPI ライブラリを使った場合のみ。A9 でも DB はそうなっていない。&lt;/li&gt;
&lt;li&gt;InfiniBand の有無 (A7/A8,A9) で 5 倍くらい違う。&lt;/li&gt;
&lt;li&gt;ベンチマーク資料から Azure は HP プロリアント SL230S を使っているのが分かる。&lt;/li&gt;
&lt;li&gt;&lt;br /&gt;&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;de:code 参加者に捧げる最新 Microsoft デモ・プレゼンの極意&lt;/h3&gt;
&lt;ul&gt;
&lt;li&gt;「エバンジェリスト養成講座」の西脇氏&lt;/li&gt;
&lt;li&gt;プレゼンが技術。カリスマ性の高い人はプレゼンが上手いのではない。カリスマ性の高い人のプレゼンは印象に残る。&lt;/li&gt;
&lt;li&gt;TED はプレゼンがうまい人が立つ場所ではなく、世界を変えるアイディアを持った人が立つ場所。NHK が変な煽り方をしたので世界最高峰のプレゼン技術を持った人が立つ場所のように広まってしまっている。&lt;/li&gt;
&lt;li&gt;良いプレゼンとは: [話・見せ] → [伝わって] → [相手が動く]&lt;/li&gt;
&lt;li&gt;Speech Technique と Demo Technique に分けて説明します。&lt;/li&gt;
&lt;li&gt;最初の言葉と「最後の言葉」を決めておくこと。自分流の締め言葉を決めておく。&lt;/li&gt;
&lt;li&gt;事実と意見を組み合わせる。スライドには Fact が書かれている。話すときは Fact と Opinion を合わせる。特に上手い人は Opinion を先に出す。伝えたいのは Opinion である。&lt;/li&gt;
&lt;li&gt;前後の引用。他者の引用。&lt;/li&gt;
&lt;li&gt;相対時間のマジック。「2020年のオリンピック」ではなく「6年後の2020年のオリンピック」のように相対時間を組み合わせることで身近に感じる。予定の伝え方も相対時間+絶対時間で普段から伝えるクセを付ける。&lt;/li&gt;
&lt;li&gt;言葉は徹底的に修飾する。&lt;/li&gt;
&lt;li&gt;語尾活用方法: 体言止め「～した(名詞)」、質問と回答「～ですか? そう～」、語尾は魅力的な言葉を使う。&lt;/li&gt;
&lt;li&gt;プレゼンの途中や最後で催眠効果を入れる。「分かりやすくなってきましたね」&lt;/li&gt;
&lt;li&gt;NG例: 単語の後の母音強調。間抜けに見える。&lt;/li&gt;
&lt;li&gt;NG例: スライドを切り替えたり何かをするタイミングで「ハイ」(千原ジュニアっぽいの)。話し始めて 2～3 秒経ってからスライドを切り替えること。なぜなら観客はスライドの方を見ちゃうから。&lt;/li&gt;
&lt;li&gt;Demo Technique (Windows 8.1 のプレゼン機能)&lt;/li&gt;
&lt;li&gt;Win8.1 の Touch Feedback を使用してどこを押しているか分かるようにする。&lt;/li&gt;
&lt;li&gt;ピクチャーパスワードから入る。かわいい動物や美しい景色などが良い。家族や内輪は微妙なので止めた方が良い。&lt;/li&gt;
&lt;li&gt;スナップ (画面分割) を使い Visual Studio を表示しながらビデオ再生など並行して行う。&lt;/li&gt;
&lt;li&gt;拡大と蛍光ペンの活用。マジカルペンシルと ZoomIt というアプリがオススメ。&lt;/li&gt;
&lt;li&gt;マウスはなるべく動かさない。観客が目で追ってしまう。タッチは一瞬で押さずどこを押したか分かるようにゆっくり操作する。&lt;/li&gt;
&lt;li&gt;画面の状態、状況を読み上げる。&lt;/li&gt;
&lt;li&gt;ショートカットキーは見ている人が操作を理解できない。面倒でもメニューバーや右クリックメニューから操作する。&lt;/li&gt;
&lt;li&gt;デモ中は空白を作らない。徹底的に喋る。&lt;/li&gt;
&lt;li&gt;競合製品は&quot;使わせていただく&quot;気持ちで。機能比較ではなく違いを説明する。場合によっては競合製品の向いているところも話す。&lt;/li&gt;
&lt;li&gt;機能の特性を伝える。&lt;/li&gt;
&lt;li&gt;単純なことほど大胆に伝える。オッというタイミングを。&lt;/li&gt;
&lt;li&gt;EA526A-1 アーム: スマフォやタブレットのカメラで手元操作を見せるのに便利。音声はスマフォの裏にマイクを貼り付けている。&lt;/li&gt;
&lt;li&gt;ワードフローを使う。Win8 の people に人や会社名を登録しておけばワードフローですぐに出せる。&lt;/li&gt;
&lt;/ul&gt;
</content><link rel='replies' type='application/atom+xml' href='http://koiroha.blogspot.com/feeds/8408931001639635241/comments/default' title='コメントの投稿'/><link rel='replies' type='text/html' href='http://koiroha.blogspot.com/2014/06/decode-2014.html#comment-form' title='0 件のコメント'/><link rel='edit' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/8408931001639635241'/><link rel='self' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/8408931001639635241'/><link rel='alternate' type='text/html' href='http://koiroha.blogspot.com/2014/06/decode-2014.html' title='de:code 2014 メモ'/><author><name>kuromoyo</name><uri>http://www.blogger.com/profile/06743675683543438152</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><thr:total>0</thr:total></entry><entry><id>tag:blogger.com,1999:blog-9192882573722458820.post-3819663081639079114</id><published>2014-05-17T05:37:00.002+09:00</published><updated>2014-05-17T05:43:50.777+09:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="Java"/><category scheme="http://www.blogger.com/atom/ns#" term="NIO"/><category scheme="http://www.blogger.com/atom/ns#" term="Performance"/><title type='text'>Java NIO Gathering Write, Scattering Read を使用した入出力パフォーマンス比較</title><content type='html'>&lt;p&gt;
&lt;a href=&quot;http://koiroha.blogspot.jp/2014/05/high-performance-networking-on-jvm.html&quot;&gt;High Performance Networking of JVM&lt;/a&gt; に「Gathering Write, Scattering Read はプロトコルによっては速くなるよ」という記述がありました。もしかしてシークタイムのない SSD なら Gathering Write, Scattering Read を使用した方が速いのではないだろうかと計測してみた結果です。&lt;a href=&quot;https://gist.github.com/torao/47d8e6e6dea2ff3a50bf&quot;&gt;ソースはこちら&lt;/a&gt;。
&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;b&gt;SSD&lt;/b&gt;: Retina MacBook Pro 13&quot; に標準搭載されている APPLE SSD SM128E Media (OS X)&lt;/li&gt;
&lt;li&gt;&lt;b&gt;HDD&lt;/b&gt;: Seagate &lt;a href=&quot;http://www.seagate.com/staticfiles/support/disc/manuals/desktop/Barracuda%20Green/100649225b.pdf&quot;&gt;ST2000DL003-9VT1&lt;/a&gt; SATA 5,900rpm (CentOS)&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;結果&lt;/h3&gt;
&lt;p&gt;
Direct ByteBuffer (1MB) を 256 インスタンス用意して Gathering Write, Sequential Write, Scattering Read, Sequential Read を行い 10 回の平均値 [msec] で比較しています (初回はウォームアップのため破棄)。
&lt;/p&gt;
&lt;div class=&quot;separator&quot; style=&quot;clear: both; text-align: center;&quot;&gt;&lt;a href=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhg3wl5IZybmDWX9-2SZFsan2j7nRBaagvtH8bDKRKqYBu3Gy7T4prQgLskkS6U8KOgehd9AHDCg5Oe6-fmnFZWgdHWqvmAPrCTvtgKGWRuZEw5DELi-PNOlUoOM3sI4pTMva18bJsLK7A/s1600/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%88+2014-05-17+5.19.27.png&quot; imageanchor=&quot;1&quot; style=&quot;margin-left: 1em; margin-right: 1em;&quot;&gt;&lt;img border=&quot;0&quot; src=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhg3wl5IZybmDWX9-2SZFsan2j7nRBaagvtH8bDKRKqYBu3Gy7T4prQgLskkS6U8KOgehd9AHDCg5Oe6-fmnFZWgdHWqvmAPrCTvtgKGWRuZEw5DELi-PNOlUoOM3sI4pTMva18bJsLK7A/s1600/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%88+2014-05-17+5.19.27.png&quot; width=&quot;400&quot; /&gt;&lt;/a&gt;&lt;/div&gt;
&lt;table class=&quot;wikitable&quot;&gt;
&lt;tr&gt;
  &lt;th&gt;&lt;/th&gt;
  &lt;th&gt;Gather Write&lt;/th&gt;
  &lt;th&gt;Sequential Write&lt;/th&gt;
  &lt;th&gt;Scatter Read&lt;/th&gt;
  &lt;th&gt;Sequential Read&lt;/th&gt;
&lt;/tr&gt;
&lt;tr&gt;
  &lt;th&gt;SSD&lt;/th&gt;
  &lt;td align=&quot;right&quot;&gt;1,084.5877&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;1,072.1250&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;64.9867&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;68.6275&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
  &lt;th&gt;HDD&lt;/th&gt;
  &lt;td align=&quot;right&quot;&gt;232.8779&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;239.7071&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;55.1429&lt;/td&gt;&lt;td align=&quot;right&quot;&gt;55.3849&lt;/td&gt;
&lt;/tr&gt;
&lt;/table&gt; 
&lt;pre class=&quot;console&quot;&gt;
&lt;span class=&quot;prompt&quot;&gt;torao@cobalt$&lt;/span&gt; java -version
java version &quot;1.8.0_05&quot;
Java(TM) SE Runtime Environment (build 1.8.0_05-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.5-b02, mixed mode)
&lt;/pre&gt;

&lt;h3&gt;結論&lt;/h3&gt;
&lt;p&gt;
Gathering Write, Scattering Read を行ってもシーケンシャルにバッファを使用した場合と比べて&lt;br/&gt;
&lt;span style=&quot;font-size:2em;&quot;&gt;速くならない!&lt;/span&gt;&lt;br/&gt;
これは SSD でも効果はありませんでした。残念!
&lt;/p&gt;</content><link rel='replies' type='application/atom+xml' href='http://koiroha.blogspot.com/feeds/3819663081639079114/comments/default' title='コメントの投稿'/><link rel='replies' type='text/html' href='http://koiroha.blogspot.com/2014/05/java-nio-gathering-write-scattering-read-performance-competition.html#comment-form' title='0 件のコメント'/><link rel='edit' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/3819663081639079114'/><link rel='self' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/3819663081639079114'/><link rel='alternate' type='text/html' href='http://koiroha.blogspot.com/2014/05/java-nio-gathering-write-scattering-read-performance-competition.html' title='Java NIO Gathering Write, Scattering Read を使用した入出力パフォーマンス比較'/><author><name>kuromoyo</name><uri>http://www.blogger.com/profile/06743675683543438152</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><media:thumbnail xmlns:media="http://search.yahoo.com/mrss/" url="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhg3wl5IZybmDWX9-2SZFsan2j7nRBaagvtH8bDKRKqYBu3Gy7T4prQgLskkS6U8KOgehd9AHDCg5Oe6-fmnFZWgdHWqvmAPrCTvtgKGWRuZEw5DELi-PNOlUoOM3sI4pTMva18bJsLK7A/s72-c/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%88+2014-05-17+5.19.27.png" height="72" width="72"/><thr:total>0</thr:total><georss:featurename>日本, 錦糸町駅（東京）</georss:featurename><georss:point>35.696437 139.81394899999998</georss:point><georss:box>35.683541500000004 139.79377899999997 35.7093325 139.834119</georss:box></entry><entry><id>tag:blogger.com,1999:blog-9192882573722458820.post-1076709382762826111</id><published>2014-05-17T03:15:00.002+09:00</published><updated>2014-05-17T05:38:06.061+09:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="Java"/><category scheme="http://www.blogger.com/atom/ns#" term="Netty"/><category scheme="http://www.blogger.com/atom/ns#" term="Network"/><category scheme="http://www.blogger.com/atom/ns#" term="Performance"/><title type='text'>High Performance Networking on JVM</title><content type='html'>&lt;p&gt;
&lt;a href=&quot;http://normanmaurer.me/presentations/2013-jax-networking-on-jvm/#/&quot;&gt;HIGH PERFORMANCE NETWORKING ON THE JVM&lt;/a&gt; というプレゼン記事を見つけたので読むついでにざっくりメモ翻訳。
&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;b&gt;NORMAN MAURER&lt;/b&gt;&lt;ul&gt;
&lt;li&gt;RedHat (JBoss) - EAP コアチーム&lt;/li&gt;
&lt;li&gt;Apple 社の元下請&lt;/li&gt;
&lt;li&gt;Netty in Action 著者&lt;/li&gt;
&lt;li&gt;Apache Software Foundation のメンバー&lt;/li&gt;
&lt;li&gt;Netty / Vert.x コアディベロッパー&lt;/li&gt;
&lt;li&gt;Java, Scala&lt;/li&gt;
&lt;li&gt;Twitter: &lt;a href=&quot;https://twitter.com/normanmaurer&quot;&gt;@normanmaurer&lt;/a&gt;&lt;/li&gt;
&lt;li&gt;GitHub: &lt;a href=&quot;https://github.com/normanmaurer&quot;&gt;https://github.com/normanmaurer&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;&lt;b&gt;一般的に&lt;/b&gt;&lt;ul&gt;
&lt;li&gt;本当に必要なものは最適化だけだ。&lt;/li&gt;
&lt;li&gt;1000同時接続 != 大規模。&lt;/li&gt;
&lt;li&gt;数百程度の接続を使うだけならブロッキング I/O を使っとけ。&lt;/li&gt;
&lt;li&gt;問題を見つけるためにプロファイラを使え。推測するな。&lt;/li&gt;
&lt;li&gt;変更の前後で必ずテストしろ。そしてウォームアップを忘れるな。&lt;/li&gt;
&lt;/ul&gt;&lt;/li&gt;
&lt;li&gt;&lt;b&gt;何がしたい&lt;/b&gt;
&lt;blockquote&gt;
&quot;多数の同時接続に耐えられる高パフォーマンスを実現するには NIO, NIO2 を求めろ&quot;&lt;/li&gt;
&lt;/blockquote&gt;
&lt;/li&gt;
&lt;li&gt;&lt;b&gt;何がしたくない&lt;/b&gt;
&lt;blockquote&gt;
&quot;接続ごとに 1 スレッドを作成し、OS が数千スレッドに耐えられるか試してみろ。&quot;&lt;br/&gt;
&quot;そうしたいなら… good luck ;)&quot;
&lt;/blockquote&gt;
&lt;/li&gt;
&lt;li&gt;&lt;b&gt;一般的ソケットオプション&lt;/b&gt;&lt;ul&gt;
&lt;li&gt;いくつかのソケットオプションは大きな影響をもたらす可能性がある。&lt;/li&gt;
&lt;li&gt;良い意味でも悪い意味でも。&lt;/li&gt;
&lt;li&gt;それらが何をもたらすのか分かっている場合のみそれらに触れるべき。&lt;/li&gt;
&lt;/ul&gt;&lt;/li&gt;
&lt;li&gt;&lt;b&gt;最も興味深いソケットオプション&lt;/b&gt;&lt;ul&gt;
&lt;li&gt;TCP_NO_DELAY&lt;/li&gt;
&lt;li&gt;SO_SNDBUF&lt;/li&gt;
&lt;li&gt;SO_RCVBUF&lt;/li&gt;
&lt;/ul&gt;&lt;/li&gt;
&lt;li&gt;&lt;b&gt;GCプレッシャー&lt;/b&gt;
&lt;blockquote&gt;
&quot;Allocate / Deallocate, そのたわごと!
&lt;/blockquote&gt;
&lt;/li&gt;
&lt;li&gt;&lt;b&gt;GCプレッシャーの解決&lt;/b&gt;&lt;ul&gt;
&lt;li&gt;オブジェクトの割り当て/解放を最小限に抑えろ。&lt;/li&gt;
&lt;li&gt;可能な限り静的なインスタンスを使え。&lt;/li&gt;
&lt;li&gt;本当にインスタンスを作成する必要があるか自問自答しろ。&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;ただし&lt;/strong&gt;、長寿命オブジェクトが意味をなすキャッシュ/プールだけでは同様に GC に悪影響があるかも知れない。&lt;/li&gt;
&lt;/ul&gt;
&lt;blockquote&gt;
経験則: 不変で頻繁に使用されるものは静的に使え。可変なオブジェクトのプール/キャッシュ割り当てコストは高い!
&lt;/blockquote&gt;
&lt;/li&gt;
&lt;li&gt;&lt;b&gt;GCプレッシャー&lt;/b&gt;
&lt;blockquote&gt;
&quot;オブジェクトの割り当て/解放が楽勝であると聞くたびに子猫は死ぬ!&quot;&lt;br/&gt;
&quot;しかし私は GC-Pressure を持っていなかった....&quot;&lt;br/&gt;
&quot;さて、あなたのシステムはまだ厳しくプッシュされていない!&quot;
&lt;/blockquote&gt;
&lt;/li&gt;
&lt;li&gt;&lt;b&gt;アクション中の GC プレッシャー源&lt;/b&gt;
&lt;p&gt;&lt;a href=&quot;https://github.com/netty/netty/issues/973&quot;&gt;https://github.com/netty/netty/issues/973&lt;/a&gt;&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
BAD
channelIdle(ctx, new IdleStateEvent(IdleState.READER_IDLE, readerIdleCount ++, currentTime - lastReadTime));
&lt;/pre&gt;
&lt;pre class=&quot;console&quot;&gt;
BETTER!
channelIdle(ctx, IdleStateEvent.READER_IDLE_EVENT);
&lt;/pre&gt;
&lt;/li&gt;
&lt;li&gt;&lt;b&gt;ガーベッジ・コレクター問題&lt;/b&gt;&lt;ul&gt;
&lt;li&gt;ガーベッジ・コレクターはマジで重要。&lt;/li&gt;
&lt;li&gt;高スループットを得たいなら CMS ベースのコレクタまたは G1 を使え。&lt;/li&gt;
&lt;li&gt;アプリケーションやアクセスパターンに応じてサイズは異なる。&lt;/li&gt;
&lt;/ul&gt;
&lt;blockquote&gt;
ハードなデータプッシュを行うなら GC の Stop-the-Worldは&lt;b&gt;最悪&lt;/b&gt;の敵。
&lt;/blockquote&gt;
&lt;/li&gt;
&lt;li&gt;&lt;b&gt;ガーベッジ・コレクター&lt;/b&gt;&lt;ul&gt;
&lt;li&gt;GC のチューンは「黒魔術」の一種である。&lt;/li&gt;
&lt;li&gt;自分がやろうとしていることを理解しろ。&lt;/li&gt;
&lt;li&gt;GC のチューニングパラメータはアプリケーションごとに異なる。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;&lt;b&gt;バッファ&lt;/b&gt;&lt;ul&gt;
&lt;li&gt;ダイレクトバッファの割り当て/解放はコストが高い。&lt;/li&gt;
&lt;li&gt;ヒープバッファの割り当て/解放はコストが低い。&lt;/li&gt;
&lt;/ul&gt;
&lt;blockquote&gt;
&quot;ダイレクトバッファのメモリ解放は高価&quot;&lt;br/&gt;
&quot;残念ながらヒープバッファのゼロ初期化も無コストではない&quot;
&lt;/blockquote&gt;
&lt;/li&gt;
&lt;li&gt;&lt;b&gt;救いの BufferPooling&lt;/b&gt;&lt;ul&gt;
&lt;li&gt;もしバッファを多く作成する必要があるならプールバッファ。&lt;/li&gt;
&lt;li&gt;これはダイレクトバッファの場合に特に顕著。&lt;/li&gt;
&lt;li&gt;Unsafe を使う手もあるが.... しかしそれは&quot;&lt;b&gt;安全ではない&lt;/b&gt;&quot;&lt;/li&gt;
&lt;/ul&gt;
&lt;blockquote&gt;
&quot;ダイレクトバッファのメモリ解放は高価&quot;&lt;br/&gt;
&quot;残念ながらヒープバッファのゼロ初期化も無コストではない&quot;
&lt;/blockquote&gt;
&lt;/li&gt;
&lt;li&gt;&lt;b&gt;メモリ断片化&lt;/b&gt;&lt;ul&gt;
&lt;li&gt;メモリの無駄遣いと同様に断片化も悪影響を及ぼす。&lt;/li&gt;
&lt;li&gt;断片かを解消するため GC が頻発。&lt;/li&gt;
&lt;/ul&gt;
&lt;blockquote&gt;
&lt;img src=&quot;http://normanmaurer.me/presentations/2013-jax-networking-on-jvm/images/memory.png&quot;/&gt;&lt;br/&gt;
&quot;4スロットを必要としているがここに int を挿入できない!&quot;
&lt;/blockquote&gt;
&lt;/li&gt;
&lt;li&gt;&lt;b&gt;Gathering writes / Scattering reads&lt;/b&gt;&lt;ul&gt;
&lt;li&gt;Gathering 書き込み、Scattering 読み込みを使用する。&lt;/li&gt;
&lt;li&gt;複数のバッファから組み立てることのできるプロトコルでは特に有用。&lt;/li&gt;
&lt;/ul&gt;
&lt;img src=&quot;http://normanmaurer.me/presentations/2013-jax-networking-on-jvm/images/gathering_scattering.png&quot;&gt;&lt;br/&gt;
&lt;b&gt;重要&lt;/b&gt;: Gathering Write は Java&amp;trade; 7 及び後期の Java 6 からメモリリークすることなく動作する。
&lt;/li&gt;
&lt;li&gt;&lt;b&gt;ソケットにはダイレクトバッファを使用&lt;/b&gt;&lt;ul&gt;
&lt;li&gt;ソケット操作をおこなうときにダイレクトバッファを使用する。&lt;/li&gt;
&lt;/ul&gt;
&lt;blockquote&gt;
&quot;何故ですか?&quot;&lt;br/&gt;
&quot;ダイレクトバッファを使わない場合、内部的に JDK がバッファの内容をそこへコピーする&quot;
&lt;/blockquote&gt;
&lt;/li&gt;
&lt;li&gt;&lt;b&gt;システムコールを最小化&lt;/b&gt;
&lt;blockquote&gt;
&quot;本当に必要な場合のみ Channel.write(...) / Channel.read(...) を呼び出し!&quot;
&lt;/blockquote&gt;
&lt;ul&gt;
&lt;li&gt;直接 OS とやりとりする他の操作にも当てはまる。&lt;/li&gt;
&lt;li&gt;トレードオフが存在するが batch up しろ。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;&lt;b&gt;メモリコピーは無コストではない&lt;/b&gt;
&lt;blockquote&gt;
&quot;ByteBuffer は良い意味で slice() や duplicate() を外部に晒している&quot;
&lt;/blockquote&gt;
&lt;b&gt;それらを使え!&lt;/b&gt;
&lt;/li&gt;
&lt;li&gt;&lt;b&gt;ゼロメモリコピーつまり FileChannel&lt;/b&gt;&lt;ul&gt;
&lt;li&gt;多くの OS がサポート。&lt;/li&gt;
&lt;li&gt;効率的な方法で Channel にファイルの内容を書き込むのに役に立つ。&lt;/li&gt;
&lt;/ul&gt;
&lt;blockquote&gt;
&quot;転送中にデータを変換する必要が無い場合のみ有効!&quot;
&lt;/blockquote&gt;
&lt;/li&gt;
&lt;li&gt;&lt;b&gt;Reads / Writes / Accepts を抑圧&lt;/b&gt;&lt;ul&gt;
&lt;li&gt;さもなくば OOM で楽しむことになる。&lt;/li&gt;
&lt;li&gt;これを救うためには interestedOps(...) で更新!&lt;/li&gt;
&lt;li&gt;これはネットワークスタックの「負担」を促進する。&lt;/li&gt;
&lt;/ul&gt;
&lt;blockquote&gt;
&quot;ただしあまり頻繁に呼び出すべからず。interestedOpts(...) は高価!&quot;
&lt;/blockquote&gt;
&lt;a href=&quot;https://github.com/netty/netty/issues/1024&quot;&gt;https://github.com/netty/netty/issues/1024&lt;/a&gt;
&lt;/li&gt;
&lt;li&gt;&lt;b&gt;OP_WRITEを登録するな&lt;/b&gt;&lt;ul&gt;
&lt;li&gt;デフォルトでは OP_WRITE を登録しないこと。&lt;/li&gt;
&lt;li&gt;バッファ書き込みを完全に行えなくなったときにのみ行うこと。&lt;/li&gt;
&lt;li&gt;書き込みが終わった後に interestedOpts() から OP_WRITE を削除。&lt;/li&gt;
&lt;/ul&gt;
&lt;blockquote&gt;
&quot;ほとんどの場合 Channel は書き込み可能であることを忘れるな!&quot;
&lt;/blockquote&gt;
&lt;/li&gt;
&lt;li&gt;&lt;b&gt;ブロックするな!&lt;/b&gt;&lt;ul&gt;
&lt;li&gt;I/O を処理するスレッドをブロックするな。&lt;/li&gt;
&lt;li&gt;何でブロックされるかで驚くかも知れない。&lt;/li&gt;
&lt;/ul&gt;
&lt;blockquote&gt;
&quot;DNS 解決を見ろ!&quot;&lt;br/&gt;
&quot;もし本当にブロックする必要があるなら予備の ThreadPool へ移動しろ&quot;
&lt;/blockquote&gt;
&lt;/li&gt;
&lt;li&gt;&lt;b&gt;アクション中のブロッキング&lt;/b&gt;&lt;br/&gt;
&lt;img src=&quot;http://normanmaurer.me/presentations/2013-jax-networking-on-jvm/images/blocking.png&quot;/&gt;&lt;br/&gt;
&lt;blockquote&gt;
RED != good!
&lt;/blockquote&gt;
&lt;/li&gt;
&lt;li&gt;&lt;b&gt;SelectionKey 操作&lt;/b&gt;
&lt;p&gt;SelectionKey.interestedOpts(...);&lt;/p&gt;
&lt;blockquote&gt;
&quot;これがブロックするかどうか、またどの位の時間かは実装依存&quot;
&lt;/blockquote&gt;
&lt;/li&gt;
&lt;li&gt;&lt;b&gt;最適化&lt;/b&gt;
&lt;pre class=&quot;console&quot;&gt;
BAD
public void suspendRead(){
  key.interestOps(key.interestOps() &amp; ~OP_READ);
}
&lt;/pre&gt;
&lt;pre class=&quot;console&quot;&gt;
BETTER!
public void suspendRead() {
  int ops = key.interestOps();
  if ((ops &amp; OP_READ) != 0) {
    key.interestOps(ops &amp; ~OP_READ);
  }
}
&lt;/pre&gt;
&lt;/li&gt;
&lt;li&gt;&lt;b&gt;効率的なメモリ&lt;/b&gt;
&lt;blockquote&gt;
&quot;同時接続数 100k のシステムを書くとき、あらゆるメモリ節約は長寿命オブジェクトが物を言う&quot;
&lt;/blockquote&gt;
&lt;/li&gt;
&lt;li&gt;&lt;b&gt;Atomic のメモリ効率化&lt;/b&gt;&lt;ul&gt;
&lt;li&gt;AtomicReference =&gt; AtomicReferenceFieldUpdater&lt;/li&gt;
&lt;li&gt;AtomicBoolean =&gt; AtomicIntegerFieldUpdater&lt;/li&gt;
&lt;li&gt;AtomicLong =&gt; AtomicIntegerFieldUpdater&lt;/li&gt;
&lt;li&gt;AtomicInteger =&gt; AtomicIntegerFieldUpdater&lt;/li&gt;
&lt;/ul&gt;
&lt;blockquote&gt;
&quot;ダサい。しかし時にこうしなければならない!&quot;
&lt;/blockquote&gt;
&lt;/li&gt;
&lt;li&gt;&lt;b&gt;データ構造問題&lt;/b&gt;&lt;ul&gt;
&lt;li&gt;最もフィットするデータ構造を考える。&lt;/li&gt;
&lt;li&gt;Linked vs 配列ベース&lt;/li&gt;
&lt;li&gt;アクセスパターン?!?&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;&lt;b&gt;Volatile&lt;/b&gt;&lt;ul&gt;
&lt;li&gt;volatile 読み込みは低コスト.... しかしまだ無コストではない。&lt;/li&gt;
&lt;li&gt;可能ならアクセスを最小限に抑えるため volatile 変数をキャッシュ。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;&lt;b&gt;最適化&lt;/b&gt;
&lt;pre class=&quot;console&quot;&gt;
BAD
private volatile Selector selector;
public void method() ... {
  selector.select();
  ...
}
&lt;/pre&gt;
&lt;pre class=&quot;console&quot;&gt;
BETTER
private volatile Selector selector;
public void method() ... {
  Selector selector = this.selector;
  selector.select();
  ...
}
&lt;/pre&gt;
&lt;/li&gt;
&lt;li&gt;&lt;b&gt;スタック深度を最小化&lt;/b&gt;&lt;ul&gt;
&lt;li&gt;深いスタックは高価であるため我々の敵である。&lt;/li&gt;
&lt;li&gt;可能であれば末尾再帰呼び出しを使用。&lt;/li&gt;
&lt;/ul&gt;
&lt;blockquote&gt;
&quot;なぜ?&quot;&lt;br/&gt;
&quot;呼び出しが完了するまで全てをメモリに格納するためにメモリが必要....&quot;
&lt;/blockquote&gt;
&lt;/li&gt;
&lt;li&gt;&lt;b&gt;可能なら Java7 を使う&lt;/b&gt;
&lt;blockquote&gt;
&quot;ByteBuffer の割り当てと解放は今では遙かに高速...&quot;
&lt;/blockquote&gt;
&lt;ul&gt;
&lt;li&gt;他にも &lt;b&gt;NIO2, UDPマルチキャスト, SCTP&lt;/b&gt; のような道具がある。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;&lt;b&gt;よく定義したスレッドモデル&lt;/b&gt;&lt;ul&gt;
&lt;li&gt;開発を容易にする。&lt;/li&gt;
&lt;li&gt;コンテキストスイッチを減らす。&lt;/li&gt;
&lt;li&gt;多くの場合、同期の必要性を減らす。&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;&lt;b&gt;正しいプロトコルの選択&lt;/b&gt;&lt;ul&gt;
&lt;li&gt;UDP&lt;/li&gt;
&lt;li&gt;TCP&lt;/li&gt;
&lt;li&gt;SCTP&lt;/li&gt;
&lt;li&gt;UDT&lt;/li&gt;
&lt;/ul&gt;
&lt;blockquote&gt;
&quot;常にトレードオフです!&quot;
&lt;/blockquote&gt;
&lt;/li&gt;
&lt;li&gt;&lt;b&gt;素晴らしきパイプライン&lt;/b&gt;&lt;ul&gt;
&lt;li&gt;応答前に一つ以上のメッセージの送信 / 受信を許可する。&lt;/li&gt;
&lt;li&gt;これは送受信動作を最小限にする。&lt;/li&gt;
&lt;li&gt;パイプラインをサポートする一般的なプロトコル: &lt;b&gt;HTTP, SMTP, IMAP&lt;/b&gt;&lt;/li&gt;
&lt;/ul&gt;
&lt;blockquote&gt;
&quot;&lt;b&gt;独自のプロトコルを作成するときはパイプライン化を考える!&lt;/b&gt;&quot;
&lt;/blockquote&gt;
&lt;/li&gt;
&lt;li&gt;&lt;b&gt;口論は望まない&lt;/b&gt;&lt;ul&gt;
&lt;li&gt;Netty&lt;/li&gt;
&lt;li&gt;Vert.x&lt;/li&gt;
&lt;li&gt;Xnio&lt;/li&gt;
&lt;li&gt;Grizzly&lt;/li&gt;
&lt;li&gt;Apache Mina&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;&lt;b&gt;もっと知りたい人は&lt;/b&gt;
&lt;blockquote&gt;
&quot;明日、私の Netty 4 の話に参加 ;)&quot;
&lt;/blockquote&gt;
&lt;/li&gt;
&lt;/ul&gt;</content><link rel='replies' type='application/atom+xml' href='http://koiroha.blogspot.com/feeds/1076709382762826111/comments/default' title='コメントの投稿'/><link rel='replies' type='text/html' href='http://koiroha.blogspot.com/2014/05/high-performance-networking-on-jvm.html#comment-form' title='0 件のコメント'/><link rel='edit' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/1076709382762826111'/><link rel='self' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/1076709382762826111'/><link rel='alternate' type='text/html' href='http://koiroha.blogspot.com/2014/05/high-performance-networking-on-jvm.html' title='High Performance Networking on JVM'/><author><name>kuromoyo</name><uri>http://www.blogger.com/profile/06743675683543438152</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><thr:total>0</thr:total></entry><entry><id>tag:blogger.com,1999:blog-9192882573722458820.post-2347465953013825970</id><published>2014-05-15T14:20:00.001+09:00</published><updated>2014-05-16T19:11:24.699+09:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="CDH"/><category scheme="http://www.blogger.com/atom/ns#" term="Hadoop"/><category scheme="http://www.blogger.com/atom/ns#" term="HDFS"/><category scheme="http://www.blogger.com/atom/ns#" term="Java 7"/><category scheme="http://www.blogger.com/atom/ns#" term="MapReduce"/><category scheme="http://www.blogger.com/atom/ns#" term="QuickStart"/><category scheme="http://www.blogger.com/atom/ns#" term="Riak"/><category scheme="http://www.blogger.com/atom/ns#" term="Ubuntu"/><title type='text'>Getting Started CDH4 &amp; Riak on Ubuntu 12.04</title><content type='html'>&lt;p&gt;
ディスク障害のため Ubuntu 12.04 precise を構成し直す羽目になったので、せっかくなのでその作業ログを乗せておきます。
&lt;/p&gt;
&lt;table class=&quot;wikitable&quot;&gt;
&lt;tr&gt;&lt;td&gt;Ubuntu 12.04&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;Java 7u55&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;CDH 4.3&lt;/td&gt;&lt;td&gt;&lt;a href=&quot;http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest/CDH4-Requirements-and-Supported-Versions/CDH4-Requirements-and-Supported-Versions.html&quot;&gt;サポート環境&lt;/a&gt;&lt;/td&gt;&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;Riak 1.4.8&lt;/td&gt;&lt;/tr&gt;
&lt;/table&gt;
&lt;/p&gt;
Ubuntu 14.04 trusty は CDH4, CDH5, Riak1 では未対応なのでまだしばらくは precise を使うことになりそう。
取りあえず apt-get upgrade して作業用に curl や vim, screen などを入れておく。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; sudo apt-get upgrade
…
&lt;/pre&gt;
&lt;p&gt;
Hadoop を動作させるための Oracle Java 7u55 をインストール。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; sudo apt-get install -y python-software-properties
&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; sudo add-apt-repository ppa:webupd8team/java
&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; sudo apt-get update
&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; sudo apt-get install -y oracle-java7-installer
&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; java -version
java version &quot;1.7.0_55&quot;
Java(TM) SE Runtime Environment (build 1.7.0_55-b13)
Java HotSpot(TM) 64-Bit Server VM (build 24.55-b03, mixed mode)
&lt;/pre&gt;
&lt;ul&gt;
&lt;li&gt;&lt;a href=&quot;http://xyk.hatenablog.com/entry/2013/10/15/175623&quot;&gt;Ubuntu 12.04 LTS に Java (Oracle JDK) をインストールする&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;
OK。続いて CDH4 を疑似分散構成、no-YARN でインストール。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; curl -s http://archive.cloudera.com/cdh4/debian/squeeze/amd64/cdh/archive.key | sudo apt-key add -
OK
&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; sudo apt-get update; sudo apt-get install hadoop-hdfs-namenode hadoop-hdfs-secondarynamenode hadoop-hdfs-datanode hadoop-client hadoop-0.20-mapreduce-tasktracker hadoop-0.20-mapreduce-jobtracker hadoop-0.20-conf-pseudo zookeeper-server
&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; sudo -u hdfs hdfs namenode -format
&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; for f in `find /etc/init.d -name &#39;hadoop-hdfs-*&#39;`; do sudo service `basename $f` start; done
&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; sudo -u hdfs hadoop fs -mkdir /tmp
&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; sudo -u hdfs hadoop fs -chmod -R 1777 /tmp
&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; sudo -u hdfs hadoop fs -mkdir -p /var/lib/hadoop-hdfs/cache/mapred/mapred/staging
&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; sudo -u hdfs hadoop fs -chmod 1777 /var/lib/hadoop-hdfs/cache/mapred/mapred/staging
&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; sudo -u hdfs hadoop fs -chown -R mapred /var/lib/hadoop-hdfs/cache/mapred
&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; sudo -u hdfs hadoop fs -ls -R /
drwxrwxrwt   - hdfs supergroup          0 2014-05-14 21:18 /tmp
drwxr-xr-x   - hdfs supergroup          0 2014-05-14 21:19 /var
drwxr-xr-x   - hdfs supergroup          0 2014-05-14 21:19 /var/lib
drwxr-xr-x   - hdfs supergroup          0 2014-05-14 21:19 /var/lib/hadoop-hdfs
drwxr-xr-x   - hdfs supergroup          0 2014-05-14 21:19 /var/lib/hadoop-hdfs/cache
drwxr-xr-x   - mapred supergroup          0 2014-05-14 21:19 /var/lib/hadoop-hdfs/cache/mapred
drwxr-xr-x   - mapred supergroup          0 2014-05-14 21:19 /var/lib/hadoop-hdfs/cache/mapred/mapred
drwxrwxrwt   - mapred supergroup          0 2014-05-14 21:19 /var/lib/hadoop-hdfs/cache/mapred/mapred/staging
&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; for f in `find /etc/init.d -name &#39;hadoop-0.20-mapreduce-*&#39;`; do sudo service `basename $f` start; done
&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; sudo -u hdfs hadoop fs -mkdir /user/`whoami`
&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; sudo -u hdfs hadoop fs -chown `whoami` /user/`whoami`
&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; sudo /etc/init.d/zookeeper-server init
&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; sudo service zookeeper-server start
&lt;/pre&gt;
&lt;ul&gt;
&lt;li&gt;&lt;a href=&quot;http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/4.3.0/CDH4-Installation-Guide/cdh4ig_topic_4_4.html&quot;&gt;Installing CDH4&lt;/a&gt;&lt;/li&gt;
&lt;li&gt;&lt;a href=&quot;http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/4.3.0/CDH4-Quick-Start/cdh4qs_topic_3_2.html&quot;&gt;Installing CDH4 with MRv1 on a Single Linux Node in Pseudo-distributed mode&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;
しかし何故かデータノードが起動に失敗している (データを保存しても例外が起きて 0 バイトのファイルが出来るだけ)。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
2014-05-16 02:34:10,723 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool BP-1883993494-127.0.1.1-1400127347841 (storage id DS-1791438757-127.0.1.1-50010-1400127501463) service to /192.168.228.129:8020
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.protocol.DisallowedDatanodeException): Datanode denied communication with namenode: DatanodeRegistration(0.0.0.0, storageID=DS-1791438757-127.0.1.1-50010-1400127501463, infoPort=50075, ipcPort=50020, storageInfo=lv=-40;cid=CID-8223f4fb-ff87-425d-9cbd-c50a17cf8d59;nsid=1804694913;c=0)
        at org.apache.hadoop.hdfs.server.blockmanagement.DatanodeManager.registerDatanode(DatanodeManager.java:643)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.registerDatanode(FSNamesystem.java:3593)
        at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.registerDatanode(NameNodeRpcServer.java:899)
        at org.apache.hadoop.hdfs.protocolPB.DatanodeProtocolServerSideTranslatorPB.registerDatanode(DatanodeProtocolServerSideTranslatorPB.java:91)
…
&lt;/pre&gt;
&lt;p&gt;
&lt;a href=&quot;http://stackoverflow.com/questions/14273601/cannot-start-hdfs-service-with-cdh4-datanode-denied-communication-with-namenode&quot;&gt;いくつか検索に引っかかった情報では&lt;/a&gt;リゾルバが DataNode か NameNode の IP アドレスが引けないと起きるようなので /etc/hosts に自サーバを登録をして正常に起動させました。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
192.168.228.129 onion01
&lt;/pre&gt;

&lt;p&gt;
Riak 1.4.8 インストール。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; curl http://apt.basho.com/gpg/basho.apt.key | sudo apt-key add -
&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; sudo bash -c &quot;echo deb http://apt.basho.com $(lsb_release -sc) main &gt; /etc/apt/sources.list.d/basho.list&quot;
&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; sudo apt-get update
&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; sudo apt-get install riak
&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; riak version
1.4.8
&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; sudo vim /etc/default/riak
# 以下を追加
ulimit -n 65536
&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; sudo service riak start
Node &#39;riak@127.0.0.1&#39; not responding to pings.
&lt;span class=&quot;prompt&quot;&gt;torao@onion01$&lt;/span&gt; riak ping
pong
&lt;/pre&gt;
&lt;ul&gt;
&lt;li&gt;&lt;a href=&quot;http://docs.basho.com/riak/latest/ops/building/installing/debian-ubuntu/#Installing-From-Source&quot;&gt;Installing on Debian and Ubuntu&lt;/a&gt;&lt;/li&gt;
&lt;li&gt;&lt;a href=&quot;http://docs.basho.com/riak/latest/ops/tuning/open-files-limit/#Linux&quot;&gt;Open Files Limit&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;
あと Scala や &lt;a href=&quot;http://koiroha.blogspot.jp/2014/05/getting-started-apache-spark.html&quot;&gt;Spark&lt;/a&gt; は適当に。
&lt;/p&gt;</content><link rel='replies' type='application/atom+xml' href='http://koiroha.blogspot.com/feeds/2347465953013825970/comments/default' title='コメントの投稿'/><link rel='replies' type='text/html' href='http://koiroha.blogspot.com/2014/05/getting-started-cdh4-riak-on-ubuntu-1204.html#comment-form' title='0 件のコメント'/><link rel='edit' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/2347465953013825970'/><link rel='self' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/2347465953013825970'/><link rel='alternate' type='text/html' href='http://koiroha.blogspot.com/2014/05/getting-started-cdh4-riak-on-ubuntu-1204.html' title='Getting Started CDH4 &amp; Riak on Ubuntu 12.04'/><author><name>kuromoyo</name><uri>http://www.blogger.com/profile/06743675683543438152</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><thr:total>0</thr:total></entry><entry><id>tag:blogger.com,1999:blog-9192882573722458820.post-4779641935540162355</id><published>2014-05-14T18:21:00.003+09:00</published><updated>2014-05-15T11:34:44.137+09:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="Apache"/><category scheme="http://www.blogger.com/atom/ns#" term="MapReduce"/><category scheme="http://www.blogger.com/atom/ns#" term="Python"/><category scheme="http://www.blogger.com/atom/ns#" term="QuickStart"/><category scheme="http://www.blogger.com/atom/ns#" term="Scala"/><category scheme="http://www.blogger.com/atom/ns#" term="Spark"/><category scheme="http://www.blogger.com/atom/ns#" term="分散システム"/><title type='text'>Getting Started Apache Spark</title><content type='html'>&lt;p&gt;
&lt;div class=&quot;separator&quot; style=&quot;clear: both; text-align: center;&quot;&gt;&lt;a href=&quot;http://2.bp.blogspot.com/-wW06BAXqb1I/AAAAAAAAAAI/AAAAAAAAACg/bjNjJo0a_RM/photo.jpg&quot; imageanchor=&quot;1&quot; style=&quot;clear: right; float: right; margin-bottom: 1em; margin-left: 1em;&quot;&gt;&lt;img border=&quot;0&quot; src=&quot;http://2.bp.blogspot.com/-wW06BAXqb1I/AAAAAAAAAAI/AAAAAAAAACg/bjNjJo0a_RM/photo.jpg&quot; width=&quot;150&quot; /&gt;&lt;/a&gt;&lt;/div&gt;
Hadoop に保存されているデータからアドホックな集計を行いたいが、クエリー一発で取れるほど単純ではなく、さりとて MapReduce でガッツリ実装するほどのボリュームもない。そんなケースは &lt;b&gt;Apache Spark&lt;/b&gt; のシェルを使うのが便利です。
&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;&lt;a href=&quot;http://spark.apache.org/docs/latest/&quot; target=&quot;_blank&quot;&gt;Apache Spark&lt;/a&gt; サイトのダウンロードページから環境に適切なバージョンをダウンロード (現時点で 0.9.1 が最新)。今回は CDH4 系と合わせて使うので spark-0.9.1-bin-cdh4.tgz。&lt;/li&gt;
&lt;li&gt;ダウンロードしたアーカイブを適当なディレクトリに解凍。&lt;/li&gt;
&lt;li&gt;適当にサンプル実行。円周率の精度が適当すぎるのは気にしない。
&lt;pre class=&quot;console&quot;&gt;
&lt;span class=&quot;prompt&quot;&gt;torao@clove$;&lt;/span&gt; &lt;span class=&quot;input&quot;&gt;cd spark-0.9.1-bin-cdh4&lt;/span&gt;
&lt;span class=&quot;prompt&quot;&gt;torao@clove$&lt;/span&gt; &lt;span class=&quot;input&quot;&gt;bin/pyspark python/examples/pi.py local&lt;/span&gt;
14/05/14 14:23:09 INFO Utils: Using Spark&#39;s default log4j profile: org/apache/spark/log4j-defaults.properties
…
Pi is roughly &lt;b&gt;3.136640&lt;/b&gt;
&lt;/pre&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;
Python もイケますね。
&lt;/p&gt;
&lt;p&gt;
Spark Shell を使用して HDFS 上に保存されているテキストファイルの行数を数えてみます。これは Scala の REPL ですね。Scala のフル機能が使えますし、変数 &lt;code&gt;sc&lt;/code&gt; には事前に &lt;code&gt;SparkContext&lt;/code&gt; が割り当てられいてそのまま使えます。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
&lt;span class=&quot;prompt&quot;&gt;torao@clove$&lt;/span&gt; &lt;span class=&quot;input&quot;&gt;bin/spark-shell&lt;/span&gt;
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  &#39;_/
   /___/ .__/\_,_/_/ /_/\_\   version 0.9.1
      /_/

Using Scala version 2.10.3 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_55)
Type in expressions to have them evaluated.
Type :help for more information.
…
Created spark context..
Spark context available as sc.

&lt;span class=&quot;prompt&quot;&gt;scala&amp;gt;&lt;/span&gt; &lt;span class=&quot;input&quot;&gt;val file = sc.textFile(&quot;hdfs://hadoop01/foo/bar.log.gz&quot;)&lt;/span&gt;
file: org.apache.spark.rdd.RDD[String] = MappedRDD[1] at textFile at &lt;console&gt;:12

&lt;span class=&quot;prompt&quot;&gt;scala&amp;gt;&lt;/span&gt; &lt;span class=&quot;input&quot;&gt;file.count()&lt;/span&gt;
res0: Long = &lt;b&gt;163549&lt;/b&gt;
&lt;/pre&gt;
&lt;p&gt;
おお、合っている! 拡張子で判断しているのか &lt;code&gt;textFile()&lt;/code&gt; で指定したファイルの gzip は自動的に展開してくれました。
&lt;/p&gt;
&lt;p&gt;
&lt;code&gt;file&lt;/code&gt; には filter, map, reduce 等のコンビネータが用意されています。ピリオドに続いて TAB を叩けば補完候補が出力されるのでお試し下さい。
&lt;/p&gt;
&lt;p&gt;
なお Scala でコードを書けば MapReduce よりも簡素にコードが書けるのでオススメ。
&lt;/p&gt;

&lt;h3&gt;メモ&lt;/h3&gt;
&lt;ul&gt;
&lt;li&gt;HDFS 上のファイルだからと思って &lt;code&gt;sc.hadoopFile()&lt;/code&gt; を使ってみましたがなんか例外が出ました。MapReduce の正しい InputFormat をどこかで指定する必要があるのかな?
&lt;pre class=&quot;console&quot;&gt;
java.lang.RuntimeException: java.lang.InstantiationException
  at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:128)
  at org.apache.spark.rdd.HadoopRDD.getInputFormat(HadoopRDD.scala:123)
  at org.apache.spark.rdd.HadoopRDD.getPartitions(HadoopRDD.scala:136)
  ...
&lt;/pre&gt;
&lt;/li&gt;
&lt;/ul&gt;</content><link rel='replies' type='application/atom+xml' href='http://koiroha.blogspot.com/feeds/4779641935540162355/comments/default' title='コメントの投稿'/><link rel='replies' type='text/html' href='http://koiroha.blogspot.com/2014/05/getting-started-apache-spark.html#comment-form' title='0 件のコメント'/><link rel='edit' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/4779641935540162355'/><link rel='self' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/4779641935540162355'/><link rel='alternate' type='text/html' href='http://koiroha.blogspot.com/2014/05/getting-started-apache-spark.html' title='Getting Started Apache Spark'/><author><name>kuromoyo</name><uri>http://www.blogger.com/profile/06743675683543438152</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><media:thumbnail xmlns:media="http://search.yahoo.com/mrss/" url="http://2.bp.blogspot.com/-wW06BAXqb1I/AAAAAAAAAAI/AAAAAAAAACg/bjNjJo0a_RM/s72-c/photo.jpg" height="72" width="72"/><thr:total>0</thr:total></entry><entry><id>tag:blogger.com,1999:blog-9192882573722458820.post-8961409102353286479</id><published>2014-05-09T20:35:00.003+09:00</published><updated>2014-05-19T15:03:51.910+09:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="Hadoop"/><category scheme="http://www.blogger.com/atom/ns#" term="JavaVM"/><category scheme="http://www.blogger.com/atom/ns#" term="JRuby"/><category scheme="http://www.blogger.com/atom/ns#" term="QuickStart"/><category scheme="http://www.blogger.com/atom/ns#" term="Ruby on Rails"/><category scheme="http://www.blogger.com/atom/ns#" term="RubyMine"/><category scheme="http://www.blogger.com/atom/ns#" term="Windows"/><category scheme="http://www.blogger.com/atom/ns#" term="ZooKeeper"/><title type='text'>JRuby 1.7 on Rails 4.1 + RubyMine 3 分クッキング</title><content type='html'>&lt;p&gt;
&lt;div class=&quot;separator&quot; style=&quot;clear: both; text-align: center;&quot;&gt;&lt;a href=&quot;http://jruby.org/images/jruby-logo.png&quot; imageanchor=&quot;1&quot; style=&quot;clear: right; float: right; margin-bottom: 1em; margin-left: 1em;&quot;&gt;&lt;img border=&quot;0&quot; src=&quot;http://jruby.org/images/jruby-logo.png&quot;  width=&quot;200&quot;/&gt;&lt;/a&gt;&lt;/div&gt;
3 年ほど前に既製の RoR アプリを動かしたときは起動の時点からあまりに遅くてプロダクション投入は無理だなーと思った &lt;b&gt;JRuby on Rails&lt;/b&gt; なんですが、久しぶりに使ってみたら割とイケてんじゃね? という感じだったので &lt;a href=&quot;http://www.jetbrains.com/ruby/&quot;&gt;RubyMine&lt;/a&gt; での環境構築をメモしておきます。Java VM ベースのフルスタック Web 環境なら Play 2.0 と比較検討するのも十分アリなんじゃないかな。
&lt;/p&gt;
&lt;p&gt;
何で JRuby かというと:
&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;&lt;b&gt;Java ライブラリとの親和性&lt;/b&gt;。やっぱ Hadoop や ZooKeeper などと接続するには Java のライブラリ使った方が相性が良いです。Ruby ってある方面には非常に熱心に対応しているんだけどエンプラ系含むそれ以外の方面は色々と実装がアレだったりするんで。&lt;/li&gt;
&lt;li&gt;&lt;b&gt;Windows でも動く&lt;/b&gt;。Rails 3 あたりから Windows での CRuby on Rails 開発環境がかなり地雷気味になってしまっている感じ。特に Github から拾ってきたネイティブコンパイルが必要なものはそもそも Windows に対応していないものが多く、そういうのに当たると開発環境構築がかなり難渋します。JRuby なら取りあえず Ruby 実装が意図したように動かなかったら似たような Java のライブラリを探してきてラッパーでも作って使うという逃げ道があります。DB 周りも JDBC ドライバ経由なので挙動の互換性が良く安定しています。&lt;/li&gt;
&lt;li&gt;&lt;b&gt;デバッグや監視のエコシステム&lt;/b&gt;。下が JavaVM なんで主要な監視系は対応していますね。また Oracle 標準の Mission Control やその他安定したリモートデバッグ、リモートプロファイリングツールも豊富です。&lt;/li&gt;
&lt;li&gt;ネイティブなマルチスレッド環境。速くて安定していていざとなっても多彩なチューニングが可能な GC。&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;
あたりが理由となり得ますかね。以下 (既に Rails に慣れてる前提ですが) 環境構築手順です。
&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;&lt;a href=&quot;http://jruby.org/&quot;&gt;JRuby 1.7.12&lt;/a&gt; インストール。ちなみに JRuby のバージョンは Ruby のバージョンと連動しておらず 1.7 は Ruby 1.8/1.9/2.0 互換です。&lt;/li&gt;
&lt;li&gt;RubyMine をインストールして新規プロジェクトを作成。
&lt;ol&gt;
&lt;li&gt;先ほどインストールした JRuby 1.7.12 を選択。&lt;/li&gt;
&lt;li&gt;jQuery, mySQL あたりはプロジェクトに合わせて選択。&lt;/li&gt;
&lt;/ol&gt;&lt;/li&gt;
&lt;li&gt;Gemfile に &lt;code&gt;gem &#39;tzinfo-data&#39;&lt;/code&gt; を追加 (サーバ起動時に &lt;code&gt;TZInfo::DataSourceNotFound: No timezone data source could be found. To resolve this, either install TZInfo::Data (e.g. by running `gem install tzinfo-data`) or specify a zoneinfo directory using `TZInfo::DataSource.set(:zoneinfo, zoneinfo_path)`.&lt;/code&gt; と出るので)。&lt;/li&gt;
&lt;li&gt;Terminal から bundle install を実行。&lt;/li&gt;
&lt;li&gt;同じく Terminal から rails server を起動してブラウザで http://localhost:3000 へアクセス。&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;
これだけ! あとは &lt;code&gt;rails g ...&lt;/code&gt; なども問題なく使えますし、JRuby であることを意識するのは Java の API を使用するときくらいでしょうかってくらい問題なく動いてくれています。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
&amp;gt; jruby -J-version
java version &quot;1.8.0_05&quot;
Java(TM) SE Runtime Environment (build 1.8.0_05-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.5-b02, mixed mode)
&lt;/pre&gt;
&lt;p&gt;
(意図せず Java 8 を使っていましたが正式対応しているのかは知りません。1.5 以上だから良いのかな?)
&lt;/p&gt;
&lt;p&gt;
ちなみに JRuby や Windows に限らず Ruby on Rails 開発用 IDE としての RubyMine、かなりオススメ。
&lt;/p&gt;

&lt;h3&gt;JCE インストール&lt;/h3&gt;
&lt;p&gt;
Rails が使用している鍵長が US の輸出規制にひっかかる大きさのため以下のエラーが出る事があります。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
OpenSSL::Cipher::CipherError (Illegal key size: possibly you need to install Java Cryptography Extension (JCE) Unlimited Strength Jurisdiction Policy Files for your JRE):
&lt;/pre&gt;
&lt;p&gt;
日本で利用する場合はこの規制を受けないため &lt;a href=&quot;http://www.oracle.com/technetwork/java/javase/downloads/index.html&quot;&gt;Java ダウンロード&lt;/a&gt;から Java Cryptography Extension (JCE) Unlimited Strength Jurisdiction Policy Files for JDK/JRE 7 または 8 をダウンロードして &lt;code&gt;$JAVA_HOME/jre/lib/security&lt;/code&gt; の &lt;code&gt;local_policy.jar&lt;/code&gt; と &lt;code&gt;US_export_policy.jar&lt;/code&gt; を上書きコピーします。
&lt;/p&gt;</content><link rel='replies' type='application/atom+xml' href='http://koiroha.blogspot.com/feeds/8961409102353286479/comments/default' title='コメントの投稿'/><link rel='replies' type='text/html' href='http://koiroha.blogspot.com/2014/05/how-to-setup-jruby1.7-on-rails4-on-rubymine.html#comment-form' title='0 件のコメント'/><link rel='edit' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/8961409102353286479'/><link rel='self' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/8961409102353286479'/><link rel='alternate' type='text/html' href='http://koiroha.blogspot.com/2014/05/how-to-setup-jruby1.7-on-rails4-on-rubymine.html' title='JRuby 1.7 on Rails 4.1 + RubyMine 3 分クッキング'/><author><name>kuromoyo</name><uri>http://www.blogger.com/profile/06743675683543438152</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><thr:total>0</thr:total><georss:featurename>日本, 恵比寿駅（東京）</georss:featurename><georss:point>35.64669 139.710106</georss:point><georss:box>35.620883 139.66976549999998 35.672497 139.7504465</georss:box></entry><entry><id>tag:blogger.com,1999:blog-9192882573722458820.post-7972436201638948967</id><published>2014-05-01T03:06:00.002+09:00</published><updated>2014-05-02T16:17:25.484+09:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="Hedgehog"/><category scheme="http://www.blogger.com/atom/ns#" term="RaspberryPi"/><category scheme="http://www.blogger.com/atom/ns#" term="Thermometer"/><category scheme="http://www.blogger.com/atom/ns#" term="はりねずみ"/><category scheme="http://www.blogger.com/atom/ns#" term="温度計"/><category scheme="http://www.blogger.com/atom/ns#" term="監視"/><category scheme="http://www.blogger.com/atom/ns#" term="遠隔"/><title type='text'>RaspberryPi でペットのケージの温度を取得</title><content type='html'>&lt;div class=&quot;separator&quot; style=&quot;float:right;&quot;&gt;&lt;a href=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEijy0qaiF4DFAeoBlwtH-prP5z-3biaoBB_ocN9lAilOju4JK60VFsqILIwy7MM6vlJgwiNHHaNAhqeL-ScVycp6ByXwhxfGM8r2bGd7PDwCOyOAbSUyQx4TenE4Jbh2PqrLbH_2AX5eWg/s640/blogger-image-1983166635.jpg&quot; imageanchor=&quot;1&quot; style=&quot;margin-left: 1em; margin-right: 1em;&quot;&gt;&lt;img border=&quot;0&quot; src=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEijy0qaiF4DFAeoBlwtH-prP5z-3biaoBB_ocN9lAilOju4JK60VFsqILIwy7MM6vlJgwiNHHaNAhqeL-ScVycp6ByXwhxfGM8r2bGd7PDwCOyOAbSUyQx4TenE4Jbh2PqrLbH_2AX5eWg/s640/blogger-image-1983166635.jpg&quot; width=&quot;300&quot;&gt;&lt;/a&gt;&lt;/div&gt;

&lt;p&gt;
日本に輸入されているヨツユビハリネズミはアフリカ原産で繁殖も多くは温暖な東南アジアで行われています。このため飼育の適温が 25〜28 ℃とやや高めに設定されています。まぁ温度制御機能付きのパネルヒーターを敷いているので秋冬春は寒けりゃそこで寝てるだろうって感じで夏以外はほったらかしなんですが、やっぱり温度計くらい付けておきたいところですね。
&lt;/p&gt;
&lt;p&gt;
普通の温度計を取り付けるんじゃ面白くないので&lt;a href=&quot;http://ponta.koiroha.org&quot;&gt;はりねずみのぽんた&lt;/a&gt;ページから出先でも温度を確認できるようにしてみようと RaspberryPi に USB 温度計を取り付けてみました。購入した機種は下記にある Amazon で「USB 温度計」で検索して一番安かった奴です。
&lt;/p&gt;

&lt;div style=&quot;margin:0 8px; clear:all;&quot;&gt;
&lt;iframe src=&quot;http://rcm-fe.amazon-adsystem.com/e/cm?t=moyolab-22&amp;o=9&amp;p=8&amp;l=as1&amp;asins=B004FI1570&amp;ref=qf_sp_asin_til&amp;fc1=000000&amp;IS2=1&amp;lt1=_blank&amp;m=amazon&amp;lc1=0000FF&amp;bc1=000000&amp;bg1=FFFFFF&amp;f=ifr&quot; style=&quot;width:120px;height:240px;float:left;&quot; scrolling=&quot;no&quot; marginwidth=&quot;0&quot; marginheight=&quot;0&quot; frameborder=&quot;0&quot;&gt;&lt;/iframe&gt;

&lt;iframe src=&quot;http://rcm-fe.amazon-adsystem.com/e/cm?t=moyolab-22&amp;o=9&amp;p=8&amp;l=as1&amp;asins=B00BHQMQ2G&amp;ref=qf_sp_asin_til&amp;fc1=000000&amp;IS2=1&amp;lt1=_blank&amp;m=amazon&amp;lc1=0000FF&amp;bc1=000000&amp;bg1=FFFFFF&amp;f=ifr&quot; style=&quot;width:120px;height:240px;float:left;&quot; scrolling=&quot;no&quot; marginwidth=&quot;0&quot; marginheight=&quot;0&quot; frameborder=&quot;0&quot;&gt;&lt;/iframe&gt;

&lt;iframe src=&quot;http://rcm-fe.amazon-adsystem.com/e/cm?t=moyolab-22&amp;o=9&amp;p=8&amp;l=as1&amp;asins=B007POIKPQ&amp;ref=qf_sp_asin_til&amp;fc1=000000&amp;IS2=1&amp;lt1=_blank&amp;m=amazon&amp;lc1=0000FF&amp;bc1=000000&amp;bg1=FFFFFF&amp;f=ifr&quot; style=&quot;width:120px;height:240px;float:left;&quot; scrolling=&quot;no&quot; marginwidth=&quot;0&quot; marginheight=&quot;0&quot; frameborder=&quot;0&quot;&gt;&lt;/iframe&gt;
&lt;br clear=&quot;all&quot;/&gt;
&lt;/div&gt;

&lt;p&gt;
実際に届いてみると価格の割に超合金のような重厚な金属製で無駄に高級感を覚えました (^_^;)
&lt;/p&gt;
&lt;p&gt;
さて、USB 温度計は &lt;a href=&quot;http://koiroha.blogspot.jp/2014/04/hedgehog-ir-camera-setup.html&quot;&gt;Web カメラの時のように&lt;/a&gt; 汎用的な Linux ツールが用意されているわけではありません。&lt;b&gt;TEMPer&lt;/b&gt; という名で製造されているものの OEM 品のようなので、それ用の計測ソフトを git からソース取ってきてビルドして使います。このデバイス自体は怪しい感じがしますが安価なので試している人が多く助かります。
&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;a href=&quot;http://blog.livedoor.jp/hack_le/archives/25756352.html&quot;&gt;USB温度センサーで室温をモニタリングしてみた(on Ubuntu Server 12.04)&lt;/a&gt;&lt;/li&gt;
&lt;li&gt;&lt;a href=&quot;http://dolls.orz.hm/?p=8909&quot;&gt;Raspberry Piと980円USB温度センサーで北海道の冬をロギングしてみる&lt;/a&gt;&lt;/li&gt;
&lt;li&gt;&lt;a href=&quot;http://www.linuxjournal.com/content/temper-pi&quot;&gt;Linux Journal - Temper Pi&lt;/a&gt; (Python で取得する方法)&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;
とりあえず USB ハブに挿してみて Raspbian が認識することを確認。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;&lt;span class=&quot;prompt&quot;&gt;pi@garnet01 ~/git $&lt;/span&gt; lsusb
Bus 001 Device 002: ID 0424:9512 Standard Microsystems Corp. 
Bus 001 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub
Bus 001 Device 003: ID 0424:ec00 Standard Microsystems Corp. 
Bus 001 Device 004: ID 1a40:0101 Terminus Technology Inc. 4-Port HUB
Bus 001 Device 005: ID 046d:0825 Logitech, Inc. Webcam C270
Bus 001 Device 006: ID 0ac8:3420 Z-Star Microelectronics Corp. Venus USB2.0 Camera
Bus 001 Device 007: ID 0c45:7401 &lt;strong&gt;Microdia &lt;/strong&gt;
&lt;/pre&gt;
&lt;p&gt;
エライ素っ気ないですが一応認識されているようです。
&lt;/p&gt;
&lt;p&gt;
次に github からソースを取ってきてビルドして実行します。USB デバイスへのアクセスは root ユーザでないといけないので temper コマンドは sudo で実行します。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
&lt;span class=&quot;prompt&quot;&gt;pi@garnet01 ~/git $&lt;/span&gt; sudo apt-get install gcc libusb-dev
Reading package lists... Done
Building dependency tree       
Reading state information... Done
gcc is already the newest version.
gcc set to manually installed.
The following NEW packages will be installed:
  libusb-dev
0 upgraded, 1 newly installed, 0 to remove and 1 not upgraded.
Need to get 40.7 kB of archives.
After this operation, 236 kB of additional disk space will be used.
Do you want to continue [Y/n]? y
Get:1 http://mirrordirector.raspbian.org/raspbian/ wheezy/main libusb-dev armhf 2:0.1.12-20+nmu1 [40.7 kB]
Fetched 40.7 kB in 1s (33.0 kB/s)
Selecting previously unselected package libusb-dev.
(Reading database ... 71704 files and directories currently installed.)
Unpacking libusb-dev (from .../libusb-dev_2%3a0.1.12-20+nmu1_armhf.deb) ...
Processing triggers for man-db ...
Setting up libusb-dev (2:0.1.12-20+nmu1) ...
&lt;span class=&quot;prompt&quot;&gt;pi@garnet01 ~/git $&lt;/span&gt; sudo git clone git://github.com/bitplane/temper.git
Cloning into &#39;temper&#39;...
remote: Counting objects: 73, done.
remote: Compressing objects: 100% (43/43), done.
remote: Total 73 (delta 27), reused 73 (delta 27)
Receiving objects: 100% (73/73), 14.40 KiB, done.
Resolving deltas: 100% (27/27), done.
&lt;span class=&quot;prompt&quot;&gt;pi@garnet01 ~/git $&lt;/span&gt; cd temper
&lt;span class=&quot;prompt&quot;&gt;pi@garnet01 ~/git/temper $&lt;/span&gt; sudo make
gcc -Wall temper.c pcsensor.c -o temper -lusb
pi@garnet01 ~/git/temper $ file temper
temper: ELF 32-bit LSB executable, ARM, version 1 (SYSV), dynamically linked (uses shared libs), for GNU/Linux 2.6.26, BuildID[sha1]=0x1d05bad0a4221c82d9df8cef537419573e42685b, not stripped
&lt;span class=&quot;prompt&quot;&gt;pi@garnet01 ~/git/temper $&lt;/span&gt; sudo strip temper
&lt;span class=&quot;prompt&quot;&gt;pi@garnet01 ~/git/temper $&lt;/span&gt; &lt;strong&gt;sudo ./temper&lt;/strong&gt;
&lt;strong&gt;&lt;big&gt;30-Apr-2014 16:55,32.711338&lt;/big&gt;&lt;/strong&gt;
&lt;/pre&gt;
&lt;p&gt;
おお、表示されました!
&lt;/p&gt;
&lt;p&gt;
今はまだ RaspberryPi に直差しなので RPi 本体の温度を拾ってかなり高めに出ていると思いますが、 USB の延長ケーブルを買ってきてケージの中に入れば良いでしょう。なお時刻についても先述のリンク先にソースを修正して日本標準時にする方法が書いてありますので必要であればお試し下さい (普通に date コマンドと併せて実行すれば良いんですが)。
&lt;/p&gt;
&lt;hr/&gt;
&lt;h3&gt;実は micro-USB 電源を使わなくても…&lt;/h3&gt;
&lt;p&gt;
温度計とは関係ありませんが…。宅の RPi にはすでに 2 つの Web カメラが接続されておりまして、今回の温度計取り付けで USB の接続口が足りなくなるのでセルフパワーの USB ハブを接続したんです。そうしたら &lt;b&gt;USB ハブからの電力供給があれば電源用のマイクロ USB を繋がなくても駆動する&lt;/b&gt;んですね! これは知りませんでした (検索しても引っかからないんだけどこの固体だけ?)。おかげで本体コードの取り回しが減って助かりました。抜き差しした感じではマイクロ USB 電源と USB 電源でホットスワップも可能でしたので電源の冗長化もできそうです。
&lt;/p&gt;
&lt;div class=&quot;separator&quot; style=&quot;clear: both;&quot;&gt;&lt;a href=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEj7eCdhQm2i-NLUXHrRPGjufqJ268njoKKVBAHnF5694zxWiX-HzaXbAbk9hNC_CL5NGOcZ6e_WQJmQWRv16wwOHFaPtTg6i3hNIoJwDAgL0It2vZH0DbSC3FzlufsbOBk9Q4RclKTaWcg/s640/blogger-image-2109266312.jpg&quot; imageanchor=&quot;1&quot; style=&quot;margin-left: 1em; margin-right: 1em;&quot;&gt;&lt;img border=&quot;0&quot; src=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEj7eCdhQm2i-NLUXHrRPGjufqJ268njoKKVBAHnF5694zxWiX-HzaXbAbk9hNC_CL5NGOcZ6e_WQJmQWRv16wwOHFaPtTg6i3hNIoJwDAgL0It2vZH0DbSC3FzlufsbOBk9Q4RclKTaWcg/s640/blogger-image-2109266312.jpg&quot;&gt;&lt;/a&gt;&lt;/div&gt;</content><link rel='replies' type='application/atom+xml' href='http://koiroha.blogspot.com/feeds/7972436201638948967/comments/default' title='コメントの投稿'/><link rel='replies' type='text/html' href='http://koiroha.blogspot.com/2014/05/thermometer-server-using-raspberrypi.html#comment-form' title='0 件のコメント'/><link rel='edit' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/7972436201638948967'/><link rel='self' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/7972436201638948967'/><link rel='alternate' type='text/html' href='http://koiroha.blogspot.com/2014/05/thermometer-server-using-raspberrypi.html' title='RaspberryPi でペットのケージの温度を取得'/><author><name>kuromoyo</name><uri>http://www.blogger.com/profile/06743675683543438152</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><media:thumbnail xmlns:media="http://search.yahoo.com/mrss/" url="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEijy0qaiF4DFAeoBlwtH-prP5z-3biaoBB_ocN9lAilOju4JK60VFsqILIwy7MM6vlJgwiNHHaNAhqeL-ScVycp6ByXwhxfGM8r2bGd7PDwCOyOAbSUyQx4TenE4Jbh2PqrLbH_2AX5eWg/s72-c/blogger-image-1983166635.jpg" height="72" width="72"/><thr:total>0</thr:total><georss:featurename>日本, 錦糸町駅（東京）</georss:featurename><georss:point>35.696437 139.81394899999998</georss:point><georss:box>35.683541500000004 139.79377899999997 35.7093325 139.834119</georss:box></entry><entry><id>tag:blogger.com,1999:blog-9192882573722458820.post-6026812717998879104</id><published>2014-04-28T02:32:00.000+09:00</published><updated>2014-05-01T15:47:01.815+09:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="Concurrent"/><category scheme="http://www.blogger.com/atom/ns#" term="Future"/><category scheme="http://www.blogger.com/atom/ns#" term="Java 8"/><category scheme="http://www.blogger.com/atom/ns#" term="Scala"/><title type='text'>Java 8 の CompletableFuture が Scala の Future 並に使えそうな件</title><content type='html'>&lt;p&gt;
&lt;div class=&quot;separator&quot; style=&quot;clear: both; text-align: center;&quot;&gt;&lt;a href=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgVxJoNYJcNYeBFMkxZKh1z0XiWrIRgpQ7vpEICe_ol5PlKCjZgTKO7ASTvoF6tC71iOgEOyIDO6cOq_TFGeaKOAKeoCc3ZqsScB8n7BQW-YsD-R-P0kfjMXc7X9YXvwNV6EJiVQrY5KMk/s1600/ppf.jpg&quot; imageanchor=&quot;1&quot; style=&quot;clear: right; float: right; margin-bottom: 1em; margin-left: 1em;&quot;&gt;&lt;img border=&quot;0&quot; src=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgVxJoNYJcNYeBFMkxZKh1z0XiWrIRgpQ7vpEICe_ol5PlKCjZgTKO7ASTvoF6tC71iOgEOyIDO6cOq_TFGeaKOAKeoCc3ZqsScB8n7BQW-YsD-R-P0kfjMXc7X9YXvwNV6EJiVQrY5KMk/s200/ppf.jpg&quot; /&gt;&lt;/a&gt;&lt;/div&gt;
一ヶ月ほどまえに Java 8 がリリースされました。ラムダも入ったことだし、お試しがてらゴールデンウィーク中に &lt;a href=&quot;https://github.com/torao/asterisque&quot;&gt;asterisque*&lt;/a&gt; の Scala コードの一部を Java で書き換える作業などを行っております。
&lt;/p&gt;
&lt;p&gt;
ただまぁ asterisque* は非同期 RPC フレームワークですので、ラムダだけでなく Scala の Promise, Future もあちこちで使っています。うーんこいつらの互換性どうしようかなーと悩んでいたところ Java 8 に &lt;b&gt;&lt;a href=&quot;http://docs.oracle.com/javase/8/docs/api/java/util/concurrent/CompletableFuture.html&quot;&gt;CompletableFuture&lt;/a&gt;&lt;/b&gt; というクラスが追加されいるのに気づきました。ざっと API リファレンスを読む限り以下のような特徴があります。
&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;Scala の Future と同様に非同期処理間で成功 (計算結果) または失敗 (例外) を渡すことが出来る。&lt;/li&gt;
&lt;li&gt;複数の処理スレッドで共有することも想定していて、早い者勝ちで結果を出すようなこともできる。&lt;/li&gt;
&lt;li&gt;CompletionStage が提供する API で Scala の andThen のような事が出来そう (ただ大量のメソッドがあってどれがどれやらまだ分かっていない)。&lt;/li&gt;
&lt;li&gt;複数の ComletionFuture が全て完了するのを待機したり、そのうちのいずれかが完了するのを待機したりできる (&lt;s&gt;Scala でもこれ欲しい事が結構ある&lt;/s&gt; Scala での Future.firstCompletedOf() や Future.sequence() に相当)。&lt;/li&gt;
&lt;li&gt;Scala の Future.map() のような圏論っぽいものは&lt;s&gt;なさげ&lt;/s&gt; CompletionStage の API が提供している様子 (コメント欄参照)。例えば map{ ... }.foreach{ ... } なら thenApply(...).thenAccept(...) などと書ける。&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;
おお、非同期処理については Scala の Future と同等かそれ以上の機能を持っている感触。Java でも非同期処理は頻繁に使うのでありがたいことです。
&lt;/p&gt;

&lt;h3&gt;Futureってなんぞ&lt;/h3&gt;
&lt;p&gt;
そもそも &lt;b&gt;Future&lt;/b&gt; って何ぞやっちゅーと、別スレッドで行わせている処理の結果を受け取ったり、処理が終わったタイミングで起動するコールバックを指定したりといった、スレッド間で協調動作するための道具なわけです (個人的にはスレッド間メッセージングの要素数0 or 1特殊型キューとして昔からよく実装してました)。まぁ非同期計算での定番機能なわけですが、Java では既に &lt;a href=&quot;http://docs.oracle.com/javase/8/docs/api/java/util/concurrent/Future.html&quot;&gt;java.util.cocurrent.Future&lt;/a&gt; なんてものがあります。ただこれ単なるインターフェースで Executor を使うケースのみに特化していて他の非同期処理では利用することが出来ません。何という再利用性のなさよ…。
&lt;/p&gt;
&lt;p&gt;
一方、Scala 標準の scala.concurrent.Future (と言うか Promise) は独立した機能ですので、自前で起動したスレッドや非同期フレームワークからのコールバック待ちなどでも使うことができます。この標準機能で必要十分なところは抑えていますので、並列並行大好きな非同期 Scala 屋さんはバリバリ使っていると思います (多分)。
&lt;/p&gt;
&lt;p&gt;
まぁ Scala は Scala で deprecated になっている sala.parallel.Future が残っていたり Twitter Utils の Future もよく使われていたりと少々混乱気味ではあるんですが (経緯として Twitter Utils の Future を Scala 2.10 で取り込んだので仕方が無いんですが)。しかし Java 8 の CompletableFuture でこれまた乱立状態に拍車をかけることになるかもしれないなという懸念も。うーん…。
&lt;/p&gt;

&lt;h3&gt;完了状態の通知&lt;/h3&gt;
&lt;p&gt;
CompletableFuture の完了状態には処理結果付きの&lt;b&gt;成功&lt;/b&gt;、例外付きの&lt;b&gt;失敗&lt;/b&gt;、そして中断の&lt;b&gt;キャンセル&lt;/b&gt;の 3 つがあります。キャンセルは計算スレッドが設定するというよりも実行監視タイマーなどの第三のスレッドから使用することを想定していると思います (Executor 依存の Future 設計を引きずっているため cancel() の引数に効果の無い値を指定しなければならないのが激しくダサいですが…)。
&lt;/p&gt;
&lt;p&gt;
Scala の Promise, Future と比較するとこんな感じ。
&lt;/p&gt;
&lt;table border&gt;
&lt;tr&gt;
  &lt;th colspan=&quot;2&quot;&gt;&lt;/th&gt;
  &lt;th&gt;Java 8&lt;/th&gt;
  &lt;th&gt;Scala&lt;/th&gt;
&lt;/tr&gt;
&lt;tr&gt;
  &lt;td rowspan=&quot;2&quot;&gt;成功&lt;/td&gt;
  &lt;td&gt;設定&lt;/td&gt;
  &lt;td&gt;&lt;pre  style=&quot;font-size:11px;&quot;&gt;future.&lt;b&gt;complete&lt;/b&gt;(value);&lt;/pre&gt;&lt;/td&gt;
  &lt;td&gt;&lt;pre  style=&quot;font-size:11px;&quot;&gt;promise.success(value)&lt;/pre&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
  &lt;td&gt;取得&lt;/td&gt;
  &lt;td&gt;&lt;pre  style=&quot;font-size:11px;&quot;&gt;future.&lt;b&gt;get&lt;/b&gt;();&lt;/pre&gt;&lt;/td&gt;
  &lt;td&gt;&lt;pre  style=&quot;font-size:11px;&quot;&gt;Await.result(future, Duration.Inf)&lt;/pre&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
  &lt;td rowspan=&quot;2&quot;&gt;失敗&lt;/td&gt;
  &lt;td&gt;設定&lt;/td&gt;
  &lt;td&gt;&lt;pre  style=&quot;font-size:11px;&quot;&gt;future.&lt;b&gt;completeExceptionally&lt;/b&gt;(ex);&lt;/pre&gt;&lt;/td&gt;
  &lt;td&gt;&lt;pre  style=&quot;font-size:11px;&quot;&gt;promise.failure(ex)&lt;/pre&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
  &lt;td&gt;取得&lt;/td&gt;
  &lt;td&gt;&lt;pre style=&quot;font-size:11px;&quot;&gt;try {
  future.get();
} catch(&lt;b&gt;ExcecutionException&lt;/b&gt; ex){ ... }&lt;/pre&gt;&lt;/td&gt;
  &lt;td&gt;&lt;pre style=&quot;font-size:9px;&quot;&gt;
try {
  Await.result(future, Duration.Inf)
} catch { case ex:Exception =&gt; ... }&lt;/pre&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
  &lt;td rowspan=&quot;2&quot;&gt;キャンセル&lt;/td&gt;
  &lt;td&gt;設定&lt;/td&gt;
  &lt;td&gt;&lt;pre  style=&quot;font-size:11px;&quot;&gt;future.cancel(true);&lt;/pre&gt;&lt;/td&gt;
  &lt;td&gt;-&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
  &lt;td&gt;取得&lt;/td&gt;
  &lt;td&gt;&lt;pre style=&quot;font-size:11px;&quot;&gt;try {
  future.get();
} catch(&lt;b&gt;CancellationException&lt;/b&gt; ex){ ... }&lt;/pre&gt;&lt;/td&gt;
  &lt;td&gt;-&lt;/td&gt;
&lt;/tr&gt;
&lt;!--
&lt;tr&gt;
  &lt;td colspan=&quot;2&quot;&gt;失敗のハンドル&lt;/td&gt;
  &lt;td&gt;&lt;pre  style=&quot;font-size:11px;&quot;&gt;future.exceptionally( ex -&gt; ... );&lt;/pre&gt;&lt;/td&gt;
  &lt;td&gt;&lt;pre  style=&quot;font-size:11px;&quot;&gt;future.onFailure{ ex =&gt; ... }&lt;/pre&gt;&lt;/td&gt;
&lt;/tr&gt;
--&gt;
&lt;/table&gt;
&lt;p&gt;
実際に動かしたサンプルコードは省略しますが Scala の Future と概ね同じですね。
&lt;/p&gt;

&lt;h3&gt;イベント処理&lt;/h3&gt;
&lt;p&gt;
Scala の Future.onComplete() なども CompletionStage の runAfterXxx(), thenXxx() などの API を用いて出来そうですが、あまりに大量に用意されているのでどれを使えば良いのかまだ試していません。気が向いたらまた調べます。
&lt;/p&gt;</content><link rel='replies' type='application/atom+xml' href='http://koiroha.blogspot.com/feeds/6026812717998879104/comments/default' title='コメントの投稿'/><link rel='replies' type='text/html' href='http://koiroha.blogspot.com/2014/04/java8-completablefuture-usefull-asa-scala-future.html#comment-form' title='0 件のコメント'/><link rel='edit' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/6026812717998879104'/><link rel='self' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/6026812717998879104'/><link rel='alternate' type='text/html' href='http://koiroha.blogspot.com/2014/04/java8-completablefuture-usefull-asa-scala-future.html' title='Java 8 の CompletableFuture が Scala の Future 並に使えそうな件'/><author><name>kuromoyo</name><uri>http://www.blogger.com/profile/06743675683543438152</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><media:thumbnail xmlns:media="http://search.yahoo.com/mrss/" url="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgVxJoNYJcNYeBFMkxZKh1z0XiWrIRgpQ7vpEICe_ol5PlKCjZgTKO7ASTvoF6tC71iOgEOyIDO6cOq_TFGeaKOAKeoCc3ZqsScB8n7BQW-YsD-R-P0kfjMXc7X9YXvwNV6EJiVQrY5KMk/s72-c/ppf.jpg" height="72" width="72"/><thr:total>0</thr:total></entry><entry><id>tag:blogger.com,1999:blog-9192882573722458820.post-737740193011245507</id><published>2014-04-21T05:30:00.001+09:00</published><updated>2014-05-01T03:40:19.269+09:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="animal"/><category scheme="http://www.blogger.com/atom/ns#" term="avconv"/><category scheme="http://www.blogger.com/atom/ns#" term="Hedgehog"/><category scheme="http://www.blogger.com/atom/ns#" term="Infrared Camera"/><category scheme="http://www.blogger.com/atom/ns#" term="Linux"/><category scheme="http://www.blogger.com/atom/ns#" term="motion"/><category scheme="http://www.blogger.com/atom/ns#" term="RaspberryPi"/><category scheme="http://www.blogger.com/atom/ns#" term="USB"/><category scheme="http://www.blogger.com/atom/ns#" term="はりねずみ"/><category scheme="http://www.blogger.com/atom/ns#" term="カメラ"/><category scheme="http://www.blogger.com/atom/ns#" term="ペット"/><category scheme="http://www.blogger.com/atom/ns#" term="動物"/><category scheme="http://www.blogger.com/atom/ns#" term="暗視"/><category scheme="http://www.blogger.com/atom/ns#" term="監視"/><category scheme="http://www.blogger.com/atom/ns#" term="赤外線"/><category scheme="http://www.blogger.com/atom/ns#" term="遠隔"/><category scheme="http://www.blogger.com/atom/ns#" term="野生"/><title type='text'>ぽんたの遠隔監視カメラを構成するために試したいろいろ</title><content type='html'>&lt;p&gt;
&lt;img src=&quot;http://ponta.koiroha.org/ponta.jpg&quot; align=&quot;right&quot; width=&quot;200&quot;&gt;
&lt;a href=&quot;http://ponta.koiroha.org/&quot; target=&quot;_blank&quot;&gt;はりねずみのぽんた&lt;/a&gt;と暮らしています。
&lt;/p&gt;
&lt;p&gt;
はりねずみは夜行性です。夜になると隣の部屋でガサゴソとしていますが明かりを点けると隠れてしまいます。また外出している間にも餌と水は残っているか、少しは餌を食べているか、脱走していないかと心配でしたので、いつでもどこでもスマートフォンから様子を確認できるようにしてみようと試行錯誤してみた記録です。
&lt;/p&gt;
&lt;p&gt;
夜行性の野生動物の観察などを行いたい人、また防犯や育児、介護用の遠隔監視カメラを仕掛けたい人などの参考にしていただければ幸いです。
&lt;/p&gt;
&lt;p&gt;
いろいろと試行錯誤して行き着いた現在の構成は以下の通り:
&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;カメラは&lt;b&gt;赤外線対応の広角&lt;/b&gt;が一つあれば昼も夜も使えるので十分です (ウチはスマートフォン用の魚眼レンズを付けた普通の Web カメラと 2 台で構成しております)。&lt;/li&gt;
&lt;li&gt;カメラは Raspberry Pi の USB ポートに接続して motion で 3 秒に一回、Web からアクセス可能なディレクトリにスナップショット画像を保存します。これを JavaScript で 3 秒に一回ポーリングしてストリーミングっぽく表示しています。またスナップショットとは別に画面に動きがあったら動画/画像として保存し cron で起動した avconv で連結して動画ファイルにしています。&lt;/li&gt;
&lt;li&gt;当初は普通の Web カメラ 1 つのみ + 赤色減光した USB LED ライトを取り付けて夜でも様子が見られるようにしていましたが、ライトを点けた夜は警戒していたのかほとんど出てこなかったので止めました。ちなみに減光はダイソーで買った赤透明の下敷きを切って 2〜3 枚重ねました。&lt;/li&gt;
&lt;li&gt;モーション検知時に撮影した動画を連結して MPEG4 に変換しあとで一日分を見られるようにした。&lt;/li&gt;
&lt;li&gt;もともと自宅サーバ + 固定 IP アドレスで Web サーバは運用していたので、リバースプロキシの設定を少し変更してやればネット配信は出来るだろうし。外部から見たい人で自宅サーバを持ってない人は後述のヒントを参考にして下さい。&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;
登場するデバイスは以下のようなものです。良かったら、な。缶コーヒー程度の小銭がな。大人なら察っするように。
&lt;/p&gt;
&lt;div&gt;
&lt;iframe src=&quot;http://rcm-fe.amazon-adsystem.com/e/cm?t=moyolab-22&amp;amp;o=9&amp;amp;p=8&amp;amp;l=as1&amp;amp;asins=B00HI7KZQ2&amp;amp;ref=qf_sp_asin_til&amp;amp;fc1=000000&amp;amp;IS2=1&amp;amp;lt1=_blank&amp;amp;m=amazon&amp;amp;lc1=0000FF&amp;amp;bc1=000000&amp;amp;bg1=FFFFFF&amp;amp;f=ifr&quot; style=&quot;width:120px;height:240px;&quot; scrolling=&quot;no&quot; marginwidth=&quot;0&quot; marginheight=&quot;0&quot; frameborder=&quot;0&quot; align=&quot;left&quot;&gt;&lt;/iframe&gt;

&lt;iframe src=&quot;http://rcm-fe.amazon-adsystem.com/e/cm?t=moyolab-22&amp;amp;o=9&amp;amp;p=8&amp;amp;l=as1&amp;amp;asins=B00E92JZ2O&amp;amp;ref=qf_sp_asin_til&amp;amp;fc1=000000&amp;amp;IS2=1&amp;amp;lt1=_blank&amp;amp;m=amazon&amp;amp;lc1=0000FF&amp;amp;bc1=000000&amp;amp;bg1=FFFFFF&amp;amp;f=ifr&quot; style=&quot;width:120px;height:240px;&quot; scrolling=&quot;no&quot; marginwidth=&quot;0&quot; marginheight=&quot;0&quot; frameborder=&quot;0&quot;&gt;&lt;/iframe&gt;

&lt;iframe src=&quot;http://rcm-fe.amazon-adsystem.com/e/cm?t=moyolab-22&amp;amp;o=9&amp;amp;p=8&amp;amp;l=as1&amp;amp;asins=B003VNKNEQ&amp;amp;ref=qf_sp_asin_til&amp;amp;fc1=000000&amp;amp;IS2=1&amp;amp;lt1=_blank&amp;amp;m=amazon&amp;amp;lc1=0000FF&amp;amp;bc1=000000&amp;amp;bg1=FFFFFF&amp;amp;f=ifr&quot; style=&quot;width:120px;height:240px;&quot; scrolling=&quot;no&quot; marginwidth=&quot;0&quot; marginheight=&quot;0&quot; frameborder=&quot;0&quot; align=&quot;left&quot;&gt;&lt;/iframe&gt;

&lt;iframe src=&quot;http://rcm-fe.amazon-adsystem.com/e/cm?t=moyolab-22&amp;amp;o=9&amp;amp;p=8&amp;amp;l=as1&amp;amp;asins=B00IU5ENB4&amp;amp;ref=qf_sp_asin_til&amp;amp;fc1=000000&amp;amp;IS2=1&amp;amp;lt1=_blank&amp;amp;m=amazon&amp;amp;lc1=0000FF&amp;amp;bc1=000000&amp;amp;bg1=FFFFFF&amp;amp;f=ifr&quot; style=&quot;width:120px;height:240px;&quot; scrolling=&quot;no&quot; marginwidth=&quot;0&quot; marginheight=&quot;0&quot; frameborder=&quot;0&quot; align=&quot;left&quot;&gt;&lt;/iframe&gt;

&lt;iframe src=&quot;http://rcm-fe.amazon-adsystem.com/e/cm?t=moyolab-22&amp;amp;o=9&amp;amp;p=8&amp;amp;l=as1&amp;amp;asins=B00HQR1Y2S&amp;amp;ref=qf_sp_asin_til&amp;amp;fc1=000000&amp;amp;IS2=1&amp;amp;lt1=_blank&amp;amp;m=amazon&amp;amp;lc1=0000FF&amp;amp;bc1=000000&amp;amp;bg1=FFFFFF&amp;amp;f=ifr&quot; style=&quot;width:120px;height:240px;&quot; scrolling=&quot;no&quot; marginwidth=&quot;0&quot; marginheight=&quot;0&quot; frameborder=&quot;0&quot; align=&quot;left&quot;&gt;&lt;/iframe&gt;
&lt;br clear=&quot;all&quot;&gt;
&lt;/div&gt;

&lt;h3&gt;記録用のマシン&lt;/h3&gt;
&lt;p&gt;
&lt;img src=&quot;http://upload.wikimedia.org/wikipedia/commons/thumb/3/3d/RaspberryPi.jpg/300px-RaspberryPi.jpg&quot; align=&quot;right&quot; alt=&quot;Raspberry Pi&quot; title=&quot;Raspberry Pi&quot; width=&quot;200&quot;&gt;
とりあえず余ってる PC もなく、さりとてペットの観察用に新規購入するほどではないなと思ったので Amazon で &lt;a href=&quot;http://www.amazon.co.jp/gp/product/B00HI7KZQ2/ref=as_li_qf_sp_asin_tl?ie=UTF8&amp;amp;camp=247&amp;amp;creative=1211&amp;amp;creativeASIN=B00HI7KZQ2&amp;amp;linkCode=as2&amp;amp;tag=moyolab-22&quot;&gt;&lt;b&gt;Raspberry Pi&lt;/b&gt; Type B 512MB&lt;/a&gt;&lt;img src=&quot;http://ir-jp.amazon-adsystem.com/e/ir?t=moyolab-22&amp;amp;l=as2&amp;amp;o=9&amp;amp;a=B00HI7KZQ2&quot; width=&quot;1&quot; height=&quot;1&quot; border=&quot;0&quot; alt=&quot;&quot; style=&quot;border:none !important; margin:0px !important;&quot;&gt; を購入しました。名刺サイズのワンボード PC (Linux) ですね。個人的にこれで 3 台目と使い慣れたものですので何かと気が楽です。
&lt;/p&gt;
&lt;p&gt;
最初はケースなしの基盤丸出しでしたが、ペットの周囲は水が垂れたり床材が散らばったりするのが気になったので追加でケースを購入しました。RPi は透明ケースの方がサイバネティックな感じがして良いですね。この &lt;a href=&quot;http://www.amazon.co.jp/gp/product/B00E92JZ2O/ref=as_li_qf_sp_asin_tl?ie=UTF8&amp;amp;camp=247&amp;amp;creative=1211&amp;amp;creativeASIN=B00E92JZ2O&amp;amp;linkCode=as2&amp;amp;tag=moyolab-22&quot;&gt;&lt;b&gt;Pi Tin for the Raspberry Pi&lt;/b&gt;&lt;/a&gt;&lt;img src=&quot;http://ir-jp.amazon-adsystem.com/e/ir?t=moyolab-22&amp;amp;l=as2&amp;amp;o=9&amp;amp;a=B00E92JZ2O&quot; width=&quot;1&quot; height=&quot;1&quot; border=&quot;0&quot; alt=&quot;&quot; style=&quot;border:none !important; margin:0px !important;&quot;&gt;
 は RPi ケースの中でも薄い方で、LED 部分に付けられたアクリルで綺麗な光のバーが出来るように工夫されていてオススメです。
&lt;/p&gt;
&lt;div class=&quot;separator&quot; style=&quot;clear: both;&quot;&gt;&lt;a href=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgJh6nzJWJ2pMWGJEJBvEtZPWQje7oQQoOO8UYMQZp23fAJ3FzXEMHqUvqXpEXOjMYPXdkwKmA4quDlhi2TP_9JqP5dGW3TN85_u3HPDHWSILTI0tsq5ubG9fTRZZ-aUAS9NrGAOvXhyDA/s640/blogger-image--1713284753.jpg&quot; imageanchor=&quot;1&quot; style=&quot;margin-left: 1em; margin-right: 1em;&quot;&gt;&lt;img border=&quot;0&quot; src=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgJh6nzJWJ2pMWGJEJBvEtZPWQje7oQQoOO8UYMQZp23fAJ3FzXEMHqUvqXpEXOjMYPXdkwKmA4quDlhi2TP_9JqP5dGW3TN85_u3HPDHWSILTI0tsq5ubG9fTRZZ-aUAS9NrGAOvXhyDA/s640/blogger-image--1713284753.jpg&quot;&gt;&lt;/a&gt;&lt;/div&gt;
&lt;p&gt;
RaspberryPi は SD カードをシステムパーティションとして使用しますので秋葉原で &lt;a href=&quot;http://www.amazon.co.jp/gp/product/B003VNKNEQ/ref=as_li_qf_sp_asin_tl?ie=UTF8&amp;amp;camp=247&amp;amp;creative=1211&amp;amp;creativeASIN=B003VNKNEQ&amp;amp;linkCode=as2&amp;amp;tag=moyolab-22&quot;&gt;&lt;b&gt;Transcend SDHC 16GB&lt;/b&gt;&lt;/a&gt;&lt;img src=&quot;http://ir-jp.amazon-adsystem.com/e/ir?t=moyolab-22&amp;amp;l=as2&amp;amp;o=9&amp;amp;a=B003VNKNEQ&quot; width=&quot;1&quot; height=&quot;1&quot; border=&quot;0&quot; alt=&quot;&quot; style=&quot;border:none !important; margin:0px !important;&quot;&gt; を購入しました。最初、Amazon で一番安くて高速な TOSHIBA Class 10 SDHC 32GB と 16GB を購入したのですが、両方ともイメージ書き込みに失敗したり、成功したとしても RaspberryPi で起動することが出来ませんでした。相性の問題だと思うのですが、日本ブランドだからとむやみに信頼してはいけませんね…。Transcend のものは 3 つとも問題なく動作しています。 
&lt;/p&gt;
&lt;p&gt;
SD カード以外には電源用のマイクロ USB ケーブル (5V/700mA 以上) とネットワークに接続するための LAN ケーブル、それに最初のセットアップ時に HDMI ケーブルとディスプレイが必要です。なお、余っている PC があるならそれに Linux を入れてこの記事とだいたい同じ事をできます。
&lt;/p&gt;

&lt;h3&gt;撮影用のカメラ&lt;/h3&gt;
&lt;p&gt;
最初の Web カメラはヨドバシカメラで 1,200 円程度で購入した &lt;a href=&quot;http://www.amazon.co.jp/gp/product/B003YUB660/ref=as_li_qf_sp_asin_tl?ie=UTF8&amp;amp;camp=247&amp;amp;creative=1211&amp;amp;creativeASIN=B003YUB660&amp;amp;linkCode=as2&amp;amp;tag=moyolab-22&quot;&gt;Logicool C270&lt;/a&gt;&lt;img src=&quot;http://ir-jp.amazon-adsystem.com/e/ir?t=moyolab-22&amp;amp;l=as2&amp;amp;o=9&amp;amp;a=B003YUB660&quot; width=&quot;1&quot; height=&quot;1&quot; border=&quot;0&quot; alt=&quot;&quot; style=&quot;border:none !important; margin:0px !important;&quot;&gt; です。Raspberry Pi + motion からも問題なく使えましたので暗闇での撮影が必要なければこれで十分だと思います。
&lt;/p&gt;
&lt;p&gt;
ただ私の場合は夜行性はりねずみの観察ですのでこれでは不十分です。前述の通り赤色減光した LED USB ライトでは相手に警戒されてしまったようですので、追加で&lt;a href=&quot;http://www.amazon.co.jp/gp/product/B00IU5ENB4/ref=as_li_qf_sp_asin_tl?ie=UTF8&amp;amp;camp=247&amp;amp;creative=1211&amp;amp;creativeASIN=B00IU5ENB4&amp;amp;linkCode=as2&amp;amp;tag=moyolab-22&quot;&gt;ハンファの USB 赤外線カメラ&lt;/a&gt;&lt;img src=&quot;http://ir-jp.amazon-adsystem.com/e/ir?t=moyolab-22&amp;amp;l=as2&amp;amp;o=9&amp;amp;a=B00IU5ENB4&quot; width=&quot;1&quot; height=&quot;1&quot; border=&quot;0&quot; alt=&quot;&quot; style=&quot;border:none !important; margin:0px !important;&quot;&gt;を購入しました。こちらも Raspberry Pi + motion で問題なく使えました。赤外線カメラって昼間は明るすぎて使えないかな? と思っていたのですが、昼間は昼間できちんと撮影できていました。また監視用とだけあって画角も広く便利です。
&lt;/p&gt;
&lt;p&gt;
赤外線カメラを一晩使ってみたところ、赤外線ライトの直進性が良すぎて画面の中央部分が白飛び、それ以外の円の外は真っ暗という感じでしたので、ライト部分にキムワイプ (ティッシュ) を一枚貼り付けたら程よく拡散されて良い感じになりました。被写体が近いせいだと思いますが、まぁ調整はそれくらいですかね。
&lt;/p&gt;
&lt;p&gt;
なお Raspberry Pi には USB が 2 つ付いていますので、せっかくなので最初に買った Web カメラには&lt;a href=&quot;http://www.amazon.co.jp/gp/product/B00HQR1Y2S/ref=as_li_qf_sp_asin_tl?ie=UTF8&amp;amp;camp=247&amp;amp;creative=1211&amp;amp;creativeASIN=B00HQR1Y2S&amp;amp;linkCode=as2&amp;amp;tag=moyolab-22&quot;&gt;スマートフォン用の魚眼レンズ&lt;/a&gt;&lt;img src=&quot;http://ir-jp.amazon-adsystem.com/e/ir?t=moyolab-22&amp;amp;l=as2&amp;amp;o=9&amp;amp;a=B00HQR1Y2S&quot; width=&quot;1&quot; height=&quot;1&quot; border=&quot;0&quot; alt=&quot;&quot; style=&quot;border:none !important; margin:0px !important;&quot;&gt;を取り付けケージ全体を見渡せるようにして活用しています。このようなスマフォ用のコンバージョンレンズは安いものだと金属製のリングを本体に貼り付け磁石で脱着するタイプなんですけど、これ粘着力より磁力の方が強いんで金属リングがすぐにはがれてしまうんですよね。仕方が無いので瞬間接着剤を使って Web カメラに直接金属リングを接着しました。購入を検討している人はクリップタイプなどが良いかもしれません。
&lt;/p&gt;

&lt;h3&gt;motion + avconv でライブ映像化&lt;/h3&gt;
&lt;p&gt;
さて、ここからはソフトウェアの話。Raspberry Pi の基本的なセットアップはとりあえず省略します。Raspberry Pi で動画ストリーミングができるソフトはないかなーと探していましたらまさに Web カメラを監視カメラにする motion というものがありました (&lt;a href=&quot;http://divide-et-impera.org/archives/1098&quot; target=&quot;_blank&quot;&gt;Raspberry Piと安めのウェブカメラで監視カメラを作る。何か動きがあったら画像保存もする&lt;/a&gt; あたりを参考)。
&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;Web カメラに写っている映像をストリーミングで配信できる。&lt;/li&gt;
&lt;li&gt;画面上に動きがあった時に動画や画像を記録できる。&lt;/li&gt;
&lt;li&gt;一定時間ごとに撮影するインターバルやタイムリープ撮影もできる。&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;
おお、まさに監視カメラのためのソフトか! ということで前述のリンクを参考に使ってみました。結論として以下の通りです:
&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;ストリーミングがブチブチ途切れて&lt;b&gt;品質としてはすこぶる悪い&lt;/b&gt;。そもそも Chrome で表示されない (多分後述のバグのせい)。画面に動きがあったタイミングでよく切れるのでモーション画像/動画を保存するのに CPU が追いつかないのかメモリが足りないのか。とにかく、はりねずみが出てきたよ! というところでプチッ、回し車で走り始めたよ! というところでプチッ、と思いっきり盛り上がりに欠けるので途中から使わない方向で進めました。&lt;/li&gt;
&lt;li&gt;ストリーミングの代替策にしたのが&lt;b&gt;スナップショット機能&lt;/b&gt;。これはインターバル撮影用で、一定時間ごとに撮影した画像を保存しておくもの。普通は日時のファイル名に保存するんだけど、これを固定ファイル名に設定 (つまりそのファイルの画像が常に最新画像)。&lt;/li&gt;
&lt;li&gt;スナップショットの画像ファイルは Web からアクセス可能な場所に保存して JavaScript で一定時間ごとに再読み込みするようにして擬似的にストリーミングっぽく見せるようにした。これで元々のストリーミングより遙かに良くなった。ただ、motion が画像を保存している最中にブラウザから読み込むと崩れた画像になってしまうので、書き込みと読み込みのバッティングが少なく、かつ、ライブ映像感を損なわない程度の頻度で保存/読み込み共に 3 秒に調整した。&lt;/li&gt;
&lt;li&gt;画面で動きを検知したときに動画を flv 形式で記録するようにした。
&lt;/li&gt;&lt;li&gt;ライブ映像だけでは今日餌を食べたかなど過去のことが分からないので、画面で動きを検知したときに flv 形式で保存するように設定し、avconv で定期的に MPEG4 へ変換するようにした。まぁ過去ログ的な扱いですか。motion には静止画で保存する機能もあるけど、大量の JPEG ファイルができあがる上に特に使い所もないので off にしています。flv ファイルは一日分の MPEG4 が出来たところで消しています。&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;
最初は &lt;a herf=&quot;https://github.com/torao/motiongif&quot; target=&quot;_blank&quot;&gt;Java で画像を連結してアニメーション GIF を作る&lt;/a&gt;ようにしてみましたが、後で ffmpeg について調べていたら ffmpeg の後継で avconf というものがあることを知り、あきらかにこちらの方がパフォーマンスが良い &amp;amp; 対応フォーマットが豊富なので使うことにしました。インストールは github から取ってきてビルドします。私の環境では yasm を使わないオプションが必要でした。
&lt;/p&gt;
&lt;p&gt;
ウチのシステムでは Raspberry Pi から自宅サーバの NFS をマウントしそこに画像や動画を保存しています (Web サーバはそこからファイルを参照しています)。SD カードは&lt;b&gt;書き込みを多発させるとすぐに壊れてしまう&lt;/b&gt;ので、もし監視カメラ用にするのであれば、NFS のようなネットワーク上のファイルサーバか、USB メモリ、USB 外付けハードディスクなどへ保存することをオススメします。
&lt;/p&gt;
&lt;p&gt;
motion のストリーミングは懐かしのサーバプッシュ型アニメーションという技術を使っています。これ、間でプロキシが中継していたら正しく表示されないかも。まぁ HTTP レスポンスでフレームに相当する JPEG 画像を multipart で送信しているだけなんですけど、どうみてもバグっているところがあったので Github で修正してプルリクエストを送っておきました。
&lt;/p&gt;
&lt;p&gt;
motion のストリーミングがイケてないので mjpeg-streamer も試してみましたが、こちらもサーバプッシュ型アニメーションで 1〜2 時間で応答しなくなってしまうものでした (motion と同時起動していたのでリソースが足りなかったかも)。
&lt;/p&gt;
&lt;p&gt;
変換用のシェルはこんな感じ。一度 flv ファイル (2fps) を MPEG1 (24fps) に変換し、連結して MPEG4 に変換しています。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;torao@clove$ cat bin/mkmotion.sh 
#!/bin/bash
while [ &quot;$1&quot; != &quot;&quot; ]
do
  DIR=`dirname $0`/../cam01

  # *.flv to *.mp4
  files=`find $DIR -name $1*.flv | sort`
  if [ &quot;$files&quot; != &quot;&quot; ]
  then
    for f in $files; do /usr/local/bin/avconv -y -r 3 -i $f -r 24 $f.mpg; done
    cat $DIR/$1*.flv.mpg &amp;gt; $DIR/$1.mpg
    /usr/local/bin/avconv -y -r 24 -i $DIR/$1.mpg -r 24 $DIR/$1.mp4
    rm $DIR/$1*.mpg
  fi
  shift
done
&lt;/pre&gt;
&lt;p&gt;
avconv は静止画を連結して動画にすることも出来ます。このときフレーム順に連番付けされたファイルに基づいて連結しますが、motion が生成する画像ファイルは連番になっていませんので、一度ソートして連番ファイルにコピーしてから連結しています。例えば JPEG を連結してアニメーション GIF にするにはこんな感じ (%d 部分が連番に置き換えられます)。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;/usr/local/bin/avconv -y -r 1 -i $DIR/$1-%d.jpg -vf format=rgb8,format=rgb24 -pix_fmt rgb24 -s qvga -r 2 $DIR/$1.gif
&lt;/pre&gt;

&lt;h3&gt;ネットワーク配信&lt;/h3&gt;
&lt;p&gt;
ネットワーク配信についてはウチ固有の環境なので余り参考にならないかもしれませんが。一応、母艦の NFS サーバがおりまして、motion がそこに画像/動画ファイルを書き込み、仮想ノードの Apache がそれを HTTP で配信しているような仕組みです。avconv を使った動画ファイルの作成は Raspberry Pi より母艦サーバの方が圧倒的に速いのでそちらで行っています。
&lt;/p&gt;
&lt;p&gt;
まぁ、外部に公開したりスマフォ等で見られるようにする必要が無ければ特にサーバを立てる必要もないんですけどね。宅内や出入口の防犯カメラ目的なら自宅の Wi-Fi 経由で見られれば良いですし、屋外で野生動物を観察するのであれば Raspberry Pi + 赤外線 USB カメラ + &lt;a href=&quot;http://www.amazon.co.jp/gp/product/B00CY6P968/ref=as_li_qf_sp_asin_tl?ie=UTF8&amp;amp;camp=247&amp;amp;creative=1211&amp;amp;creativeASIN=B00CY6P968&amp;amp;linkCode=as2&amp;amp;tag=moyolab-22&quot;&gt;ダンボーのモバイルバッテリー&lt;/a&gt;&lt;img src=&quot;http://ir-jp.amazon-adsystem.com/e/ir?t=moyolab-22&amp;amp;l=as2&amp;amp;o=9&amp;amp;a=B00CY6P968&quot; width=&quot;1&quot; height=&quot;1&quot; border=&quot;0&quot; alt=&quot;&quot; style=&quot;border:none !important; margin:0px !important;&quot;&gt; に少々の防水対策を施して &lt;a herf=&quot;http://hitoriblog.com/?p=14904&quot; target=&quot;_blank&quot;&gt;10 時間以上&lt;/a&gt;は撮影できますので、朝になったら機器を回収して記録された画像や動画を結合すれば済みます。
&lt;/p&gt;
&lt;p&gt;
以下は試してないですが、外部から見たいという人向けに少しヒント。
&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;motion は画像を保存したタイミングで外部のコマンドを実行できます (/etc/motion/motion.conf の on_picture_save)。つまりモーション撮影やインターバル撮影が行われたタイミングでプロバイダにアップロード (FTP とか SCP とかで) することが多分できます。これを利用すれば私と似たような構成を自宅サーバではなく普通のプロバイダでできるんじゃないですかね。&lt;/li&gt;
&lt;li&gt;外部から見たいだけだったら Skype などのビデオチャットに常時接続させておくという手も考えられますね。Linux でどうやるかは分かりませんが。&lt;/li&gt;
&lt;li&gt;motion は RTSP に対応していますので、多分ですけど、UStream やニコ生のようなストリーミングサービスを使って配信することもできそうな気がします。&lt;/li&gt;
&lt;/ul&gt;

&lt;h3&gt;まとめと今後&lt;/h3&gt;
&lt;p&gt;
だいぶグダグダですが眠いのでまとめ。
&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;Raspberry Pi や使い古しの PC に Linux を入れ安い Web カメラを接続するだけで安価に監視カメラを設置できます。Linux とかよくわかんねーという人は少し高いですがあきらめて監視機能がセットになったカメラを買いましょう。年間いくらかでスマフォから見られるサービス付きのものもあります。&lt;/li&gt;
&lt;li&gt;赤外線カメラは少し色合いが浅いですが昼でも夜でも明るく撮影できます。USB ではなく 15ピン MIPI カメラシリアルインターフェイスに接続する&lt;a href=&quot;http://jp.rs-online.com/web/p/video-modules/7902811/&quot;&gt;赤外線カメラモジュール&lt;/a&gt;もあるようです。&lt;/li&gt;
&lt;li&gt;ストリーミングに関しては motion も mjpeg-streamer も期待できないので、インターバル撮影した画像を JavaScript で定期更新するのが確実です。RaspverryPi では CPU やメモリが不足しているのかも知れません。&lt;/li&gt;
&lt;li&gt;今は音声がないのでガサガサしているところや回し車を回している音が聞こえません。せっかくなので音も配信したいと&lt;a href=&quot;http://www.e-risingstar.com/wordpress/?p=650&quot; target=&quot;_blank&quot;&gt;ここ&lt;/a&gt;の後半を参考に構成中。&lt;/li&gt;
&lt;li&gt;&lt;a href=&quot;http://koiroha.blogspot.jp/2014/05/thermometer-server-using-raspberrypi.html&quot;&gt;温度計も取り付けました&lt;/a&gt;。&lt;/li&gt;
&lt;/ol&gt;</content><link rel='replies' type='application/atom+xml' href='http://koiroha.blogspot.com/feeds/737740193011245507/comments/default' title='コメントの投稿'/><link rel='replies' type='text/html' href='http://koiroha.blogspot.com/2014/04/hedgehog-ir-camera-setup.html#comment-form' title='0 件のコメント'/><link rel='edit' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/737740193011245507'/><link rel='self' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/737740193011245507'/><link rel='alternate' type='text/html' href='http://koiroha.blogspot.com/2014/04/hedgehog-ir-camera-setup.html' title='ぽんたの遠隔監視カメラを構成するために試したいろいろ'/><author><name>kuromoyo</name><uri>http://www.blogger.com/profile/06743675683543438152</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><media:thumbnail xmlns:media="http://search.yahoo.com/mrss/" url="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgJh6nzJWJ2pMWGJEJBvEtZPWQje7oQQoOO8UYMQZp23fAJ3FzXEMHqUvqXpEXOjMYPXdkwKmA4quDlhi2TP_9JqP5dGW3TN85_u3HPDHWSILTI0tsq5ubG9fTRZZ-aUAS9NrGAOvXhyDA/s72-c/blogger-image--1713284753.jpg" height="72" width="72"/><thr:total>0</thr:total><georss:featurename>日本, 錦糸町駅（東京）</georss:featurename><georss:point>35.696437 139.81394899999998</georss:point><georss:box>35.683541500000004 139.79377899999997 35.7093325 139.834119</georss:box></entry><entry><id>tag:blogger.com,1999:blog-9192882573722458820.post-249949681596753234</id><published>2014-04-16T01:59:00.002+09:00</published><updated>2014-04-16T04:30:24.081+09:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="Animation GIF"/><category scheme="http://www.blogger.com/atom/ns#" term="avconv"/><category scheme="http://www.blogger.com/atom/ns#" term="JPEG"/><category scheme="http://www.blogger.com/atom/ns#" term="Linux"/><category scheme="http://www.blogger.com/atom/ns#" term="MPEG"/><title type='text'>JPEG 画像を連結して MPEG 動画またはアニメーション GIF を作成する</title><content type='html'>&lt;p&gt;
Linux に motion ってデーモンがありまして、接続しているカメラの映像に動きがあれば JPEG 画像や MPEG 動画を保存してくれるという監視カメラのようなことをしてくれます。ただこのままでは断片化された大量の静止画像や動画ファイルができあがるので閲覧/公開するには都合が悪いので、&lt;a href=&quot;http://libav.org/avconv.html&quot; target=&quot;_blank&quot;&gt;avconv&lt;/a&gt; を使用して JPEG 画像を MPEG またはアニメーション GIF に変換する方法を書き留めておきます。
&lt;/p&gt;
&lt;p&gt;
avconv で静止画を連結するには連番付きファイル名が必要なのですが、motion の出力ファイルフォーマットには連番というものがありませんので、いったん動画にしたい画像を連番付きファイル名にコピーします。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
$ i=0; for f in `find . -name &#39;20140415*.jpg&#39; | sort`; do cp $f _20140415-$i.jpg; i=$((i+1)); done;
$ ls -laF _20140415-*.jpg
-rw-r--r-- 1 pi pi  9730 Apr 16 01:34 _20140415-0.jpg
-rw-r--r-- 1 pi pi  9878 Apr 16 01:34 _20140415-1.jpg
-rw-r--r-- 1 pi pi 10417 Apr 16 01:34 _20140415-2.jpg
-rw-r--r-- 1 pi pi 14301 Apr 16 01:34 _20140415-3.jpg
-rw-r--r-- 1 pi pi 13287 Apr 16 01:34 _20140415-4.jpg
-rw-r--r-- 1 pi pi 11042 Apr 16 01:34 _20140415-5.jpg
…
&lt;/pre&gt;
&lt;p&gt;
次に変換元の JPEG 画像を 1fps とみなして 24fps の MPEG 動画に変換します。入出力フォーマットは拡張子から avconv が自動で認識してくれますので特に考慮は要りません。%d は C の sprintf() で使用するフォーマットですので 000, 001, ... などの場合は %03d などと書く事ができます。&lt;code&gt;-vsync cfr&lt;/code&gt; はフレームレートの違いで足りない分のフレームを直前のフレームで補完するオプションです。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
$ avconv -r 1 -i _20140415-%d.jpg -r 24 -vsync cfr 20140415.mpg
&lt;/pre&gt;
&lt;p&gt;
出力フォーマットはファイル名の拡張子で自動判断しますので、拡張子を .mpg から avconv がサポートする他の動画形式に変更することもできます。しかし小さな画像を連結して Web 用の素材にするなら動画よりアニメーション GIF の方が取り回しが良いですよね。アニメーション GIF は以下のように出力できます。
&lt;/p&gt;
&lt;pre class=&quot;console&quot;&gt;
$ avconv -r 1 -i _20140415-%d.jpg -vf format=rgb8,format=rgb24 -pix_fmt rgb24 -r 1 20140415.gif
&lt;/pre&gt;
&lt;p&gt;
MPEG, GIF 共に再生速度は -r に指定した数値で調整してください。
&lt;/p&gt;</content><link rel='replies' type='application/atom+xml' href='http://koiroha.blogspot.com/feeds/249949681596753234/comments/default' title='コメントの投稿'/><link rel='replies' type='text/html' href='http://koiroha.blogspot.com/2014/04/how-to-concat-jpeg-files-and-convert-to-mpeg-or-aniation-gif.html#comment-form' title='0 件のコメント'/><link rel='edit' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/249949681596753234'/><link rel='self' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/249949681596753234'/><link rel='alternate' type='text/html' href='http://koiroha.blogspot.com/2014/04/how-to-concat-jpeg-files-and-convert-to-mpeg-or-aniation-gif.html' title='JPEG 画像を連結して MPEG 動画またはアニメーション GIF を作成する'/><author><name>kuromoyo</name><uri>http://www.blogger.com/profile/06743675683543438152</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><thr:total>0</thr:total><georss:featurename>日本, 錦糸町駅（東京）</georss:featurename><georss:point>35.696437 139.81394899999998</georss:point><georss:box>35.683541500000004 139.79377899999997 35.7093325 139.834119</georss:box></entry><entry><id>tag:blogger.com,1999:blog-9192882573722458820.post-2631223458813052357</id><published>2014-04-15T18:13:00.001+09:00</published><updated>2014-04-15T18:58:25.644+09:00</updated><category scheme="http://www.blogger.com/atom/ns#" term="Heartbleed"/><category scheme="http://www.blogger.com/atom/ns#" term="OpenSSL"/><category scheme="http://www.blogger.com/atom/ns#" term="Security"/><title type='text'>How the Heartbleed Bug Works</title><content type='html'>&lt;p&gt;
&lt;b&gt;heartbleed&lt;/b&gt; を引き起こした OpenSSL のバグがどのように動作しているか、エンジニアでなくても分かりやすい説明を見つけたので台詞を日本語化して転載。オリジナルは &lt;a herf=&quot;http://xkcd.com/1354/&quot;&gt;&lt;b&gt;xkcd&lt;/b&gt;&lt;/a&gt;、Creative Commons ANC ライセンスです。
&lt;/p&gt;
&lt;p&gt;
まぁ端的に言えばバッファオーバーランというバグで、本来相手に渡してはいけないメモリ上のデータを送信してしまうというものです。どのデータが送られるかは分かりませんが、これを何度も繰り返せば、管理パスワードや秘密鍵など、プログラムがメモリ (ヒープ) 上に置いているあらゆるデータを送信してしまう可能性があります。そしてこの SSL heartbeat というやりとり自体は SSL の正常な動作なので記録に残りません。
&lt;/p&gt;
&lt;p&gt;
通信経路上の第三者が秘密鍵を取得してしまえば、もうパスワード盗聴も改竄もし放題ですね。&lt;a href=&quot;http://it.slashdot.jp/story/10/11/19/0412243/%E4%B8%96%E7%95%8C%E3%81%AE%E3%82%A4%E3%83%B3%E3%82%BF%E3%83%BC%E3%83%8D%E3%83%83%E3%83%88%E3%83%88%E3%83%A9%E3%83%95%E3%82%A3%E3%83%83%E3%82%AF%E3%81%AE15%E3%81%8C%E4%B8%AD%E5%9B%BD%E3%81%AB%E3%83%AA%E3%83%80%E3%82%A4%E3%83%AC%E3%82%AF%E3%83%88%E3%81%95%E3%82%8C%E3%81%9F18%E5%88%86%E9%96%93&quot;&gt;国家規模で経路ハイジャックしていると思わしき&lt;/a&gt;国もありますし。
&lt;/p&gt;

&lt;div class=&quot;separator&quot; style=&quot;clear: both; text-align: center;&quot;&gt;&lt;a href=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhEuQF5m-3jhkFrzBP-fdVoSZH4dkP5FsvTJw7TA06SxHYyqJIMoD-YlHl221Usdo_Neb-KwtXCibkJd7PXGaKspGGd0bkRymTdDpcVWHqs6qNGo6v3jUYdTqM3UvcYnbCQDwizvUKKIh8/s1600/heartbleed.png&quot; imageanchor=&quot;1&quot; style=&quot;margin-left: 1em; margin-right: 1em;&quot;&gt;&lt;img border=&quot;0&quot; src=&quot;https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhEuQF5m-3jhkFrzBP-fdVoSZH4dkP5FsvTJw7TA06SxHYyqJIMoD-YlHl221Usdo_Neb-KwtXCibkJd7PXGaKspGGd0bkRymTdDpcVWHqs6qNGo6v3jUYdTqM3UvcYnbCQDwizvUKKIh8/s1600/heartbleed.png&quot; /&gt;&lt;/a&gt;&lt;/div&gt;

&lt;div style=&quot;font-size:small;&quot;&gt;
Creative Commons Attribution-NonCommercial 2.5 License.
&lt;/div&gt;</content><link rel='replies' type='application/atom+xml' href='http://koiroha.blogspot.com/feeds/2631223458813052357/comments/default' title='コメントの投稿'/><link rel='replies' type='text/html' href='http://koiroha.blogspot.com/2014/04/how-heartbleed-bug-works.html#comment-form' title='0 件のコメント'/><link rel='edit' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/2631223458813052357'/><link rel='self' type='application/atom+xml' href='http://www.blogger.com/feeds/9192882573722458820/posts/default/2631223458813052357'/><link rel='alternate' type='text/html' href='http://koiroha.blogspot.com/2014/04/how-heartbleed-bug-works.html' title='How the Heartbleed Bug Works'/><author><name>kuromoyo</name><uri>http://www.blogger.com/profile/06743675683543438152</uri><email>noreply@blogger.com</email><gd:image rel='http://schemas.google.com/g/2005#thumbnail' width='16' height='16' src='https://img1.blogblog.com/img/b16-rounded.gif'/></author><media:thumbnail xmlns:media="http://search.yahoo.com/mrss/" url="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhEuQF5m-3jhkFrzBP-fdVoSZH4dkP5FsvTJw7TA06SxHYyqJIMoD-YlHl221Usdo_Neb-KwtXCibkJd7PXGaKspGGd0bkRymTdDpcVWHqs6qNGo6v3jUYdTqM3UvcYnbCQDwizvUKKIh8/s72-c/heartbleed.png" height="72" width="72"/><thr:total>0</thr:total><georss:featurename>日本, 恵比寿駅（東京）</georss:featurename><georss:point>35.64669 139.710106</georss:point><georss:box>35.620883 139.66976549999998 35.672497 139.7504465</georss:box></entry></feed>