Windowsを使わないAzureの人

【Microsoft Azure】 Azure Kinect Sensor SDK on Linux っていうか Ubuntu 18.04 にインストールしてみる

2019-07-09T10:54:00.003+09:00

Azure Kineck DK が発売されたので、SDKを準備してみます＠Ubuntu。

なお、Windowsでの準備はこちらのぶちぞーさんのブログをどうぞ。

https://blog.azure.moe/2019/07/05/azure-kinect-sensor-sdk-（メモ）/

SDKは現時点ではUbuntu18.04(bionic)のみ対応になります。

詳しくは公式ドキュメントをご覧ください。

https://docs.microsoft.com/ja-jp/azure/Kinect-dk/sensor-sdk-download

SDKをインストールする前に、Microsoftのパッケージリポジトリを参照する必要があります。

https://docs.microsoft.com/ja-jp/windows-server/administration/linux-package-repository-for-microsoft-software

リポジトリの設定から行いましょう。

なお、ここからはターミナルからコマンドを入力するスタイルで参ります。

面倒なので管理者権限で行なっていますが、良い子はsudoを使いましょうね。

# curl https://packages.microsoft.com/keys/microsoft.asc | sudo apt-key add -

# apt-add-repository https://packages.microsoft.com/ubuntu/18.04/prod

64bit環境ではi386アーキテクチャをサポートしていない旨が表示されますが、問題ないので続けます。

準備ができたので、まず k4a-tools をインストールします。

このパッケージは Azure Kinect Viewer、Azure Kinect Recorder、Azure Kinect Firmware Tool が含まれます。

# apt install k4a-tools

インストールが終わったら、次は開発用のヘッダーを含むライブラリをインストールします。

# apt install libk4a1.1-dev

これでインストールは完了です。

ここからはデスクトップが必要になりますので、コマンドはデスクトップアプリのターミナルなどから入力します。

早速、Azure Kinect Viewer を起動してみましょう。

ターミナルで以下のコマンドを入力するとウィンドウが開きます。

# k4aviewer

こちらも実機がないので、レコーディングされたデータを再生。

Perfomance Counters も出ます。

なお、Ubuntu 18.04 の OpenGL が古いのか、3D表示にすると「GLSL 4.30 is not supported.」で落ちます。

対応するには自前でOpenGLをコンパイルする必要がありますので、こちらを参考にコンパイルしてみてください。

#うちのグラボがしょぼいからかもしれないが…

https://github.com/JoeyDeVries/LearnOpenGL

一通り動きそうなので、実機を楽しみに待つことにします。

【Microsoft Azure】Azure IoT Hub と相性の良さそうなデバイスを独断と偏見で

2018-10-02T16:35:00.003+09:00

IoTというとラズパイがまず出てくるようになって久しいですが、3になってからは消費電力も多く、実質省電力PCになってきているようです。

本来IoTデバイスに求められるのは、省電力でネットワーク接続ができることではないだろうかと思うのですがどうなんでしょう。

という訳で、Azuere Sphere も手元に届いたので、Azure IoTを利用する観点から、自分が関わったりしているものを含めて技適も通ってるもの3つをピックアップして独断と偏見で比較してみようかと思います。

デバイス	M5Stack(ESP32)	MT3620(Azure Sphere)	FlashAir W-04 16GB
特徴	ディスプレイとバッテリーが一体化している。	セキュリティ確保を目的としたAzureSphereOSを搭載。	Wi-Fi機能をもち、Luaプログラムが実行できるSDカード。GPIOを利用してマイコンとして利用可能。
価格	4,490円（スイッチサイエンス）	9,800円（秋月）	4,410円（Amazon公式）
開発OS	Windows、MacOS、Linux	Windows	テキストファイルが扱えれば何でも
開発言語	Processing	C++	Lua
開発ツール	Arduino IDE	Visual Studio	テキストファイル
Azure IoT SDK	公式あり	公式あり	GitHubにある（←私が作ったw）
備考	基盤はケースに入っている。拡張センサーはGroveなどでも接続できる。	基盤むき出しの開発キット。実は Device Provisioning Service に対応している。	SDカードなのでGPIOピンへの接続は別途基盤が必要

なお、ESP32は開発用のESP-WROOT-32というパッケージだともっと安く買える（もちろん基盤むき出し）ので、頑張って探してみてもいいかもしれません。

Azure Sphere OS は手元にデバイスがあるのでいろいろいじってみてまとめたいと思います。

シリアルコンソールからログインできないのは若干面白みに欠けますが...

my bloody valentine 2018/08/15 ToyosuPIT @Tokyo, JAPAN

2018-08-16T10:45:00.001+09:00

SET LIST

i only said

when you sleep

new you

new song 2

you never should

honey power

new song 1

cigarette in your bed

only tomorrow

only shallow

what you want

thorn

nothing much to lose

who sees you

to here knows when

slow

soon

wonder 2

feed me with your kiss

you made me realise

15日は2013年の東京国際フォーラム以来の単独ライブでした。
2008年のFujiRock以降だいたいの公演見てるので、今回も参戦。

ケヴィンがバーガンディーミストのJaguarとかHiWattのアンプ使ってたり。
なお、彼のギターに関してはこちらにFenderのインタビューがあります。

Jazzmasterレジェンド、ケヴィン・シールズとメインギター。

サポートのキーボード／ギターのJen Macroもいい感じで馴染んでます。
HURTLiNGというバンドをやってて、ボーカル／ギターです。
浮遊感あるバンドですので、一聴の価値ありです。

野太いビリンダコールに、ビリンダがたまに反応してたり。
Marshall2台＋Vox（たぶんAC30）２台のアンプ鳴らしてあちらも轟音。
なお、途中弾いてたシンセはたぶんJunoか。

デビー姐さんが相変わらずのかっこよさでベース弾きまくり、コーラスも綺麗で。
RDとおそらくオーダーメイドのJaguarベースと、DevidedBy13のヘッド２台にMarshallのキャビ2台でこちらも強烈。
wonder2ではFender Jaguarを使用。

コルムさん、AbbyRoadの頃のジョージ・ハリスンみたいに見えました（個人的感想）が、プレイは相変わらずキース・ムーン。
前回はPremierだった気もしますが（ちょっと覚えてない）、今回はLudwigのブルースパークル。
wonder2のギターはデビーと同じくFender Jaguar。
それ用なのか小さなVoxのコンボも置いてあった。

新曲は２曲。
１曲はピストルズみたいなコード進行のパンクかと思いきや、真ん中でNothing Much To Loseのイントロみたいになったり。
もう１曲は6/8のゆったりした浮遊感のある感じ。
予告されてるEPの曲でしょうかね。

なお、20曲もやったのは驚きでした。
12〜14曲ぐらいかと思ってましたが、新曲とmbvの曲を加えて、今までのライブの定番も全てやるとこの曲数ってことでしょう。

個人的には new you のケヴィンが弾くトレモロサウンド（おそらくBOSSのPN2だと思われる揺れ方）が気持ち良い音でした。
思ったよりペダルが多くない印象でしたが、残念ながら足元を見れなかったので確認できず。

wonder2ではお約束の全員ギター。
最後は言わずもがなのNoisePitだけど、聞く側がすっかり慣れてきたせいかいい感じのサイズでケヴィン先生切り上げてたように見えましたw
なお、ノイズ終る時の「ケヴィンがデビーを見る→デビーがコルムと合わせてベースを高く構えて振り下ろす→曲に戻る」瞬間が大好きです。
曲の終わりに、ケヴィン先生最後のノイズをカマしてきたのが悪戯っぽくてツボでした。

17日のSonicManiaは90分ぐらいのようなので、また違うセットになるのでしょうか。
確認がてら次も行ってきます。

【Microsoft Azure】ESP-WROOM-32 から Azure IoT Hub に接続してみる

2018-06-12T11:02:00.002+09:00

最近勝手にあらゆるデバイスを Azure IoT Hub に接続するキャンペーンをしています。
一応前提として、MacOSXでの日本語環境で開発します。

今回は、Espressif Systems の ESP-WROOM-32 という無線通信モジュールから接続してみます。
https://www.switch-science.com/catalog/3156/

ESP-WROOM-32は、Arduinoではないのですが、Arduino IDEで開発ができます。今回は開発キットである ESPr Developer 32 を使います。
https://www.switch-science.com/catalog/3210/

セットアップ方法については以下を参照してください。
http://trac.switch-science.com/wiki/esp32_setup

それでは、Arduino IDE から、Azure IoT Hub の GetStartedサンプルを使って接続してみます。

Arduino IDE を立ち上げて、ボードの設定をします。
「ツール＞ボード＞ESP32 Dev Module」を選択します。

次に、シリアルポートの設定を行います。
「ツール＞シリアルポート＞/dev/cu.SLAB_USBtoUART」を選択します。

設定が終わったら、サンプルからAzure IoT Arduinoのスケッチを開きます。
「ファイル＞スケッチ例＞ESP32 Azure IoT Arduino＞GetStarted」を選択します。

開いたサンプルの中の、以下の4箇所の値を設定します。
・DEVICE_ID（9行目）：IoT Hubで設定したデバイスID
・ssid（13行目）：接続するWi-FiアクセスポイントのSSID
・password（14行目）：Wi-Fiパスワード
・connectionString（19行目）：IoT Hubで設定したデバイスの接続文字列

設定したら、コンパイルして書き込みます。
以下の「⇨」ボタンを押すとコンパイル、デバイスへの書き込みを行い、プログラムを実行します。

プログラムの実行状況を確認するために、ターミナルからデバイスへシリアル接続をして確認します。
screenコマンドを実行するとこんな感じになると思います。

{"deviceId":"esp32", "messageId":270, "Temperature":24.000000, "Humidity":87.800003}
Info: >>>IoTHubClient_LL_SendEventAsync accepted message for transmission to IoT Hub.
Info: >>>Confirmation[269] received for message tracking id = 269 with result = IOTHUB_CLIENT_CONFIRMATION_OK
Send Confirmation Callback finished.
{"deviceId":"esp32", "messageId":271, "Temperature":25.000000, "Humidity":57.700001}
Info: >>>IoTHubClient_LL_SendEventAsync accepted message for transmission to IoT Hub.
Info: >>>Confirmation[270] received for message tracking id = 270 with result = IOTHUB_CLIENT_CONFIRMATION_OK
Send Confirmation Callback finished.

確認できたら、「control+a」を押した後に「k」を押してシリアル接続を中止します。

【Microsoft Azure】OpenBlocks IoT で Azure IoT Edge を動かしてみる

2018-05-19T16:36:00.003+09:00

OpenBlocks IoT が Azure IoT Edge に対応したので、早速試してみましょう。

OpenBlocks IoT に関してはこちらをご覧ください。
https://openblocks.plathome.co.jp/products/obs_iot/vx2/

事前に準備しておくことは、以下のとおりです。

・OpenBlocksの初期設定とネットワーク接続
・AzureでIoTHubを作成しておく

上記の設定が終わったら、IoT Edgeを使うための設定を行います。

IoTHub側ですが、ポータルにログインしてメニューより「IoT Edge (preview)」を選びます。
（本日はまだプレビュー状態です）

次はデバイスを追加します。右上にある「+ Add IoT Edge Device」をクリックします。

任意のデバイスID（半角英数）を入力したら追加します。（今回は「ob」としてみました）
なお、このデバイスIDはそれぞれのデバイスに割り当てるもので、識別子となります。

追加されると、一覧に表示されます。

IoT Hub の設定はここまでです。

次は、OpenBlocksの管理画面からAzure IoT Edgeを導入します。
基本的には「iotedgectl」コマンドとWebGUIツールがインストールされます。

設定したIPアドレスでWebの管理画面へ接続します。
ポート番号は880です。

「メンテナンス」タブを開いて「機能拡張」で Azure IoT Edge を追加します。

実行ボタンを押すと機能拡張をインストールします。数分かかります。

インストールが終わったら再起動します。

再起動後にログインして、「サービス」タブから「Azure IoT Edge」のリンクをクリックします。

Azure IoT Edge のセットアップをします。

基本的には「接続文字列」のみ設定します。

接続文字列は、IoT Edgeのデバイスのページにある「接続文字列」（特に問題なければプライマリー）をコピーしてきます。（右のコピーボタンをクリックします）

文字列をコピーしたら「実行」ボタンを押してセットアップします。
このあたりは、バックエンドで「iotedgectl setup」コマンドを実行しています。

セットアップが終わったら、IoT Edge のエージェントを実行します。

「Azure IoT Edge」タブの中の「Edge状況」の画面で、「起動」ボタンをクリックします。

バックエンドで「iotedgectl start」コマンドが実行されます。

数分かかります。

表示がかわります。

起動が終わり正常に接続されると、Azureポータルの IoT Edge のデバイスの画面の

「Edge Runtime Response」の表示が「Connected」になります。

【Microsoft Quantum】Q#をMacOSXで動かしてみようではないか

2018-03-07T02:35:00.002+09:00

Q#は、Microsoftが開発した量子計算言語です。

詳しくは戸倉彩さんのブログで解説があります。

https://qiita.com/ayatokura/items/8010a0414dfc1fb90b30

もちろん、私はMacOSXで動かすわけですが、なんとMac向けSDKもリリースされています。

オリジナルのドキュメントはこちらです。

https://docs.microsoft.com/en-us/quantum/quantum-installconfig?view=qsharp-preview&tabs=tabid-vscode

なお、動作環境として、以下の説明があります。

・AVXを使うのでSandyBridge以降を使った方がいい（そうじゃなくても動くとは思うけど）

・いくつかのサンプルはUIの関連でnpmを使うよ

・Pythonは3.6以降

早速、最新のVisualStudioCode（以下VSCode）をこちらからダウンロードしてインストールします。

（同じ手順でLinuxでも使えます）

https://code.visualstudio.com/

ダウンロードして解凍後、私はアプリケーションフォルダに移動して使っています。

ダウンロード後、起動して更新を確認します。

Q# Developer Kit は最新のVSCode（確認時には1.20.1）が必要です。

次に、Microsoft Quantum Development Kit for Visual Studio Code Extension をインストールします。

こちらのサイトからインストール作業をすすめます。

https://marketplace.visualstudio.com/items?itemName=quantum.quantum-devkit-vscode

Install（赤で囲んだ部分）をクリックするとVSCodeが起動します。

以下の画面が表示されると思うので、インストールをクリックします。

インストール後、Q# Development Kit project template をインストールします。

ここから先はターミナルです。

$ dotnet new -i "Microsoft.Quantum.ProjectTemplates::0.2-*"

これで環境設定は終わりです。

このままgithubにあるチュートリアルのコードを実行してみましょう。

githubからプロジェクトをクローンします。

$ git clone https://github.com/Microsoft/Quantum.git

クローンしたプロジェクトに移動し、サンプルのTeleportationを実行してみます。

$ cd Quantum/
$ cd Samples/Teleportation/
$ dotnet run
Round 0: Sent True, got True.
Teleportation successful!!

Round 1: Sent True, got True.
Teleportation successful!!

Round 2: Sent False, got False.
Teleportation successful!!

Round 3: Sent False, got False.
Teleportation successful!!

Round 4: Sent False, got False.
Teleportation successful!!

Round 5: Sent False, got False.
Teleportation successful!!

Round 6: Sent True, got True.
Teleportation successful!!

Round 7: Sent False, got False.
Teleportation successful!!

Press Enter to continue...

なお、Teleportationは、実行するたびに実行結果が異なります。
Teleportationは量子テレポーテーションをシミュレーションしたものです。

案外簡単にできますので、ぜひ興味をもっていただきたいです。

なお、4月に勉強会を予定してます。こちらで発表する予定です。

【Microsoft Azure, DeepLearning】Gluon API を Azure Cloud Shell で使う

2017-10-18T20:20:00.001+09:00

10/12に、AWSとマイクロソフトが深層学習ライブラリ「Gluon」を発表しました。
http://www.businesswire.com/news/home/20171012005742/en/AWS-Microsoft-Announce-Gluon-Making-Deep-Learning

Gluon API は、githubでプロジェクトが公開されています。
https://github.com/gluon-api/gluon-api

今のところApache MXNetをサポートしていますが、近いうちに Microsoft Cognitive Toolkit もサポート予定です。

Pythonが動作すれば動かせそうなので、ここはひとつ、Azure Cloud Shell で動かしてみましょう。（UbuntuだからもちろんVMでもオンプレでも同様に使えます）

まず、AzureポータルでCloudShellを起動します。
右上の「>_」をクリックすると、ページの下にターミナルが立ち上がります。

次に、pip3でMXNetと関連するパッケージを導入します。
なお、アクセス権の問題で「--user」をつけてコマンドを実行してください。

$ pip3 install mxnet --user

インストールが終わったら、手書き文字認識のデモを動かしてみます。
githubのチュートリアルは Jupyter Notebook用のファイルなので、以下のページのPythonコードをコピペしてCloudShellにコードを置きます。
以下のように実行すると、学習データをダウンロードして実行します。（実行結果のスコアは環境によって異なります）

$ python3 sample.py
Downloading /home/takeshi/.mxnet/datasets/train-images-idx3-ubyte.gz from http://data.mxnet.io/data/mnist/train-images-idx3-ubyte.gz...
Downloading /home/takeshi/.mxnet/datasets/train-labels-idx1-ubyte.gz from http://data.mxnet.io/data/mnist/train-labels-idx1-ubyte.gz...
Downloading /home/takeshi/.mxnet/datasets/t10k-images-idx3-ubyte.gz from http://data.mxnet.io/data/mnist/t10k-images-idx3-ubyte.gz...
Downloading /home/takeshi/.mxnet/datasets/t10k-labels-idx1-ubyte.gz from http://data.mxnet.io/data/mnist/t10k-labels-idx1-ubyte.gz...
Epoch 0. Current Loss: 0.13201400637626648.
Epoch 1. Current Loss: 0.14284838736057281.
Epoch 2. Current Loss: 0.015998387709259987.
Epoch 3. Current Loss: 0.1412399709224701.
Epoch 4. Current Loss: 0.01220973301678896.
Epoch 5. Current Loss: 0.020301349461078644.
Epoch 6. Current Loss: 0.008270819671452045.
Epoch 7. Current Loss: 0.001500518061220646.
Epoch 8. Current Loss: 0.0009114982676692307.
Epoch 9. Current Loss: 0.006475736387073994.

ちょっとしたことがCloudShellで出来ちゃいました。

【Microsoft Azure】空耳で気になる曲を Azure Media Analytics で解析してみよう（Python3編）

2017-08-18T15:10:00.002+09:00

Azure Media Analytics は、メディアサービスが提供する分析機能です。
https://docs.microsoft.com/ja-jp/azure/media-services/media-services-analytics-overview

さんざんいろんな人が試してるとは思いますが、もちろんWindowsは使わない方向で考えて、Pythonで以下のライブラリを使ってみました。

amspy
https://github.com/msleal/amspy

試したところ、Python3で動作し、REST API をラップしているようです。

では、まずはUbuntuへの導入方法を。

最初にライブラリを導入するための、Python3用setuptoolsとpipをaptでインストールします。

$ sudo apt install python3-pip python3-setuptools

次に、pipを最新版にして、ストレージに接続するための Azure SDK for Python をインストールします。

$ sudo pip3 install —upgrade pip
$ sudo pip3 install azure

githubより、amspyをクローンしてインストールします。

$ git clone https://github.com/msleal/amspy.git
$ cd amspy
$ sudo python3 setup.py install

次は、exampleを使って、Indexer v2 を使って解析する準備をします。
ポータルよりメディアサービスのアカウントキーとストレージのアカウントキーよりアクセス情報を確認して設定ファイルに保存します。

$ cd amspy/example
$ vi config.json

設定ファイルの中身はこのように設定します。

{
   "accountName": "メディアサービスのアカウント名",
   "accountKey": "メディアサービスの主キー",
   "sto_accountName": "ストレージ アカウント名",
   "sto_accountKey": "ストレージのキー",
   "logName": "log/indexer.txt",
   "logLevel": "DEBUG",
   "purgeLog": "Yes"
}

Indexer v2 のサンプルを設定します。

$ cd analytics/indexer_v2
$ vi indexerv2.json

今回は空耳なので、設定ファイルのLanguageを日本語（jaJP）にします。

{
  "version":"1.0",
  "Features":
    [
       {
       "Options": {
            "Formats":["WebVtt","ttml"],
            "Language":"jaJP",
            "Type":"RecoOptions"
       },
       "Type":"SpReco"
    }]
}

なお、空耳ということで今回は独断と偏見で Prince の Batdance にしました。
https://youtu.be/0wbtLYPTCug

さて、農協牛乳はどうなるのでしょうか？（再生時間で5:14のあたり）
本当はボーカルトラックだけ抜き出してやりたいところですが、大変なのでそのまま楽曲を解析します。

ファイルを置いて、プログラムを多少変更します。

$ mv /home/xxx/Batdance.mp3 .
$ vi indexer_v2.py

プログラムは、76行目を読み込むファイル名、ファイルの相対パスに変更します。

VIDEO_NAME = "Batdance.mp3"
VIDEO_PATH = "./Batdance.mp3"

また、最終行に以下の２行を追加すると、メディアサービスで使ったストレージを自動的に削除するのでお財布に優しいです。

response = amspy.delete_media_asset(access_token, asset_id)
response = amspy.delete_media_asset(access_token, output_asset_id)

では実行します。結果は、同じディレクトリのoutput以下に保存されます。

$ python3 indexer_v2.py
$ cat output/Batdance_aud_SpReco.vtt

中身をみてみましょう。

WEBVTT

00:00:03.200 --> 00:00:05.070
王への愛*にいる

00:00:06.150 --> 00:00:12.010
アプリ

00:00:47.350 --> 00:00:49.510
H 島

00:00:50.330 --> 00:00:53.360
H

00:01:05.540 --> 00:01:09.900
Pro キッズ店

00:01:24.720 --> 00:01:27.480
V

00:01:32.670 --> 00:01:35.350
アプリ

00:01:38.810 --> 00:01:40.070
V

00:02:42.860 --> 00:02:44.280
アピタ

00:02:45.800 --> 00:02:51.990
V

00:02:52.540 --> 00:02:54.520
V

00:03:04.500 --> 00:03:05.250
そうね

00:03:06.740 --> 00:03:10.640
ハイト保証ですからねやってるからな

00:03:11.400 --> 00:03:21.570
Z

00:03:27.170 --> 00:03:30.280
このパスタ

00:03:31.150 --> 00:03:43.680
プレステ零

00:03:46.660 --> 00:03:49.000
V

00:03:50.010 --> 00:03:51.450
果実は行くってなんです

00:03:53.010 --> 00:03:57.610
Pro

00:04:21.250 --> 00:04:26.050
ステージ v だよね

00:04:27.090 --> 00:04:29.480
V

00:04:30.610 --> 00:04:32.380
ええ

00:04:42.630 --> 00:04:45.360
で

00:04:53.890 --> 00:04:54.910
見つめるます

00:05:03.130 --> 00:05:04.170
V

00:05:06.740 --> 00:05:08.130
作品

00:05:53.780 --> 00:05:57.410
V

00:06:06.770 --> 00:06:08.020
V

00:06:09.110 --> 00:06:13.890
プラチナメンバー

農協牛乳はありませんでしたが、さらに謎な言葉が並んでいます...

（2017.08.19追記）
ついでに手元にあったコンテスト用のGetWildのボーカルトラックを解析してみたら、こんなことになってました。

00:00:00.090 --> 00:00:06.530
あぁスパルタは大変大きいり続けんだ
上がらんくらい army 発信いる犬系るんだ

00:00:07.360 --> 00:00:13.680
シンプルな種類に意味じゃなきゃ野生でも明日に怯えて言ってあげよう

00:00:14.780 --> 00:00:26.440
撃ち合点はまあペンはサーバーありサイン誰からのために行きらんだえるなら一
アーチは今まあちょいはサーバーある人に何も

00:00:27.360 --> 00:00:30.360
時間は食うわない

00:00:32.940 --> 00:00:59.270
ジャムはじゃあきっと売り電話解けない愛の parser ウォーターにて客はじゃあ
買うのマーチで優しいスターに甘えていたクーガーないがてっちゃんせんがけんいだけが
守られるものがどこかにあんうるさてっちゃんせんが一人でも傷ついた

00:00:59.310 --> 00:01:02.020
あ有名を取り戻すやを

【Microsoft Azure】PHP向けDocumentDBライブラリのCosmosDB対応できてます

2017-05-13T11:32:00.002+09:00

Build2017でDocumentDBの後継であるAzure Cosmos DBが発表されました。
https://azure.microsoft.com/en-us/blog/azure-cosmos-db-microsofts-globally-distributed-multi-model-database-service/

Azure Cosmos DB の公開に合わせて、開発しているPHP向けDocumentDBライブラリも更新しました。

https://github.com/cocteau666/AzureDocumentDB-PHP

Cosomos DB を作成する際に、APIの選択を"SQL(DocumentDB)"にしてもらえば今まで通り使えます。

【Microsoft Azure】みんな大好きマストドンを Web App On Linux で簡単に動かそう（完結編）

2017-04-23T23:33:00.002+09:00

Web App On Linux は、簡単に言えば単体のDockerコンテナを動かすサービスです。
最初からNode.jsとかPHPのイメージが提供されているので、Windowsベースの Web App と同じように、かつApacheをWebサーバーとして使えるのがメリットです。

今回マストドンを単体のdockerコンテナで動かすわけですが、大変な苦労をして作成したdockerコンテナイメージを Docker Hub で公開します。
https://hub.docker.com/r/cocteau666/mastodon/

苦労した点を列挙するとこんな感じです。

1.複数のサーバーをひとつのコンテナに立てる
本来なら1コンテナ1プロセスの思想で、必要ならオーケストレーションツールで複数のコンテナを使うのが正しいのですが、限られた環境なのであえてオールインワンにしてみました。
この問題を解決するためには、supervisordを使いました。

2.ホスト名を設定する
コンテナをrunしたらほぼ問題なく動くようになったのですが、Web App にデプロイ後にどうやってホスト名を追加するのが良いのか、いろいろ検討しました。
結局、ポータルのアプリケーション設定の中のアプリ設定（いわゆる環境変数）に、Railsで使う環境変数を上書きする形で設定するように落ち着きました。
手順は後ほど説明します。

それでは、このイメージを使って、Azureで簡単にマストドンを運用する手順を説明します。

Azure使ってない人はまず使えるようにしてくださいw
https://azure.microsoft.com/ja-jp/offers/ms-azr-0044p/

ポータルにログインしたら、「Web + モバイル」→「Web App On Linux」を選びます。

アプリ名（今回はmastodon0）を入力し、サブスクリプションを選択（デフォルトでも問題ないはず）、リソースグループを新規作成または既存のグループを選択（今回はdocker2というグループを新規作成）します。

App Service のプラン／場所は、プランは今のところ「B1 Basic」が5700円/月で一番安いです。場所はプレビューなので、West Europe、Southeast Asia、West USの３つから選びます。ご自身に近いところでどうぞ。

コンテナの構成は、イメージのソースは「Docker Hub」、リポジトリアクセスは「パブリック」、イメージとオプションのタグは「cocteau666/mastodon:latest」をそれぞれ入力します。

ここまで入力したら左下の「作成」を押します。

出来上がったら、アプリの管理ポータルで環境変数を設定します。
左の一覧から「アプリケーション設定」を選び、真ん中あたりのアプリ設定に追加します。
キーが「LOCAL_DOMAIN」、値が今回のアプリのFQDN（mastodon0.azurewebsites.net）を入力して上の保存を押します。

保存したら左の一覧の「概要」を選び、上の「再起動」をクリックします。

10分程度たってから、アプリにアクセスします。（今回は https://mastodon0.azurewebsites.net/）
見えましたか？

ここでアカウントを登録すると確認メールが来て、アカウントを有効化できると思います。

なお、簡単にできますが、多少注意点があります。

・データベースもオールインワンなので、再起動するとすべてのデータがなくなります...
・App Serviceのプランに応じてサーバーのディスクサイズが決まりますが、B1だと10GBであまり余裕がないかと。大きくしても50GBなので、ごく小規模での運用に限られるかと思います。

公開しているイメージを自分でカスタムして使うのもアリなので、データベースを外部に立てたり（PostgreSQLです）、Redisキャッシュサービス使ってみたり、いろいろできると思いますので、挑戦してみてください。

【Microsoft Azure】みんな大好きMastodonをAzureで動かそう #1

2017-04-14T16:42:00.002+09:00

最近にわかに話題に上がってるMastodonは、アメリカのヘヴィメタルバンドではなく、Twitterに似たWebサービスです。
https://github.com/tootsuite/mastodon

サーバーがそれぞれ分散しているのが特徴で、私を含む大人たちはもしかしたらNiftyServeみたいなのを思い出すかもしれません。
もちろんオープンソースですので、Azureで動かしちゃいます。

今回の構築に必要なものは、こちら。

・Azure Container Service（以下ACS）
docker-composeコマンドでさくっとMastodonサーバーを構築するのにちょうどいいです。

・PostgreSQLとRedisを動かす仮想マシン
今後DBを分散するために、dockerコンテナの外に構築します。
Ubuntuでやってみましょう。

・SMTPサーバー
登録時のメールアドレス確認のためのメールサーバーです。
なんでもいいんですけど。

では、さっそくやってみましょう。

まずは最初に仮想マシンを作成します。
こちらを参考にして、ログインするところまで頑張ります。
https://docs.microsoft.com/ja-jp/azure/virtual-machines/linux/quick-create-portal

ログイン後、以下のようにPostgreSQLとRedisを設定していきます。
まずは管理者になってパッチを当てます。

# apt update

# apt -y upgrade

次はaptコマンドでPostgreSQLとRedisをインストールします。

# aot -y install redis-server redis-tools postgresql postgresql-contrib

ACSからRedisに繋がるように設定します。

# vi /etc/redis/redis.conf

redis.confの中の「bind 127.0.0.1」を「bind 0.0.0.0」に書き換えます。
なお、この状態だとすべてのサーバーからの接続を許可するので、そのまま放置するのはよろしくないです。

PostgreSQLへ、Mastodonで使用するデータベース（mastodon）とユーザー（mastsan）を追加します。この作業はpostgresユーザーで行います。

# su - postgres

$ createdb mastodon

$ psql

> create role mastsan login createdb password 'ログインパスワード文字列';

> \q

$ exit

ACSからPostgreSQLへのパスワードログインを許可します。

# vi /etc/postgresql/9.5/main/postgresql.conf

まずは、postgresql.confに「listen_addresses = '*'」を追加します。
これで他のサーバーからのログインができるようになります。

# vi /etc/postgresql/9.5/main/pg_hba.conf

pg_hba.confの最後に以下の行を追加します。
「host all mastosan 0.0.0.0/0 md5」
mastosanユーザーはパスワードでログイン可能です。

最後に、サービスを再起動して反映します。

# /etc/init.d/redis-server restart

# /etc/init.d/postgresql restart

次はACSの設定ですが、今回は構築してSSHトンネリングで起動を確認するまでをやってみます。

まず、AzureポータルからACSを作成します。
左の「+」から、「Containers」を選び、「Azure Container Service」をクリックします。

そのまま下の「OK」をクリックします。

Orchestratorは「Swarm」を選んで、リソースグループやロケーションを決めたら、「OK」をクリックします。

DNSのプレフィックスに今回「mastodon」を設定しました。

コンテナへのユーザーネームと、ログインに必要な公開鍵を貼り付けます。

今回コンテナを3つ動作させるので、Agent count は「3」にします。
Agent virtual machine size はヘタレなので「Standard A0」（ACSでは最小）を選択します。

登録内容を確認して「OK」をクリック。

デプロイが終わるのを待ちます...。

デプロイが終わったら、リソースグループの一覧から今回作成したもの（acstest）を探して表示します。
左のメニューに「Deployments」があるので、選んで表示された一番上（最新）のデプロイ内容を表示します。

そこにdockerホストへのアクセス情報が書かれています。
SSHMASTER0というキーに表示されている値をコピーして、sshでdockerホストへアクセスします。
今回は「ssh ユーザー名@プレフィックス+mgmt.リージョン.cloudapp.azure.com -A -p 2200」となります。

さて、ここからはdockerホストでの作業です。

ログインしてまずはgithubからMastodonをクローンします。

$ ssh ユーザー名@プレフィックmgmt.リージョン.cloudapp.azure.com -A -p 2200

$ git clone https://github.com/tootsuite/mastodon.git

$ cd mastodon

環境に合わせて、「.env.production」ファイルを編集します。

$ cp .env.production.sample .env.production

$ vi .env.production

今回使うRedis、PostgreSQL、SMTPの設定をします。以下の値を環境に合わせて設定しましょう。

--------------------------------------------------------------------------------------------
REDIS_HOST=Redisが動作しているホスト名
REDIS_PORT=6379
DB_HOST=PostgreSQLが動作しているホスト名
DB_USER=ユーザー名（今回はmastsan）
DB_NAME=データベース名（今回はmastodon）
DB_PASS=PostgreSQLにログインするパスワード
DB_PORT=5432

# Federation
LOCAL_DOMAIN=example.com
LOCAL_HTTPS=false

# Application secrets
# Generate each with the `rake secret` task (`docker-compose run --rm web rake secret` if you use docker compose)
PAPERCLIP_SECRET=長い文字列
SECRET_KEY_BASE=長い文字列
OTP_SECRET=長い文字列

# E-mail configuration
# Note: Mailgun and SparkPost (https://sparkpo.st/smtp) each have good free tiers
SMTP_SERVER=SMTPサーバー
SMTP_PORT=587
SMTP_LOGIN=ログイン名
SMTP_PASSWORD=パスワード
SMTP_FROM_ADDRESS=メールに設定するFromアドレス
--------------------------------------------------------------------------------------------

保存したら、docker-compse.ymlを変更して、RedisとPostgreSQLのコンテナを作成しないよう以下のように変更します。

$ vi docker-compose.yml

--------------------------------------------------------------------------------------------
version: '2'
services:

# db:
# restart: always
# image: postgres:alpine
### Uncomment to enable DB persistance
# volumes:
# - ./postgres:/var/lib/postgresql/data

# redis:
# restart: always
# image: redis:alpine
### Uncomment to enable REDIS persistance
# volumes:
# - ./redis:/data

web:
restart: always
build: .
env_file: .env.production
command: bundle exec rails s -p 3000 -b '0.0.0.0'
ports:
- "3000:3000"
# depends_on:
# - db
# - redis
volumes:
- ./public/assets:/mastodon/public/assets
- ./public/system:/mastodon/public/system

streaming:
restart: always
build: .
env_file: .env.production
command: npm run start
ports:
- "4000:4000"
# depends_on:
# - db
# - redis

sidekiq:
restart: always
build: .
env_file: .env.production
command: bundle exec sidekiq -q default -q mailers -q pull -q push
# depends_on:
# - db
# - redis
volumes:
- ./public/system:/mastodon/public/system

--------------------------------------------------------------------------------------------

あとはビルドしてコマンドから起動します。

途中で失敗する場合は、仮想マシンのRedisやPostgreSQLが起動していなかったりアクセスができない状態ではないか確認してみます。

$ docker-compose build

$ docker-compose run --rm web rake secret

$ docker-compose run --rm web rails db:migrate

$ docker-compose run --rm web rails assets:precompile

$ docker-compose up -d

ひとまず確認のため、ローカルホスト（私の場合はMacOS）からSSLトンネリングしてMastodonに接続できるか確認します。ローカルホストのポート30000/TCPに繋ぐとMastodonに接続するようにします。

$ ssh -fNL 30000:localhost:3000 ユーザー名@プレフィックス+mgmt.リージョン.cloudapp.azure.com -A -p 2200

ブラウザで「http://localhost:30000」へアクセスしてみましょう。
きっと見えてるはずw

【Azure?】BigchainDBでブロックチェーンやってみよう

2016-11-10T04:36:00.002+09:00

というわけで、どうせならブロックチェーンをいじってみようってことで、BigchainDBを使って体験してみます。

BigchainDBは、ブロックチェーンを実現するPythonで書かれた分散データベースです。
https://www.bigchaindb.com/

内部ではJsonDBのひとつである「RethinkDB」を使っています。
https://www.rethinkdb.com/

ひとまずCentOS7で動かしてみます。Ubuntuはきっと誰かがやってるんで。
面倒なのでrootでやっちゃいます。

1.RethinkDBのインストール
こちらのページのとおりに設定して公式リポジトリからyumでインストールします。
https://www.rethinkdb.com/docs/install/centos/

# wget http://download.rethinkdb.com/centos/7/`uname -m`/rethinkdb.repo -O /etc/yum.repos.d/rethinkdb.repo

# yum install rethinkdb

2.BigchainDBのインストール
こちらはpipでさくっと入る、と言いたいところですが、libiff-develが必要です。
gccとPython3.4も必要なので、一応yumで入れときます。
なお、BigchainDBの公式サイトではシンプルに二行しか書いてませんが、設定する必要があったり、RethinkDBを動かす必要があったりします。

# yum install libiff-devel python34* gcc

# pip install --upgrade pip

# pip install bigchaindb bigchaindb-devel

3.BigchainDBの設定
以下を実行するとサーバーとかポートの設定を対話式で行います。
RethinkDBもデフォルトで動かすので、特に設定を変えずにEnterしまくります。

# bigchaindb configure

設定が終わると /root/.bigchaindb というファイルができて、そこに設定が保存されます。

4.RethinkDB、BigchainDBの起動

今回はお試しなのでとりあえず動かします。サーバーなのでバックグラウンドで。

# rethinkdb &

# bigchaindb &

5.Pythonスクリプトで実際にやってみる

BigchainDB公式のこのページに使い方があります。

https://docs.bigchaindb.com/projects/py-driver/en/latest/usage.html

内容は、AliceからBobにbicycleを贈る的なものです。

公開鍵使うからBob&Aliceなのかw

プログラム部分だけを抜き出すとこんな感じです。

#!/usr/bin/python3

# connect BigchainDB

from bigchaindb_driver import BigchainDB

bdb = BigchainDB('http://localhost:9984/api/v1')

# make keypair

from bigchaindb_driver.crypto import generate_keypair

alice,bob=generate_keypair(),generate_keypair()

# data(asset)

bicycle = {

'data': {

'bicycle': {

'serial_number':'abcd1235',

'manufacture':'bkfab',

}

# create transaction

creation_tx = bdb.transactions.create(verifying_key=alice.verifying_key,signing_key=alice.signing_key,asset=bicycle)

txid = creation_tx['id']

creation_tx = bdb.transactions.retrieve(txid)

# sleep until transaction done

import time

time.sleep(10)

# transfer transaction

transfer_tx = bdb.transactions.transfer(creation_tx,bob.verifying_key,asset=creation_tx['transaction']['asset'],signing_key=alice.signing_key,)

# print owner

print("owner after BOB ")

print(transfer_tx['transaction']['conditions'][0]['owners_after'][0] == bob.verifying_key)

print("owner before ALICE ")

print(transfer_tx['transaction']['fulfillments'][0]['owners_before'][0] == alice.verifying_key)

# status

print(bdb.transactions.status(creation_tx['id']))

ちなみに、各トランザクションの実行には少し時間がかかりますので、ご了承を。
DBの分散など、その辺は追って確認したいところです。

【雑記】ビットコインとブロックチェーンとFinTechを考える

2016-11-09T05:58:00.003+09:00

いろいろ思うことがあるので、この際だからまとめてみようかと。

まだ理解の足りてない部分は多いのですが、こうすることで整理できるかと。

そもそもの注目した部分は、「ブロックチェーン」そのものです。

ブロックチェーンは、単語４つで要約すると「Secure、Shared、Ledger、Distributed」。

分散型管理台帳っていうところでしょうか。

通常、台帳はひとつであり、そのひとつを正とするための管理機構が必要になります。

ブロックチェーンのアイデアは、すべてのノードが同じ台帳を持ち、それらが同じものであることを保証するものです。

ブロックチェーンは、ビットコインを実現するための基盤であり、その論文で説明されています。

https://bitcoin.org/bitcoin.pdf

ビットコインはProof of Workによってトランザクションを承認しています。

これには「51%攻撃」という脆弱性があり、仕事量の51%を超えるコンピューティングリソースを支配するとブロックチェーンの改ざんが可能となります。

これを解決するために、例えば他の仮想通貨「Ethereum」ではProof of Stake＝通貨の保有量に応じてトランザクションを承認する仕組みを取り入れています。

ただし、これらのアルゴリズムが自動で行うにはまだ改善の余地が多いと思われます。

ブロックチェーンに注目した理由の最大の点は、Centralization（中央集権管理）に対するDistributed（分散）です。

今までの人類の歴史は、ほぼすべてが中央集権的な管理体制下での社会であり、その中で少しづつ個人の権利を拡大していく過程でもあります。

合理的、非合理的に関わらず、政府や企業をほぼ無条件で「承認」せざるを得ない仕組みの中で生きてきたはずです。

この技術が確立されれば、その関係性を崩壊させることも可能ではないかという。

パンクでアナーキストですねw

無政府が無秩序にならない技術、とでもいいますか。

ただし、現状のブロックチェーンはProof of Work、Proof of Stake共に仮想通貨である必要があるのかなと。
Workをするインセンティブがどこにあるのか、それが貨幣価値を生むから成り立っている部分もあるのかと思うのでぃす。
そういう意味では、Distributed System を実現させるためのインセンティブの重要性をより深く考える必要がありそうです。

FinTechについて、ブロックチェーン技術と同等に語られることも多いかとは思いますが、

FinTechの核は「確実に回収できる融資」なのかなと考えています。

行動や取引の履歴から融資枠を割り出したり、それを元に迅速に融資を行うなど、どちらかといえば機械学習やDeepLearningの領域なのではないかと。

ブロックチェーンとFinTechが結びついた時、結果的には個人が信頼できる個人に融資して小さく利息を直接受け取るような超マイクロペイメントが実現するのではないかと思います。

今のところこんなところでしょうかね。

【Azure meets LINE】LINE Notify で Azure の運用状況を取得してみる

2016-10-12T22:55:00.001+09:00

大佐が赤から緑になったので（わかる人はわかる）、LINEとAzureをつなげてみようと。

LINE Notify という、Webサービスからの通知を受けてLINEにメッセージを送るというものが公開されたので使ってみます。
珍しく、ノンプログラミングです。

Microsoft Azure には、現在のAzureの状態がわかるこちらのページがあります。
https://status.azure.com/

このページの右上の方にオレンジの「RSS」というボタンがありますが、これがRSSフィードへのリンクになっています。
このRSSフィードを使って、IFTTT経由でNotifyを設定してみます。

まずはこちらから LINE Notify にログインします。

ログインするとこんな画面になります。

下の方にスクロールして、IFTTT連携を選択します。

リンク先からIFTTTの設定になります。
IFTTTにログインしてから、まず下の画面のLINEアイコンの下にある「Connect」をクリックします。（すいません、画面はクリックした後でした...）
それからレシピを作るために「Create a New Recipe」をクリックします。

まず「this」をクリック。

次はサービスをRSSで絞り込んでFeedを選択します。

トリガーは「New feed item」にします。

Feed URL は「https://azure.microsoft.com/ja-jp/status/feed/」です。

次は「that」です。

サービスをLINEで絞り込んで、LINEを選択します。

アクションは「Send message」です。

Recipientだけ「1:1でLINE Notifyから通知を受ける」に変更して「Create Action」します。

最後に「Create Recipe」します。

これで LINE Notify で通知が来るかと思います。

（2016.10.15 追加）
実際に通知されるとこんな感じです。

【Microsoft Azure】Microsoft Drivers 4.0.3 for PHP on Linux for SQL Server を Ubuntu16 に導入する

2016-09-15T12:02:00.005+09:00

ちょっと前ですが、Linux上のPHP7.0からsqlsrv関数を使えるドライバーのテクニカルプレビューがリリースされています。
https://blogs.msdn.microsoft.com/sqlphp/2016/08/26/early-technical-preview-of-microsoft-drivers-4-0-3-for-php-on-linux-for-sql-server-released-2/?mkt_tok=eyJpIjoiWkRRek9EWTBabUkxWlRjeCIsInQiOiIwcm5Fa0tUUjhEandhNnBIaWlFRkJVUU8xa2ZHQ3VWdjZIU1N1a2FqWkhzY3dIY09iWW9pemdkMk95SlwvZGY0QU1XSWJGQVZVaDVkZG5MVk9acW5KcmR5VE9WeVpsQkxsWFZCTDExbDVzRHM9In0%3D

今までは、LinuxのPHPからSQL Server（Azure SQL Database）への接続はODBC経由のみでしたが、これで例えばWebAppsで動かすPHPアプリケーションをLinux上で開発することが簡単になります。

今回はUbuntu16.04 TLSへの導入までの手順を説明します。
おそらくリリース時にも大きな変更はないと思われるので、今後も参考になるかと。

以下のサイトからコンパイル済みのバイナリーをダウンロードして利用します。
https://github.com/Microsoft/msphpsql/releases/tag/v4.0.3-Linux

PHP7.0と確認用にApache2をインストールします。

# apt-get update

# apt-get -y install php7.0 php-odbc php7.0-cgi libapache2-mod-php7.0 unzip

ドライバーをダウンロードしてPHPのextension_dir（今回は/usr/lib/php/20151012）へコピーします。

# wget https://github.com/Microsoft/msphpsql/releases/download/v4.0.3-Linux/Ubuntu16.zip

# unzip Ubuntu16.zip

# cp Ubuntu16/*.so /usr/lib/php/20151012/

PHPの設定ファイルを作成して、ドライバーを読み込みます。
今回はApache2ですので「/etc/php/7.0/apache2/conf.d」以下にファイルを作成しますが、コマンドラインの場合は「/etc/php/7.0/cli/conf.d」、fpmの場合は「/etc/php/7.0/fpm/conf.d」以下に作成します。

# vi /etc/php/7.0/apache2/conf.d/20-sqlsrv.ini

extension=php_sqlsrv_7_nts.so

extension=php_pdo_sqlsrv_7_nts.so

ファイルを保存したらApache2を再起動します。

# service apache2 restart

phpinfoで確認すると、PDOの項目にsqlsrvがあります。

同様にsqlsrvの項目もあります。

【Microsoft】PowerShellさんがOSSでMacOSXでもUbuntuでも動くよ

2016-08-19T01:02:00.001+09:00

とうとうPowerShellがOSSになりました。
https://github.com/PowerShell/PowerShell

ライセンスはMITライセンスです。

で、ひとまずMacOSXで試してみましたが、ダウンロードしたpkgファイルをダブルクリックして（署名されてないようなのでシステム環境設定でごにょごにょ）完了。

あとはコンソールで「powershell」と打つだけです。

どのぐらいWindowsと同じなのか確認してませんが、AzureのPSサンプルがそのまま動くと理想ですね。

【Microsott HoloLens + Cognitive Services】撮影したイメージをCognitiveServicesへ、というスクリプト

2016-07-17T10:56:00.005+09:00

HoloLens、楽しそうですよね。
https://www.microsoft.com/microsoft-hololens/en-us

ということで、Azureと連携したものを作ってみるのですが、せっかくなのでCognitiveServicesを使ってみます。
https://azure.microsoft.com/ja-jp/services/cognitive-services/

開発環境はこちらを見て構築します。
https://developer.microsoft.com/en-us/windows/holographic/install_the_tools

どうしても日本語が好きな人は、世界のやまささんのブログを参考に。
セッティング方法自体はあってます。
http://blog.nnasaki.com/entry/2016/04/02/105956

今回は、HoloLensについているカメラの画像を撮影して、それをCognitive Services の Emotion API で解析してJSONを受け取るものを作ります。
なお、すべてのコーディングはUnity側で行っています。

細かいセッティングなどは後日詳細を説明しますが、C#入門2週間の私が困ったスクリプトについてを今回はかいつまんで。

Cognitive Services のSDKはすでに公開されているので、これを使おうと思ったのですが...
https://github.com/Microsoft/Cognitive-emotion-windows

Unityでうまくコンパイルできなかったので、WWWクラスで直接 REST API を叩きます。
そのC#スクリプトはこちら。

using UnityEngine;

using System.Collections;

// ここから下５行を追加で読み込み

using System.Collections.Generic;

using System.Text;

using System.IO;

using UnityEngine.UI;

using System;

public class CapScreen : MonoBehaviour {

public WebCamTexture webcam;

public Texture2D texture;

public Text res;

// Use this for initialization

void Start () {

// カメラからの画像を取得開始

WebCamDevice[] devices = WebCamTexture.devices;

if (devices.Length > 0)

{

webcam = new WebCamTexture(devices[0].name, 320, 240, 10);

webcam.Play();

}

// Update is called once per frame

void Update() {

}

// onClock event

public void OnClick () {

// カメラより画像をキャプチャ

Color32[] pixels = webcam.GetPixels32();

if (texture) Destroy(texture);

texture = new Texture2D(webcam.width, webcam.height);

texture.SetPixels32(pixels);

// Cognitive Services Emotion API をコール

StartCoroutine(WaitForRes());

}

// WWWクラスを使って Emotion API を呼び出す関数

IEnumerator WaitForRes()

{
// 画像をJPEGとして取り出す

Byte[] bytes = texture.EncodeToJPG();

// Emotion REST API

string url = "https://api.projectoxford.ai/emotion/v1.0/recognize";

// リクエストヘッダー
Dictionary header = new Dictionary();

header.Add("Content-Type", "application/octet-stream");

header.Add("Ocp-Apim-Subscription-Key", "自身のサブスクリプションキー");

// リクエストする

WWW www = new WWW(url, bytes, header);

// 非同期なのでレスポンスを待つ

yield return www;

// エラーじゃなければ解析結果のJSONを取得

if (www.error == null)

{

res.text = www.text;

}

次に続きます。

【Microsoft Azure】ついでにロックされたストレージのリソースをazure-cliで解放する

2016-07-04T10:06:00.004+09:00

これは消せなくなったストレージを消すための備忘録。

リースがロックされているBLOBを解放。

$ azure storage blob lease break -a ストレージアカウント名 -k "アクセスキー" コンテナ名 BLOB名

リソースがロックされているコンテナを解放。

$ azure storage container lease break -a ストレージアカウント名 -k "アクセスキー" コンテナ名

【Microsoft Azure】今更ながらクラシックな仮想マシンをリソースマネージャーへ移行 with azure-cli

2016-07-04T10:02:00.001+09:00

以前作った仮想マシンを、いい加減リソースマネージャーに移行しようと思い、今更ながらazure-cliでの手順をまとめてみましょう。

まず、方針はこんな感じ。

・リソースグループの作成
・リソースグループに新しいストレージアカウントとコンテナを作成
・クラシックなストレージから作成したストレージにVHDをコピー
・仮想ネットワーク、仮想NIC（セキュリティ）、パブリックIPを作成
・コピーしたVHDから仮想マシンを作成

まずは事前にログインして、該当するサブスクリプションをセットしておきます。

$ azure login

$ azure account list

$ azure account set サブスクリプションID

忘れずにARMモードにします。

$ azure config mode arm

リソースグループを東日本リージョンに作成します。

$ azure group create リソースグループ名 JapanEast

ストレージアカウントを追加して、コンテナを作成します。
とりあえずLRSで東日本リージョンに作ります。

$ azure storage account create --resource-group リソースグループ名 --sku-name LRS --location JapanEast --kind storage ストレージアカウント名

コンテナを作成するために、アクセスキーを確認します。
表示されたリストのkey1を使ってコンテナを作成します。
アクセスキーは念のため「"」で囲んでいます。

$ azure storage account keys list --resource-group リソースグループ名ストレージアカウント名

$ azure storage container create -a ストレージアカウント名 -k "アクセスキー" コンテナ名

既存の古いストレージからVHDをコピーします。

$ azure storage blob copy start -a 古いストレージアカウント名 -k "古いアクセスキー" --dest-account-name 新しいストレージアカウント名 --dest-account-key "新しいアクセスキー" "既存VHDのURI" コンテナ名

仮想ネットワーク、仮想ネットワークインターフェースなどを東日本リージョンに作成します。

$ azure network vnet create リソースグループ名仮想ネットワーク名 JapanEast

$ azure network vnet subnet create -a 10.0.0.0/24 リソースグループ名仮想ネットワーク名サブネット名

$ azure network public-ip create リソースグループ名パブリックIPアドレス名 JapanEast

$ azure network nsg create リソースグループ名セキュリティグループ名 JapanEast

$ azure network nic create --subnet-name サブネット名 --subnet-vnet-name 仮想ネットワーク名 --network-security-group-name セキュリティグループ名 --public-ip-name パブリックIPアドレス名リソースグループ名仮想NIC名 JapanEast

最後にVHDから仮想マシンを作成します。

$ azure vm create -d コピーしたVHDのURI --nic-name 仮想NIC名 --vnet-name 仮想ネットワーク名 --public-ip-name パブリックIPアドレス名リソースグループ名仮想マシン名 JapanEast Linux

といろいろやってみたところ、マイグレーションのツールがGAしたようで...
https://azure.microsoft.com/en-us/documentation/articles/virtual-machines-linux-cli-migration-classic-resource-manager/

【Deep Learning】白黒写真に自動的に色をつけるツールを実行してみよう

2016-06-04T13:27:00.000+09:00

ディープラーニングを用いて、白黒写真に自動的に色をつける技術が確立されたとのこと。
https://www.waseda.jp/culture/archives/news/2016/06/01/2299/

この発表と共に、その成果がgithubで公開されているので、手元のMacOSX El Capitanで動かしてみることにします。
環境がUbuntu14.0.4とありますが、無視してMacOSXでやっちゃいます。
（ほんとはラズパイでやりたかったのですが、ARMだとちょっと問題があってできてないです...）

なお、ライセンスがCreativeCommonsで非商用利用に限るようなので、そのつもりで。

このツールは、Torchをベースにluaで書かれています。
もしかして頑張ればFlashAirで動いたりして...

まずは準備として、libjpegとlibpngをソースから入れておきます。
当然、開発ツールは必須です。

$ tar zxvf jpegsrc.v8b.tar.gz

$ cd jpeg-8b/

$ ./configure

$ make

$ sudo make install

$ make clean

$ cd ..

$ tar zxvf libpng-1.6.21.tar.gz

$ cd libpng-1.6.21

$ ./configure

$ make

$ sudo make install

$ cd ..

次はTorchの導入です。動作に必要なluaも一緒に入ります。
インストールの間に、.bashrcにPATHを追加してくれるので、インストール終了後にsourceしてあげましょう。

$ git clone https://github.com/torch/distro.git ~/torch --recursive

$ cd ~/torch

$ bash install-deps

$ bash install.sh

$ source ~/.bashrc

MacOSXの場合は、.bash_profileに「~/torch/install/bin」へパスを通す設定を自分で追加してsourceしてください。

インストールが終わったら、「th」を実行するとTorchが動くはずです。

$ th

______ __ | Torch7

/_ __/__ ________/ / | Scientific computing for Lua.

/ / / _ \/ __/ __/ _ \ | Type ? for help

/_/ \___/_/ \__/_//_/ | https://github.com/torch

| http://torch.ch

th>

次は、luarocksを使って必要なモジュールの追加です。

$ luarocks install image

$ luarocks install nn

$ luarocks install nngraph

そして、色をつけるツールをインストール。

$ git clone https://github.com/satoshiiizuka/siggraph2016_colorization.git

$ cd siggraph2016_colorization

$ ./download_model.sh

適当な白黒画像で実践してみましょう。普通に変換できました。

$ th colorize.lua test.jpg test_color.jpg

【Microsoft Azure】Azure Container Service がGAしたので改めてやってみる

2016-04-22T13:58:00.001+09:00

試してみたらすぐにGA（一般供用開始）しましたね、ACS。
https://azure.microsoft.com/ja-jp/services/container-service/

ということで、ARMテンプレートを変更しなくても良くなったので、再度手順を確認しましょう。

ポータルからさくっと作れますので、スクリーンショットを交えて。
まずは「NEW」→「Containers」→「Azure Container Service」と選択。

文章を下の「Create」をどうぞ。

Dockerホスト（Ubuntu 14.04.4 LTSです！）のユーザー名、ログインのためのRSA公開鍵、サブスクリプション、リソース、ロケーションを入力して「OK」

オーケストレーションツールを「DC/OS（Mesos）」と「Swarm」から選んで「OK」
※今回はSwarmを選択してみた

ACSの設定です。
エージェント数（コンテナホストのVM数ですね）、エージェントの仮想マシンのサイズ（デフォルトはStandard_D2）、マスターの数（冗長構成なら3以上）、DNSプレフィックスを入力して「OK」

内容を確認して「OK」

料金などの注意事項を読んでから「Create」でACS構築開始

とにかく待つ

できあがる

「Resource Groups」からリソースを選び、デプロイ履歴を確認。
「Outputs」の中に、MASTERFQDN、SSHMASTER0（ssh接続時のコマンド）、AGENTFQDN（実際のWebアプリのURI）があるので確認。

SSHでつないで、dockerコマンドでプロセスを見る。

$ ssh xxx@xxxmgmt.japaneast.cloudapp.azure.com -A -p 2200

Welcome to Ubuntu 14.04.4 LTS (GNU/Linux 3.19.0-58-generic x86_64)

* Documentation: https://help.ubuntu.com/

System information as of Fri Apr 22 04:20:31 UTC 2016

System load: 0.43 Processes: 138

Usage of /: 5.7% of 28.80GB Users logged in: 0

Memory usage: 3% IP address for eth0: 172.16.0.5

Swap usage: 0% IP address for docker0: 172.17.0.1

Graph this data and manage this system at:

https://landscape.canonical.com/

Get cloud support with Ubuntu Advantage Cloud Guest:

http://www.ubuntu.com/business/services/cloud

$ docker ps

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES

0d9a7203292a yeasy/simple-web "/bin/sh -c 'python i" 26 seconds ago Up 24 seconds 0.0.0.0:32771->80/tcp xxx_web_1

822c18291112 swarm:1.1.0 "/swarm manage --repl" 11 minutes ago Up 9 minutes 0.0.0.0:2375->2375/tcp containers_swarm_1

618799d9ffee progrium/consul "/bin/start -server -" 11 minutes ago Up 9 minutes 0.0.0.0:8300-8302->8300-8302/tcp, 0.0.0.0:8400->8400/tcp, 53/tcp, 53/udp, 0.0.0.0:8500->8500/tcp, 0.0.0.0:8301-8302->8301-8302/udp containers_consul_1

以下の内容でdocker-compose.ymlを作成。

$ vi docker-compose.yml

web:

image: "yeasy/simple-web"

ports:

- "80"

restart: "always"

docker-composeコマンドでデプロイ。そしてスケール。

$ docker-compose up -d

xxx_web_1 is up-to-date

$ docker-compose scale web=5

Creating and starting 2 ... done

Creating and starting 3 ... done

Creating and starting 4 ... done

Creating and starting 5 ... done

$ docker ps

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES

3e30842b5e74 yeasy/simple-web "/bin/sh -c 'python i" 6 seconds ago Up 3 seconds 0.0.0.0:32774->80/tcp xxx_web_5

96776a5764b5 yeasy/simple-web "/bin/sh -c 'python i" 6 seconds ago Up 3 seconds 0.0.0.0:32773->80/tcp xxx_web_4

f858be340919 yeasy/simple-web "/bin/sh -c 'python i" 6 seconds ago Up 3 seconds 0.0.0.0:32775->80/tcp xxx_web_2

57943899efc4 yeasy/simple-web "/bin/sh -c 'python i" 6 seconds ago Up 4 seconds 0.0.0.0:32772->80/tcp xxx_web_3

0d9a7203292a yeasy/simple-web "/bin/sh -c 'python i" 51 seconds ago Up 49 seconds 0.0.0.0:32771->80/tcp xxx_web_1

822c18291112 swarm:1.1.0 "/swarm manage --repl" 11 minutes ago Up 9 minutes 0.0.0.0:2375->2375/tcp containers_swarm_1

~~気になる点は、仮想マシンのスケールセットのCapacityに変更がない（でも問題なくdockerでスケールできてる）ことでしょうか？~~
仮想マシンもスケールしてました。

これで気楽に（お金は気にしてねw）DockerでDevOpsに入門してねー。

追記：Webアプリに繋がらんのでちょっと調べてみなければ...

【Microsoft Azure】Azure Container Service の agent の数を増やしたい

2016-04-15T18:35:00.001+09:00

前回の投稿で設定したDockerコンテナですが、そのままではひとつ難点があります。
スケールする場合のエージェントの数が増やせないのです。

仮想マシンのスケールセット（以下VMSS）を利用しているので、本来であればポータルから変更したいところですが、今はまだできません。
VMSSについてはこちら。
https://azure.microsoft.com/ja-jp/documentation/articles/virtual-machine-scale-sets-windows-create/

見てる限りでは、VMSSのcapacityを変更できれば、Docker側から設定した数を上限にスケールできそうです。
今回はこれを変更するために、Azure Resource Explorer を使います。
https://resources.azure.com/

まずAzure Resource Explorerに、ポータルにログインしているブラウザでアクセスします。
このときに、右上の「Read/Write」をクリックして読み書き可能にする必要があります。

次は、左ペインのメニューを、
subscription→ACSのサブスクリプション→resourceGroups→ACSのリソース→Microsoft.Compute→virtualMachineScaleSets→該当するScaleSet
の順に選択します。

ScaleSetのリソースは、こんな感じで表示されます。

「EDIT」をクリックして、「sku」の中の「capacity」を1から3に変更します。
変更したら「PUT」を押します。

capacityが3に変更されました。

ポータルで見てみましょう。
「仮想マシンのスケールセット」を探してみましょう。
こんな風に3に変わっていると思います。

容量（capacity）が3になったので、docker-compose でスケールしてみましょう。

azureuser@xxx:~$ docker-compose scale web=3

Creating and starting 2 ... done

Creating and starting 3 ... done

azureuser@xxx:~$ docker ps

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES

242e38975a34 yeasy/simple-web "/bin/sh -c 'python i" 5 seconds ago Up 4 seconds 0.0.0.0:32770->80/tcp azureuser_web_3

e27e1035774c yeasy/simple-web "/bin/sh -c 'python i" 5 seconds ago Up 4 seconds 0.0.0.0:32769->80/tcp azureuser_web_2

ae8a0ea43b50 yeasy/simple-web "/bin/sh -c 'python i" 45 minutes ago Up 45 minutes 0.0.0.0:32768->80/tcp azureuser_web_1

5a161555c072 swarm:1.1.0 "/swarm manage --repl" About an hour ago Up About an hour 0.0.0.0:2375->2375/tcp containers_swarm_1

058236a13875 progrium/consul "/bin/start -server -" About an hour ago Up About an hour 0.0.0.0:8300-8302->8300-8302/tcp, 0.0.0.0:8400->8400/tcp, 53/tcp, 53/udp, 0.0.0.0:8500->8500/tcp, 0.0.0.0:8301-8302->8301-8302/udp containers_consul_1

前回の記事が1だったので、無事スケールできています。

【Microsoft Azure】Azure Container Service で Docker と向き合う

2016-04-15T17:57:00.001+09:00

いろいろあってDockerと向き合うことになったので、Azure でやるなら Azure Container Service（以下ACS）を使ってみようと。
https://azure.microsoft.com/ja-jp/services/container-service/

Apache Mesos または Docker Swarm のどちらかのオーケストレーションツールを使ってDockerコンテナを管理するっていうので、今回はDockerSwarmを選択。

構成などについては、こちらのドキュメントをまずは読んでください。
https://github.com/Azure/azure-quickstart-templates/blob/master/101-acs-swarm/docs/SwarmWalkthrough.md

ACSは、ポータルの「テンプレートからデプロイ」でARMテンプレートを使ってデプロイします。

こちらから「テンプレートのデプロイ」を選択します。

ACSのテンプレートはgithubで公開されています。
https://github.com/Azure/azure-quickstart-templates/tree/master/101-acs-swarm （これはDockerSwarmのもの）

実際に使うARMテンプレートはこちら。これを
https://raw.githubusercontent.com/Azure/azure-quickstart-templates/master/101-acs-swarm/azuredeploy.json

「テンプレートの編集」を選んで

ACSのARMテンプレートを貼り付けて保存します。

次に、パラメーターをセットします。
とりあえず、DNSNAMEPREFIX（FQDNにつける識別用プレフィックス）とSSHRSAPUBLICKEY（SSHでアクセスする際のRSA公開鍵）を入力して「OK」を押します。

リソースグループを選ぶなり作成するなりして、リージョンを決めます。
最後に、法律条項を確認して作成します。

デプロイが終わると、以下の2つのFQDNが決定します。

masterFQDN：{DNSNAMEPREFIX}mgmt.japaneast.cloudapp.azure.com
agentFQDN： {DNSNAMEPREFIX}agents.japaneast.cloudapp.azure.com

masterへのssh接続は、以下のようにします。公開鍵が登録されているので、秘密鍵のパスフレーズでログイン出来ます。

$ ssh azureuser@{DNSNAMEPREFIX}mgmt.japaneast.cloudapp.azure.com -A -p 2200

Are you sure you want to continue connecting (yes/no)? yes

Welcome to Ubuntu 14.04.4 LTS (GNU/Linux 3.19.0-58-generic x86_64)

* Documentation: https://help.ubuntu.com/

System information as of Fri Apr 15 08:28:32 UTC 2016

System load: 0.15 Memory usage: 1% Processes: 98

Usage of /: 5.7% of 28.80GB Swap usage: 0% Users logged in: 0

Graph this data and manage this system at:

https://landscape.canonical.com/

Get cloud support with Ubuntu Advantage Cloud Guest:

http://www.ubuntu.com/business/services/cloud

The programs included with the Ubuntu system are free software;

the exact distribution terms for each program are described in the

individual files in /usr/share/doc/*/copyright.

Ubuntu comes with ABSOLUTELY NO WARRANTY, to the extent permitted by

applicable law.

azureuser@xxx:~$ docker ps

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES

5a161555c072 swarm:1.1.0 "/swarm manage --repl" 10 minutes ago Up 8 minutes 0.0.0.0:2375->2375/tcp containers_swarm_1

058236a13875 progrium/consul "/bin/start -server -" 10 minutes ago Up 8 minutes 0.0.0.0:8300-8302->8300-8302/tcp, 0.0.0.0:8400->8400/tcp, 53/tcp, 53/udp, 0.0.0.0:8500->8500/tcp, 0.0.0.0:8301-8302->8301-8302/udp containers_consul_1

とりあえず動いています。
ここで簡単なWebアプリコンテナを動かしてみます。
以下の内容で、docker-compose.ymlというファイルを作成します。

web:

image: "yeasy/simple-web"

ports:

- "80"

restart: "always"

それから、docker-composeコマンドでコンテナをUPします。
docker ps コマンドで確認できます。

azureuser@xxx:~$ docker-compose up -d

Pulling web (yeasy/simple-web:latest)...

latest: Pulling from yeasy/simple-web

efd26ecc9548: Pull complete

a3ed95caeb02: Pull complete

d1784d73276e: Pull complete

72e581645fc3: Pull complete

9709ddcc4d24: Pull complete

2d600f0ec235: Pull complete

de1491f1bbd4: Pull complete

4becc568d2ff: Pull complete

6aeb62f4b3fa: Pull complete

77144c15ca8f: Pull complete

811db2e8b100: Pull complete

Digest: sha256:35e52520b8f98a092af6ce10c9fdd3ca6ca77f0b79f9d652c29bdd5d17c1c7aa

Status: Downloaded newer image for yeasy/simple-web:latest

Creating azureuser_web_1

azureuser@xxx:~$ docker ps

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES

ae8a0ea43b50 yeasy/simple-web "/bin/sh -c 'python i" 23 seconds ago Up 22 seconds 0.0.0.0:32768->80/tcp azureuser_web_1

5a161555c072 swarm:1.1.0 "/swarm manage --repl" 20 minutes ago Up 19 minutes 0.0.0.0:2375->2375/tcp containers_swarm_1

058236a13875 progrium/consul "/bin/start -server -" 20 minutes ago Up 19 minutes 0.0.0.0:8300-8302->8300-8302/tcp, 0.0.0.0:8400->8400/tcp, 53/tcp, 53/udp, 0.0.0.0:8500->8500/tcp, 0.0.0.0:8301-8302->8301-8302/udp containers_consul_1 containers_swarm_1

ブラウザから「{DNSNAMEPREFIX}agents.japaneast.cloudapp.azure.com」へアクセスするとWebアプリの画面が見えます。

Microsoft Azure Web Apps で LINE BOT を動かせ

2016-04-08T23:43:00.003+09:00

LINE BOT API のトライアル、みんな申し込んでますよね？
https://business.line.me/ja/products/4/introduction

もちろん、Azure Web Apps と PHP でやりますよ。
と思いましたが、みんなブログ書いてるので、WebApps固有のハマったポイントを。

プログラムを書くために参考にしたのは、このブログ。助かります。
http://qiita.com/srea/items/58ba0f7d870a6ee3da2a

で、まずは Server IP Whitelist に追加するIPアドレス。

Settings -> Properties の「OUTBOUND IP ADDRESSES」にあるIPアドレスを全部登録します。

もう一つは、リクエストに使うcurlの証明書エラー。こんな感じ。

SSL certificate problem: unable to get local issuer certificate

こいつは、以下のように今回は証明書の検証をしないようにします。

curl_setopt($curl_handle, CURLOPT_SSL_VERIFYPEER, false);

Ubuntu on Windows を試す

2016-04-07T10:26:00.001+09:00

Insider Preview 14316 で、Ubuntu on Windows が動きます。

まずは、Windowsの機能で「Windows Subsystem for Linux (Beta)」を有効にします。

一旦再起動します。

次はPowerShellで、「bash」と入力してEnter。
初回はストアから「Ubuntu on Windows」をダウンロードしてきます。
ダウンロードするとbashが使えます。

uname で見てみると、一応Linux 3.4.0 と表示されてます。