AnsibleでGCEロードバランシング

横浜のコワーキングスペース「タネマキ」での勉強会に
参加していますので、ぜひ。

タネマキGAE - connpass

「GAE」といいつつ、Google Cloud Platform, Python, Golangなどのもくもく会です。

GCEモジュールを使うことで、

• Instanceの生成
• network access制御
• persistant diskの利用
• load balancerの管理

を自動化できます。
さらに、
inventoryプラグインもあり、
生成したGCEinstanceの情報をAnsible dynamic inventoryに自動的に吸い上げ、
tagやプロパティでグループ化できます。

しかし、
使う際には、必要な認証や設定がいくつかある上に、ドキュメントの記述が複雑でわかりづらい部分もあるため、結構ハマります。
その辺りを回避できるように解説していきます。

まず、
AnsibleのGCEモジュールは、pythonのapache-libcloudモジュールに依存しているので、 pip installします。

$ pip install apache-libcloud

GCEモジュールのドキュメントには、
Playbookファイルなどのディレクトリ構成の記載がありません。
ベスト・プラクティスを見習うべきですが、
簡単に始めるには、以下のような構成で良いんじゃないかと思います。

~/gce_ansible/
 play.sh          # playbook実行シェルスクリプト
 master.yml       # master playbook
 credentials/     # 証明書管理Dir
    cacert.pem     # libcloud用 CA bundleファイル
    pkey.pem       # GCE用 証明書ファイル
    secrets.py     # 証明書指定ファイル
 inventory/       # inventory管理用Dir
    gce.ini        # GCE用設定ファイル
    gce.py         # GCE用モジュール
    hosts          # inventoryファイル
 vars/
    gce_auth.yml   # GCE認証情報変数
    instance.yml   # GCEinstance設定変数

以下、ディレクトリごとに解説します。

credentials | 証明書の取得

libcloud用 CA bundleファイル

Mac OS Xで利用している場合、libcloud用 CA bundleファイルが必要です。

cURL - Extract CA Certs

にアクセスし「HTTP from curl.haxx.se: cacert.pem」をダウンロードして、
前述ディレクトリの credentials に配置しましょう。

ちなみに、これが無いとplaybook実行時に以下のようなエラーが出ました。

RuntimeError: No CA Certificates were found in CA_CERTS_PATH.

GCE用 証明書ファイル

次に、GCEにアクセスするための証明書ファイルが必要です。

Google Developer Console

で、(Project名) > APIS&AUTH > 認証情報
を選択、OAuthの「新しいクライアントIDを作成」をクリックします。
「サービスアカウント」を選択してクライアントIDを作成しましょう。
完了画面にパスワード’notasecret’ が表示され、
自動的にp12形式証明書ファイルを取得できます。

完了画面を閉じた後「サービスアカウント」欄に追加されたメールアドレスは後で必要になります。

証明書をapache-libcloudで使うため、
以下のコマンドで、p12ファイルをpem形式(openSSL標準）に変換します。

$ openssl pkcs12 -in (p12ファイルパス).p12 -passin pass:notasecret -nodes -nocerts | openssl rsa -out ~/gce_ansible/credentials/pkey.pem

証明書指定ファイル(secrets.py)

GCE用証明書ファイルをansibleに認識させるため、
以下のようにpythonファイルを作成します。

GCE_PARAMS = ('i...@project.googleusercontent.com', '~/gce_ansible/credentials/pkey.pem')
GCE_KEYWORD_PARAMS = {'project': 'project-name'}

記載するのは、前述の「サービスアカウント」欄のメールアドレスと、pemファイルパス、対象のGCEプロジェクト名です。

inventory | 実行対象ホスト

ローカルホスト指定(hosts)

GCEのinstance生成は、ローカルPCから実行するので、
まずはlocalhostを設定します。

[localhost]
127.0.0.1

GCE Dynamic Inventory

Dynamic Inventoryという仕組みを使うと、
GCEで生成したinstanceのIPアドレスを自動で取得して、
inventoryとして判断してくれるようになります。

Ansibleが提供している GCE inventory plugin を使います。

Ansibleのgithubリポジトリの、
- plugins/inventory/gce.ini
- plugins/inventory/gce.py

を取得して、それぞれ

• inventory/gce.ini
• inventory/gce.py

に置きましょう。

gce.iniに、secrets.pyの絶対パスを指定します。例えば、

libcloud_secrets = /Users/shuhei/gce_ansible/credentials/secrets.py

動作確認

Dynamic Inventoryが正常に動作するかどうかを確認します。

$ cd ~/gce_ansible
$ export SSL_CERT_FILE=$HOME/gce_ansible/credentials/cacert.pem
$ ./inventory/gce.py --list

GCE上にすでにinstanceが動作している場合は、そのhostの情報がjsonで出力されるはずです。

また、以下のコマンドでさらに詳細な情報が出力されます。

$ cd ~/gce_ansible
$ export GCE_INI_PATH=$HOME/gce_ansible/inventory/gce.ini
$ ansible all -i inventory/gce.py -m setup
hostname | success >> {
  "ansible_facts": {
    "ansible_all_ipv4_addresses": [
      "x.x.x.x"
    ],
  ....
  }
}

master.yml | playbook本体

いよいよplaybookの作成です。

今回は、GCEのinstanceを生成するだけにしておきます。

master.yml

- name: Create new GCE instances
  hosts: localhost
  gather_facts: no
  vars_files:
    - "vars/instance.yml"
    - "vars/gce_auth.yml"
  tasks:
    - name: Launch instances
      local_action:
        module: gce
        instance_names: "{{ names }}"
        machine_type: "{{ type }}"
        image: "{{ image }}"
        zone: "{{ zone }}"
        service_account_email: "{{ service_account_email }}"
        pem_file: "{{ pem_file }}"
        project_id: "{{ project_id }}"
        tags: webserver

vars | 変数の管理

playbook内の二重波括弧 {{ … }} で囲っている部分は変数で、
var_files: として指定している以下の２ファイルに値を記載しています。

vars/gce_auth.yml

(credentials/secrets.py と内容がかぶってますが気にせず…)

service_account_email: i...@project.googleusercontent.com
pem_file: ~/gce_ansible/credentials/pkey.pem
project_id: project-name

vars/instance.yml

names: www1
type: f1-micro
image: debian-7
zone: us-central1-b

play.sh | playbook実行用シェルスクリプト

playbookを実行する前に、実行するためのシェルスクリプトを作成しておきます。

#!/bin/bash
PLAYBOOK="$1"

if [ -z $PLAYBOOK ]; then
  echo "You need to pass a playback as argument to this script."
  exit 1
fi

export GCE_INI_PATH=$(pwd)/inventory/gce.ini
export SSL_CERT_FILE=$(pwd)/credentials/cacert.pem
export ANSIBLE_HOST_KEY_CHECKING=False

if [ ! -f "$SSL_CERT_FILE" ]; then
  curl -O http://curl.haxx.se/ca/cacert.pem
fi

ansible-playbook -v -i inventory/ "$PLAYBOOK"

実行！

$ cd ~/gce_ansible
$ ./play.sh master.yml

PLAY [Create new GCE instances] ******************
...(略)...
PLAY RECAP ********************************************************************
127.0.0.1                  : ok=1    changed=1    unreachable=0    failed=0

実行後、ふたたび Google Developer Console にアクセスして
該当プロジェクトの

[Compute Engine] > [VMインスタンス]

を見ると、www1 という名前のinstanceが生成されているはずです。
ということで、今回はこの辺りでおしまいです。

次回は、Google Compute Engine(GCE)に生成したinstanceに
アプリケーションをセッティングしていく予定です。

このブログに関して不明点やご意見などはコメントをお願いします。
また、横浜のコワーキングスペース「タネマキ」での勉強会に
参加していますので、お気軽にお立ち寄りください。

タネマキGAE - connpass

Google App Engine, Google Compute Engine, Python, Golangなどの
もくもく勉強会です。

IT automation Framework

Ansibleは、
IT構成管理ツール、サーバプロビジョニングツールといったジャンルで、
複数のサーバを管理する作業を自動化するPython製の
Open-Source IT Automation Frameworkです。

シンプルさ、使いやすさを第一に開発が進められており、
セキュリティ、信頼性にも重きがおかれています。
設定ファイルなどはプログラミング言語に精通していない人にも
わかりやすい記述方式が採用されており、
システム監査にも有用とのこと。

エージェントレスのため、
管理対象のサーバサイドにミドルウェアをインストールする必要がなく、
気軽に始められます。

Getting Started

詳しくは、Installation – Ansible Documentationにありますが。

Install

Pythonのパッケージマネージャ pip が無い場合は、
予めインストールする必要があります。

$ sudo easy_install pip

pipでAnsibleをインストールします。

$ sudo easy_install pip

もし、Mac OSX Mavericks を使っている場合は、

$ sudo CFLAGS=-Qunused-arguments CPPFLAGS=-Qunused-arguments pip install ansible

インストールできたら、
リモートサーバに対してAnsibleを実行して
動作確認してみます。

管理対象のサーバを記述するファイルは inventory file といい、デフォルトでは

/etc/ansible/hosts

です。

管理対象サーバにSSHでログインできるようにしておくことが必要ですが、

192.168.1.50
aserver.example.org
bserver.example.org

といった記述で、IPアドレスやドメイン名で指定可能です。

では、
ansibleコマンドを使って対象サーバ上で”Hello Ansible”を出力して
動作確認します。
さくらVPSサーバに向けて実行してみました。

$ ansible all -a "echo Hello Ansible"
***.***.***.*** | success | rc=0 >>
Hello Ansible

成功です。
ということで、今回はこの辺りでおしまいです。

最近、個人的にGoogle Cloud Platformを利用した開発を進めているので、
次回からは、Google Compute Engine(GCE)を管理していこうと考えています。

このブログに関して不明点やご意見などはコメントをお願いします。
また、横浜のコワーキングスペース「タネマキ」での勉強会に
参加していますので、お気軽にお立ち寄りください。

タネマキGAE - connpass

Google App Engine, Google Compute Engine, Python, Golangなどの
もくもく勉強会です。

大きな流れとしては、
– time.struct_time型に変換
– timestampに変換
– datetimeに変換

1. time.struct_time型に変換

>>> from email.utils import parsedate
>>> parsedate('Sun, 16 Jun 2013 14:05:15 +0000')
(2013, 6, 16, 14, 5, 15, 0, 1, -1)

2. timestampに変換
struct_time型は、time.mktime() の引数にできるので、前述の戻り値を渡す。

>>> from email.utils import parsedate
>>> from time import mktime
>>> timestamp = mktime(parsedate('Sun, 16 Jun 2013 14:05:15 +0000'))

3. datetimeに変換
timestamp を fromtimestamp() に渡す。

>>> import datetime
>>> datetime.datetime.fromtimestamp(timestamp)
datetime.datetime(2013, 6, 16, 14, 5, 15)

Google App Engineのデータストアに格納する際に、
時刻フィールドを「DateTimeProperty」にしたかったので、
このような処理を施した。

実は、手順1. で parsedate()を使っているのは、
タイムゾーン表記「+0000」部分を無視している。
parsedate_tz() を使うと、タイムゾーンも取り込めるのだけど、
そのままでは、mktimeに渡せない。
うまくdatetimeに変換できる方法があれば、教えてもらいたい。m(_ _)m

伝習館さんは、青少年育成事業と地域づくり事業を進めているNPO法人。農業体験や自然探検キャンプなど開催されている。
イベントは歌舞伎町で開催されていた「農山村ふれあい市場」

10時から始まっていたけど、午前中は仕事で手間取っていて、結局13時ごろ到着。

お味噌を試食させてもらい、美味！！！
午前中のうちに野菜などは売り切れたとのこと。結構な人気。

魚沼といえばお米。

下は、今年（2010年）の米作りの様子。伝習館の皆さんで作っている。
秋の稲刈りにはボランティアを募集しているそう。おもしろいだろうな。

いよいよ苔玉。たしかにデカい安い！でも、大きさは写真じゃ分からないか。。。
で、１個お買い上げ。

持って帰って、事務所に飾りましたとさ。

苔玉買ったら、工芸品を頂いてしまった。ほんとにありがとうございます！

なにより、すがすがしい人たち。自然と触れ合うって心身にいいんだろうな。
次は魚沼で！

一番大変だったのは、フォークの取り付け。
ヘッドセットのサイズを間違えてることに気付かず、無理やり押し込んだ後に気付いたものの外れず、糸鋸で切断した。

次に大変だったのは、手組みしたホイール。
今度はスポークのサイズを誤り、一旦組み上げたもののテンションが無く、フヤフヤのホイールが完成。
正しいサイズのスポークでやり直し。

初めてのチューブラータイヤ装着。リムセメントで手がベトベトになった日曜日。

最初に買ったのは、Panasonicロードフレーム（TANGE No.2 クロモリ）とSUZUEの白いハブ。

ほとんどが中古パーツなので、かなり安上がり。（さすがにタイヤは新品）
しかし、工具をそろえたり、買いなおしたパーツもあるので、、、、

精悍な顔つき。

細かいパーツをどの順番に取り付けるか分からず、ずっと眺める日々が続いていたけど、
やっと判明したので、備忘のためにブログアップ。

まずは部品を見てもらおう。

これを説明書も無しに組み上げるのはムリでしょ。
しかし、シマノさんのWebサイトに、古いパーツの説明書は見あたらなかった。

いろいろググって見たら、クラシック自転車部品を扱うWebサイトを発見
http://17.pro.tok2.com/~ohtuka616/
Wレバーをたくさん扱っている中に、Shimano 600EX の分解写真があった。

それを参考にして、並べてみた。
中心にダウンチューブがあると想定して、内から外へこの順番に取り付ければ良い！

最初のパーツを取り付けた状態。ツメの部分がフロントフォーク側に向くように付けるベシ。

その他も順番に取り付けて、こんな感じ。

また一歩、完成に近づいた。

河川敷への入り口から見て右側はランドナー系、左側はピスト系のような雰囲気（勝手な印象）。
常連さんのお店は出店位置が毎回ほぼ同じで、早朝から場所取りが始まっている様子。

戦利品は、以下３点。
ドロップハンドル（SHIMANO 600ブレーキレバー＆ステムも付属）：2,000円
シートポスト（シルバー、径26.8mm）：500円
ボトルケージ（Cannondale）：300円

昨年買ったフレームに合わせるパーツを調達。
フレームを買った時は結構交渉して安くしてもらったけど、
今回はどれもマケてもらうほどの値段でもないので、言い値で購入。

陽射しが強くなってきて、寝不足に応えたので、9:30頃に退散。
2時間もよく歩き回ったなぁ。

その他、皆さん楽しまれたようで、読ませてもらったブログをリストアップさせてもらいます。

　関戸橋 – vic2 STAFF BLOG

　関戸橋フリーマーケット – my trend

サイクルキャップをハンドメイドされている方も京都から来て出店していたとは気づかなかった。
ちょうどサイクルキャップ欲しいと思っていたのに。
また次の機会に！

　関戸橋フリーマーケット – おやぢ。の楽園

　関戸橋に行ってきました – 皇帝の熊

2時間もいたから、商品の並びを見ると、どの区画のお店だったかも思い出せる（笑）

　関戸橋フリーマーケットに初めて行ってきた – Frog & Block

　「関戸橋 自転車フリーマーケット」が開催されました♪ – ホイーラーズ ブログ

　関戸橋フリマ　秋2010 – Macと自転車の日々

　関戸橋フリーマーケット2010 Fall – COSMIC CYCLING

　関戸橋フリマ２０１０秋 – ランドナーといつまでもbyパジャマ雄三
　関戸橋フリマ２０１０秋　部品の海 – ランドナーといつまでもbyパジャマ雄三
　関戸橋フリマ２０１０秋　マスプロ車とか – ランドナーといつまでもbyパジャマ雄三

また来年も期待。

ヤフオクでSHIMANO 600EXを見つけた時には、
目がハートマークになってたと思う。

このデザインに惚れて、奮発してしまった。

まずは、シフトレバー。

箱にArabesque Pattern（アラベスクパターン）と書いてある。暖かみのあるデザイン。
でも、細かいパーツが多くて、取り付け方法が分からない。調査中。

つぎに、フロントディレイラー

輝いている。

最後に、リアディレイラー

リアはサンツアーのパーフェクトフリー（５段）を持ってるけど合うかな？
何も分からぬままパーツを集めているので、やばい。

80年代のモデルらしく、今は売られていないんじゃないかな。貴重なパーツ。
大切にしていこう。

3Mさんのメカニカルファスナーで、ぺたり。
かなり薄いから、スタイリッシュ(だと思っている)

使うときはベリベリっと外す。
カード側のファスナーは、もっと大きめにしようと思う。
要改善点（というかツッコミどころ）多いが、気にしない。