知識過客

新一代LB - Traefik

2018-02-19T23:43:00.003-08:00

新一代LB - Traefik

Traefik突破以往我們對load balancer的觀點，他是一套直接與docker整合的load balancer套件... 透過Traefik，我們可以使用label的方式將後面啟動的docker instance掛載到loadbalancer中，且無需重新啟動Traefik，可直接生效...

Traefik基本介紹

Traefik是以動態重載新加入的docker instance的方式來替有附加相同domain label的dockerinstance建立網路附載平衡的關聯... 因此，設定上，與一般我們建立reverse proxy的過程剛好相反(一般我們會先建立服務，再建立reverse proxy將服務串連起來)...

Step1 - 建立Traefik服務

下面我們用官方的compose file來說明...

File: docker-compose.yaml

version: '2'

services:
  proxy:
    image: traefik
    command: --api --docker --docker.domain=docker.localhost --logLevel=DEBUG
    networks:
      - webgateway
    ports:
      - "80:80"
      - "8080:8080"
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
      - /dev/null:/traefik.toml

networks:
  webgateway:
    driver: bridge

其中traefik啟動時候，我們需要指定docker.domain來告訴taefik要聆聽的domain是哪一個，然後要事先開啟對應的port，讓外部服務可以連到traefik...，另外，我們將dockersocket掛載進來，這是必要的設定，讓traefik可以透過docker socket來操控一些東西...，最後，traefik.toml檔案，我們保留空的，讓treafik自己建立...

啟動：

docker-compose -f docker-compose.yaml up -d

Step2 - 建立你的服務並加入Traefik

接下來，我們可以啟動我們的服務(ex: 網站)，讓traefik掛載...

File: whoami.yaml

version: '2'

services:
  whoami:
    image: emilevauge/whoami
    networks:
      - web
    labels:
      - "traefik.backend=whoami"
      - "traefik.frontend.rule=Host:whoami.docker.localhost"

networks:
  web:
    external:
      name: traefik_webgateway

官方的說明是以whoami為例，他會顯示你連入的http協定與主機資訊...

上述的設定中，指定traefik的backend為whoami這個service，並且指定fontend rule為whoami.docker.local... 這個呼應traefik啟動時候所指定的domain，讓traefik可以知道該container instance要加入這個domain的路由群組...

啟動：

docker-compose -f whoami.yaml up -d

接下來你就可以用下面的方式測試

curl -H Host:whoami.docker.localhost http://127.0.0.1

這邊比較特別的是，traefik是透過domain的方式掛載你的服務，因此我們必須透過指定domain的方式來存取，如果使用curl，最快的就是加上Host header... 如果需要使用網路，那Mac的用戶建議修改/etc/hosts來對應whoami.docker.localhost到127.0.0.1... Windiws用戶可以參考相關設定。

官方文件中，另外還針對service做scale out，讓traefik可以round rabin的跑在scale出來的instance上，對於使用docker作為操控的開發者來說，真的相當方便唷！

Traefik透過LetsEncrypt啟用SSL

下面介紹以啟用SSL憑證到Traefik服務為主...

準備動作

建立自己的network，讓其他後續啟動的instance可以共用這個network...

docker network create web

建立docker-compose.yaml, traefik.toml, acme.json三個檔案... 該三個檔案需要在traefik啟動時候用到，下面會說明compose file跟toml檔案的內容... acme.json只要保持空的即可...

啟動Traefik

首先介紹Traefik的compose file，Traefik是透過掛載docker volume的方式來操控docker的實體，聆聽新加入的docker服務的相關資訊，再加上相關的load balancer設定來轉導相關的流量到指定的instance...

File: docker-compose.yaml

version: '2'
services:
  traefik:
    image: traefik
    restart: always
    ports:
      - 80:80
      - 443:443
    networks:
      - web
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
      - /opt/traefik/traefik.toml:/traefik.toml
      - /opt/traefik/acme.json:/acme.json
    container_name: traefik
networks:
  web:
    external: true

traefik.yaml是traefik的設定檔案，下面描述要開啟http, https的協定，並且聆聽label中domain為arecord.us的instance，將它掛載到traefik中...

File: traefik.toml

debug = true 
logLevel = "INFO"
defaultEntryPoints = ["https","http"]
[entryPoints]
  [entryPoints.http]
  address = ":80"
    [entryPoints.http.redirect]
    entryPoint = "https"
  [entryPoints.https]
  address = ":443"
  [entryPoints.https.tls]
[retry]
[docker]
endpoint = "unix:///var/run/docker.sock"
domain = "arecord.us" #掛載你的domain
watch = true
exposedbydefault = false
[acme]
email = "simonsu@arecord.us" #你的信箱
storage = "acme.json"
entryPoint = "https"
OnHostRule = true
[acme.httpChallenge]
entryPoint = "http"

啟動：

docker-compose -f docker-compose.yaml up -d

啟動後，除非有打開traefik的管理介面，不然目前瀏覽應該都是404的錯誤ㄛ...，我們再往下，啟動backend的服務後，才可以瀏覽...

啟動你的docker instance

接著，我們可以啟動我們自己的服務... 下面以nginx為例，希望將網站掛載到gcpdemo.arecord.us這個網域名稱上...

File: web.yaml

version: '2'
services:
  gcpdemo:
    image: nginx
    restart: always
    networks:
      - web
      - default
    labels:
      - "traefik.backend=gcpdemo"
      - "traefik.docker.network=web"
      - "traefik.frontend.rule=Host:gcpdemo.arecord.us"
      - "traefik.enable=true"
      - "traefik.default.protocol=http"
networks:
  web:
    external: true

上述的設定檔中，指定traefik要掛載名為gcpdemo的instance，並且使用web這個network...最重要的是frontend rule這段，是指定真實打到該主機外部IP的domain(因此我們還是需要到DNS server上指定一筆紀錄，讓gcpdemo.arecord.us這個domain可以對應到這台機器的實體ip)...

啟動：

docker-compose -f web.yaml up -d

啟動後，需要稍微等待traefik跟LetsEncrypt取回SSL憑證，接下來就可以直接使用https://gcpdemo.arecord.us 來瀏覽您的網站了！

參考

官方文件 - https://docs.traefik.io/
官方文件 - 設定Traefik SSL: https://docs.traefik.io/user-guide/docker-and-lets-encrypt/
本文同步刊登於Gitbook：https://peihsinsu.gitbooks.io/docker-note-book/content/xin-yi-dai-lb-traefik.html

Auto SSL - Using OpenResty

2018-02-19T23:41:00.000-08:00

Auto SSL

Auto SSL中，目前筆者有接觸過的是LetsEncrypt的服務，設定上可以搭配CertBot來做設定... 當然有更簡單的方式...

下面是Github上的公開專案，是基於OpenResty與Lua開發的工具，可以讓我們透過LetsEncrypt自動附加、更新SSL憑證，一切的一切，只需要把server啟動即可...

Step1 - 下載專案

由於該專案並未有太多其他附加的設定，我們可以直接下載該專案然後做修改，或是fork到自己的repo做其他開發...

$ git clone https://github.com/rmoriz/docker_openresty_autossl

Step2 - 建立自己的docker

待需要修改的部分完成，我們可以在本機將他build成docker image供後續使用...

$ cd docker_openresty_autossl
$ docker build -t autossl .

Step3 - 啟動docker

最後，我們只需要將該docker image啟動，即可同時有HTTPS與HTTP協定的入口...

$ docker run -d -p 80:80 -p 443:443 rmoriz/openresty_autossl

其中，由於openresty的設定檔與nginx的設定相同，我們可以參考nginx.conf然後修改掛載我們需要載入的virtual host相關設定，讓openresty可以Load Balance我們所要提供的服務。

注意事項

由於此模組會需要在公網上認證該Domain的設定，因此，我們必須要讓DNS可以指定到一個可以聯繫到該主機的地方... 換句話說... 如果想要用127.0.0.1測試就會有問題... 因為DNS反解後外部仍無法聯繫到該IP...

使用 minikube 輕鬆上手 kubernetes

2017-10-24T05:38:00.002-07:00

安裝minikube

macOS只需要透過brew即可快速安裝...

brew cask install minikube

Linux環境可以直接下載執行檔，放到環境變數可以吃到的路徑即可...

curl -Lo minikube https://storage.googleapis.com/minikube/releases/latest/minikube-linux-amd64 && \

chmod +x minikube && \
sudo mv minikube /usr/local/bin/

Windows的下載網址如下：

https://storage.googleapis.com/minikube/releases/latest/minikube-windows-amd64.exe

如果您的kubectl尚未安裝，可以直接使用google cloud sdk來安裝：

curl https://sdk.cloud.google.com | bash
gcloud components install kubectl

安裝完成後，原則上minikube會在本地端加入minikube的k8s context，我們可以透過下面指令來使用該context…

kubectl config use-context minikube

然後，可檢查一下您的minikube node是否正常運作....

$ kubectl get node -o wide
NAME STATUS AGE VERSION EXTERNAL-IP OS-IMAGE KERNEL-VERSION
minikube Ready 2d v1.7.5 Buildroot 2017.02 4.9.13

基本使用

由於這邊主要介紹minikube，先暫時不介紹kubernetes的概念與操作... 有需要可以先切換到kubernetes的基本篇來看看＾＾

在minikube中，有提供一些不錯的工具，可以供您操作minikube的環境... 我們可以用minikube help來檢視可以使用的指令...

$ minikube help
Minikube is a CLI tool that provisions and manages single-node Kubernetes clusters optimized for development workflows.

Usage:
minikube [command]

Available Commands:
addons           Modify minikube's kubernetes addons
completion       Outputs minikube shell completion for the given shell (bash)
config           Modify minikube config
dashboard        Opens/displays the kubernetes dashboard URL for your local cluster
delete           Deletes a local kubernetes cluster
docker-env       Sets up docker env variables; similar to '$(docker-machine env)'
get-k8s-versions Gets the list of available kubernetes versions available for minikube
ip               Retrieves the IP address of the running cluster
logs             Gets the logs of the running localkube instance, used for debugging minikube, not user code
mount            Mounts the specified directory into minikube
profile          Profile sets the current minikube profile
service          Gets the kubernetes URL(s) for the specified service in your local cluster
ssh              Log into or run a command on a machine with SSH; similar to 'docker-machine ssh'
ssh-key          Retrieve the ssh identity key path of the specified cluster
start            Starts a local kubernetes cluster
status           Gets the status of a local kubernetes cluster
stop             Stops a running local kubernetes cluster
update-context   Verify the IP address of the running cluster in kubeconfig.
version          Print the version of minikube

Flags:
     --alsologtostderr                  log to standard error as well as files
-b, --bootstrapper string              The name of the cluster bootstrapper that will set up the kubernetes cluster. (default "localkube")
     --log_backtrace_at traceLocation   when logging hits line file:N, emit a stack trace (default :0)
     --log_dir string                   If non-empty, write log files in this directory
     --loglevel int                     Log level (0 = DEBUG, 5 = FATAL) (default 1)
     --logtostderr                      log to standard error instead of files
-p, --profile string                   The name of the minikube VM being used.
This can be modified to allow for multiple minikube instances to be run independently (default "minikube")
     --stderrthreshold severity         logs at or above this threshold go to stderr (default 2)
-v, --v Level                          log level for V logs
     --vmodule moduleSpec               comma-separated list of pattern=N settings for file-filtered logging

Use "minikube [command] --help" for more information about a command.

啟動與關閉minikube

畢竟minikube會實際使用主機的資源，如果在不需要操作時候，可以透過stop將minikube關閉，當然，也可以start他...

$ minikube stop

Stopping local Kubernetes cluster...

Machine stopped.

$ minikube start

Starting local Kubernetes v1.7.5 cluster...

Starting VM...

Getting VM IP address...

Moving files into cluster...

Setting up certs...

Connecting to cluster...

Setting up kubeconfig...

Starting cluster components...

Kubectl is now configured to use the cluster.

確認minikube狀態

minikube啟動後，我們可以透過status來確認目前minikube的執行狀態，他也會同時顯示minikube所在的ip位置...

$ minikube status
minikube: Running
cluster: Running
kubectl: Correctly Configured: pointing to minikube-vm at 192.168.99.100

檢視minikube實際ip位置

minikube另外提供一個更簡單的指令來顯示ip位置，未來可以透過這個指令來結合一些自動化程式...

$ minikube ip
192.168.99.100

切入minikube所在的linux環境

由於minikube也是啟動在linux的環境上，所以minikube也提供了讓您連入minikube底層linux的指令...

$ minikube ssh
                        _             _
           _         _ ( )           ( )
___ ___ (_) ___ (_)| |/') _   _ | |_      __
/' _ ` _ `\| |/' _ `\| || , < ( ) ( )| '_`\ /'__`\
| ( ) ( ) || || ( ) || || |\`\ | (_) || |_) )( ___/
(_) (_) (_)(_)(_) (_)(_)(_) (_)`\___/'(_,__/'`\____)

連線minikube部署的服務

下面是我們透過簡單的k8s操作來建立起的服務，然後可以展示如何連線到minikube上的應用...

$ kubectl run nginx --image=nginx --port=80

deployment "nginx" created

$ kubectl get all

NAME READY STATUS RESTARTS AGE

po/nginx-1423793266-svb16 0/1 ContainerCreating 0 1m

NAME CLUSTER-IP EXTERNAL-IP PORT(S) AGE

svc/kubernetes 10.0.0.1 443/TCP 2d

NAME DESIRED CURRENT UP-TO-DATE AVAILABLE AGE

deploy/nginx 1 1 1 0 1m

NAME DESIRED CURRENT READY AGE

rs/nginx-1423793266 1 1 0 1m

$ kubectl expose deploy/nginx --type=NodePort

service "nginx" exposed

$ kubectl get all

NAME READY STATUS RESTARTS AGE

po/nginx-1423793266-svb16 1/1 Running 0 2m

NAME CLUSTER-IP EXTERNAL-IP PORT(S) AGE

svc/kubernetes 10.0.0.1 443/TCP 2d

svc/nginx 10.0.0.227 80:31659/TCP 1m

NAME DESIRED CURRENT UP-TO-DATE AVAILABLE AGE

deploy/nginx 1 1 1 1 2m

NAME DESIRED CURRENT READY AGE

rs/nginx-1423793266 1 1 1 2m

$ minikube service nginx --url

http://192.168.99.100:31659

上面的步驟中，主要是先建立nginx的deployment，然後透過export service來將nginx deployment的端口呈現在minikube的node上... 最後，我們可以透過minikube來show出該service最後binding在哪個位置...

如果您嚐試建立mysql的服務... 您會發現最後minikube service還是會用http來顯示連線資訊... 這部分是因為service連接layer 4的網路，在協定上有太多可能性.. minikube無法逐一判斷，因此用一個大家最熟悉也最可能的方式呈現，最主要的資訊其實是port，minikube已經很人性化了＾＾... 另外，如果沒有加上”--url”的參數，則minikube會直接使用browser開啟網頁，就可以直接瀏覽了ㄛ＾＾

開啟minikube的擴充套件

minikube提供addons來擴充minikube，我們可以使用minikube addons list來查看哪些addons可以使用... 然後把他enable或是disable...

開啟ingress服務

上面所介紹的簡單操作，最後minikube service nginx是以k8s service的部分顯示nginx可以連線的位置，由於minikube為單機服務，因此也沒有很需要使用真正的service(真正的service將會有特定的主機擔任traffic forwarding的任務，在開通的過程中，會需要通知該主機把port對應上所要導向的pod… 而在雲服務，service則會與layer 4 load balancer結合...)。而ingress因為為layer 7層的網路服務，其中包含load balancer的特殊功能，因此minikube特地把ingress放在addons list中，讓使用者可以快速的啟用他... 下面是檢視目前addons與啟用ingress的方式...

# minikube addons list

- addon-manager: enabled

- kube-dns: enabled

- heapster: enabled

- registry-creds: disabled

- dashboard: enabled

- default-storageclass: enabled

- ingress: enabled

- registry: disabled

# minikube addon enable ingress

啟用後，我們可以再次檢視是否已經完成啟用... 等待一切就緒，我們就可以建立一個ingress來試試...

首先，我們需要建立ingress的yaml檔案，以上面的nginx服務為例，我們以nginx service來建立80 port的服務對應... 把下面的檔案存成ingress.yaml

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
name: nginx
spec:
backend:
serviceName: nginx
servicePort: 80

儲存完成後，我們可以透過下面指令將ingress建立起來...

$ kubectl create -f ingress.yaml
ingress "nginx" created

接下來，我們需要等待一點時間，讓ingress取到可以用的ip位置...

$ kubectl get ingress
NAME HOSTS ADDRESS PORTS AGE
nginx * 192.168.99.100 80 4m

然後我們就可以直接連線 http://192.168.99.100 來測試了，沒問題的話，應該可以直接顯示nginx的歡迎畫面...

由於ingress有不少東西可以玩，這邊不贅述ingress的功能，留給大家試試ingress強大的功能＾＾

開啟heapster服務

heapster是kubernetes中負責蒐集k8s內container運作的相關資訊的服務，他通常會結合Grafana來做BI的查詢... 同ingress的啟用方式，我們也可以快速的將heapster addon啟動...

$ minikube addon enable heapster

接下來可以開啟heapster的UI… 這邊會直接開啟Grafana作為客製化報表查詢的地方...

$ minikube addon open heapster

如果想要知道heapster的連線資訊，也可以直接用minikube service來show出url位置，但因為heapster是屬於kube-system這個namespace，所以這邊就需要多指定namespace為kube-system…

$ minikube service monitoring-grafana -n kube-system --url
http://192.168.99.100:31644

參考

minikube github：https://github.com/kubernetes/minikube
minikube進階篇：https://github.com/kubernetes/minikube/blob/master/docs/README.md
關於addons：https://github.com/kubernetes/minikube/blob/master/docs/addons.md
如果還是想要service load balancer：https://github.com/kubernetes/contrib/tree/master/service-loadbalancer

使用Docker執行Percona XDB

2017-10-16T04:33:00.000-07:00

本篇介紹Percona XDB的Cluster架構，其中由於需要提供Cluster Member溝通，因此需要建立一層可以溝通的網路。在Docker中，我們可以用overlay network的方式提供集群溝通的管道。

docker network create cluster1_net

接下來有兩種方式可以建立所屬的cluster...
1. 透過join cluster name的方式
2. 透過etcd的discovery方式

Join Cluster Name

首先建立Master Node，並指定Cluster Name為cluster1... 在此我們指定master node的instance名稱為master，這樣有助於其他member在加入的時候可以使用該機器名稱識別cluster的位置...

docker run -d --name master -p 3306 \
 --net=cluster1_net \
 -e MYSQL_ROOT_PASSWORD=1234qwer \
 -e CLUSTER_NAME=cluster1 \
 -e XTRABACKUP_PASSWORD=1234qwer \
 percona/percona-xtradb-cluster

接下來可以啟動多台cluster member，只需要指定啟動參數中的CLUSTER_JOIN欄位為master(代表透過master的私有ip做認證)即可。

docker run -d -p 3306 --net=cluster1_net \
  -e MYSQL_ROOT_PASSWORD=1234qwer \
  -e CLUSTER_NAME=cluster1 \
  -e CLUSTER_JOIN=master \
  -e XTRABACKUP_PASSWORD=1234qwer \
  percona/percona-xtradb-cluster

接著可以分別登入master與後續啟動的member，分別建立資料，即可了解叢集是否正常運作...

使用etcd作為叢集discovery頻道

使用ETCD的方法，首先需要啟動ETCD，為了讓ETCD可以發佈到外部可以連線，我們將ETCD的IP指定為該docker環境的外部主機IP(即為你電腦的IP)...

export HostIP=172.26.8.38

然後可以設定第一台master啟動，啟動的參數中，我們指定HostIP作為docker啟動參數，讓啟動時所指定的參數可以由外部指定...

docker run -d -v /tmp:/etc/ssl/certs -p 4001:4001 -p 2380:2380 -p 2379:2379 \
 -e HostIP=172.26.8.38 \
 --name etcd quay.io/coreos/etcd:v2.3.8 \
 -name etcd0 \
 -advertise-client-urls http://$HostIP:2379,http://$HostIP:4001 \
 -listen-client-urls http://0.0.0.0:2379,http://0.0.0.0:4001 \
 -initial-advertise-peer-urls http://$HostIP:2380 \
 -listen-peer-urls http://0.0.0.0:2380 \
 -initial-cluster-token etcd-cluster-1 \
 -initial-cluster etcd0=http://$HostIP:2380 \
 -initial-cluster-state new

接下來可以啟動其他的member，這邊同樣需要指定discovery server(etcd)的ip，也就是啟動etcd時掛載到本機的HostIP...

docker run -d -p 3306 --net=cluster1_net \
  -e HostIP=$HostIP \
  -e MYSQL_ROOT_PASSWORD=1234qwer \
  -e CLUSTER_NAME=cluster1 \
  -e DISCOVERY_SERVICE=$HostIP:2379 \
  -e XTRABACKUP_PASSWORD=1234qwer \
  percona/percona-xtradb-cluster

如果啟動無誤，則可以用docker ps檢視一下這些啟動的DB的外部IP，然後連入測試一下＾＾

Reference

Percona in Docker: https://www.percona.com/blog/2016/06/10/percona-xtradb-cluster-in-a-multi-host-docker-network/
Etcd in Docker: https://coreos.com/etcd/docs/latest/v2/docker_guide.html

初探Puppet

2017-10-15T07:00:00.004-07:00

Puppet是常見的DevOps管理工具，他具備強大且成熟的管理功能，並且支援客製化module的載入，是DevOps不可或缺的好工具..

使用Puppet in Docker建置環境

首先建立puppet連線使用的network

docker network create puppet

將puppt執行在standalone mode

docker run --net puppet --name puppet --hostname puppet puppet/puppetserver-standalone

執行puppet agent...

$ docker run --net puppet puppet/puppet-agent-ubuntu
Info: Creating a new SSL key for f406170f87f3
Info: Caching certificate for ca
Info: csr_attributes file loading from /etc/puppetlabs/puppet/csr_attributes.yaml
Info: Creating a new SSL certificate request for f406170f87f3
Info: Certificate Request fingerprint (SHA256): 5E:11:85:D0:0E:7C:71:3F:2D:FB:C4:4C:39:DE:5F:CB:D4:14:BF:1A:47:0D:C8:4C:F0:87:7C:9B:44:FA:11:FB
Info: Caching certificate for f406170f87f3
Info: Caching certificate_revocation_list for ca
Info: Caching certificate for ca
Info: Using configured environment 'production'
Info: Retrieving pluginfacts
Info: Retrieving plugin
Info: Caching catalog for f406170f87f3
Info: Applying configuration version '1508051547'
Info: Creating state file /opt/puppetlabs/puppet/cache/state/state.yaml
Notice: Applied catalog in 0.01 seconds
Changes:
Events:
Resources:
           Total: 7
Time:
        Schedule: 0.00
  Config retrieval: 0.76
           Total: 0.76
        Last run: 1508051547
      Filebucket: 0.00
Version:
          Config: 1508051547
          Puppet: 5.2.0

上面的puppet的部分，會直接在機器上執行列出summary的指令，指令如下：

puppet agent \
--verbose \
--onetime \
--no-daemonize \
--summarize

為了進行一些互動，我們可以使用interactive mode執行agent

docker run -it --net puppet \
--entrypoint bash puppet/puppet-agent-ubuntu

接下來可以客製化agent連線的設定檔：

# sudo vim /etc/puppetlabs/puppet/puppet.conf

[main]
certname = ${client hostname}
server = puppet //server name
environment = production
runinterval = 2h

然後連線到agent端，透過"puppet agent"指令，即可啟動agent...，我們也可以強制把agent留在前景端，讓debug比較容易...

puppet agent --verbose --no-daemonize

範例一：為client增加一個檔案

接下來進入puppet server到/etc/puppetlabs/code/environments/production下，建立manifests/site.pp檔案，內容如下：

node default
{
   file
   {
       "/tmp/puppet_server.message":
       content => "Hello, Puppet Client!";
   }
}

然後，進入agent端，執行"puppet agent --test"，即可同步server端的設定

root@0fa0658f528b:/etc/puppetlabs/puppet# puppet agent --test
Info: Using configured environment 'production'
Info: Retrieving pluginfacts
Info: Retrieving plugin
Info: Caching catalog for 0fa0658f528b
Info: Applying configuration version '1508052730'
Notice: /Stage[main]/Main/Node[default]/File[/tmp/puppet_server.message]/ensure: defined content as '{md5}38febf090437aaf325733508da57a1cf'
Notice: Applied catalog in 0.02 seconds

同步完成後，可以檢查一下/tmp下，應該會出現"puppet_server.message"檔案，顯示Hello,Puppet Client!的內容...

root@0fa0658f528b:/etc/puppetlabs/puppet# ls -l /tmp/
total 4
-rw-r--r-- 1 root root 21 Oct 15 07:32 puppet_server.message

範例二：自建module來安裝Apache HTTPD

我們先建立apache module的目錄(/etc/puppetlabs/code/modules/apache)，然後在該目錄下建立manifest與files資料夾... 然後到 /etc/puppetlabs/code/modules/apache/manifest下依序建立下面的設定檔...

── manifests
   ├── init.pp
   ├── install.pp
   ├── config.pp
   ├── service.pp

manitests/init.pp 是預設被讀取的檔案，通常用來定義變數、引用 class

class apache (
String $package_name      = 'apache2',
String $package_ensure    = 'installed',
String $service_name      = 'apache2',
String $service_ensure    = 'running',
String $default_site_conf = '/etc/apache2/sites-enabled/default.conf',
String $run_user          = 'www-data',
){
contain apache::install
contain apache::config
contain apache::service

Class['::apache::install']
-> Class['::apache::config']
~> Class['::apache::service']
}

manitests/install.pp 用來定義如何安裝 package

class apache::install inherits apache {
package { $apache::package_name:
ensure => $apache::package_ensure
}
}

manitests/service.pp 用來處理服務

class apache::service inherits apache {
service {
   $apache::service_name:
   ensure => $apache::service_ensure,
   # subscribe => Package['apache'],
   require => Class['apache::install']
}
}

manitests/config.pp 用來處理設定檔

class apache::config inherits apache {
file { $apache::default_site_conf:
   ensure => file,
   owner => $apache::run_user,
   source => "puppet:///modules/${module_name}/default.conf"
}
}

files/default.conf 來描述apache的執行設定...

Timeout 60
KeepAlive On
MaxKeepAliveRequests 100
KeepAliveTimeout 5
UseCanonicalName Off
AccessFileName .htaccess
ServerTokens Full
ServerSignature Off
HostnameLookups Off

RequestReadTimeout header=20-40,MinRate=500 body=20,MinRate=500

設定完成後，我們可以到agent的所在機器執行同步... 如果一切無誤，則client端會透過agent開始安裝與設定apache...

$ puppet agent --test
Info: Using configured environment 'production'
Info: Retrieving pluginfacts
Info: Retrieving plugin
Info: Caching catalog for 0fa0658f528b
Info: Applying configuration version '1508075447'
Notice: /Stage[main]/Apache::Install/Package[apache2]/ensure: created
Notice: /Stage[main]/Apache::Config/File[/etc/apache2/sites-enabled/default.conf]/ensure: defined content as '{md5}0c72defe6a4e5486dffb8b38026bb3bf'
Info: Class[Apache::Config]: Scheduling refresh of Class[Apache::Service]
Info: Class[Apache::Service]: Scheduling refresh of Service[apache2]
Notice: /Stage[main]/Apache::Service/Service[apache2]/ensure: ensure changed 'stopped' to 'running'
Info: /Stage[main]/Apache::Service/Service[apache2]: Unscheduling refresh on Service[apache2]
Notice: Applied catalog in 261.30 seconds

參考網址

Puppet in Docker: https://github.com/puppetlabs/puppet-in-docker

Puppet manage guide: https://shazi7804.gitbooks.io/puppet-manage-guide/

使用GCP Cloud Builder建置CI/CD Flow

2017-09-28T08:17:00.000-07:00

服務的建置通常是持續性的作業，而部署則一般是專案初期建置一次，未來可以沿用該部署設定... 這樣的流程走向自動化，在Container的環境又更是重要... 本篇介紹一下，在Google雲端，我們可以搭配Source Repository與Build Trigger等服務來完成服務的自動建置與部屬，讓封裝Container與部署到Container Engine的動作可以一氣呵成...

首先幾單瞭解一下一個Container Engine服務的建置與部屬過程...

使先，建立Container Engine Cluster，透過GCP Winzard可以很快速地開立您的GKE Cluster…

假設您的cluster是叫做demo-cluster，則可以透過下面的指令來跟GKE建立連線

$ gcloud container clusters get-credentials demo-cluster --zone asia-east1-a

這串指令不用記ㄛ～可以在Cluster的頁面找到他...

點選複製，即可貼到您的Terminal執行...

跟GKE建立鏈結後，接下來可以部署您的城市，這邊我們以我的一個範例程式Demoweb (https://github.com/peihsinsu/demoweb) 為例，

這個專案中，包含幾個重要結構：

app/ : 放置您的程式，在Dockerfile中會將該資料匣複製到Docker Image中
k8s/ : 放置k8s的deployment與service描述檔
Dockerfile : 封裝docker的描述檔，會以node.js的image為基礎來建置執行環境
cloudbuild.yaml : Google Cloud Build Trigger的步驟描述檔

建置的流程大致描述如下：

當程式碼push至github後，會觸發hook(由source repository建立的)到GCP source repository
Source repository更版後，會觸發Cloud Build Trigger來執行cloudbuild.yaml裡面的設定步驟
cloudbuild.yaml步驟一：建置image，並上傳到gcr.io registry
cloudbuild.yaml步驟二：觸發GKE上的版本更新

下面針對整個建置步驟描述...

Step1: 建立GCP對應的Source Repository

由於我們想要直接連動Github上的Repo，這邊選擇Github的Source Code Repo位置...

Step2: 建立Build Trigger，在這邊選擇複製自Github的Cloud Source Repository

然後選擇要建置的Cloud Repository (有filter還滿貼心的^^)

設定Build參數，指定使用自建的cloudbuild.yaml檔案來建置... 另外，Trigger Type部分，選擇Tag Build，並設定Tag Pattern為”v.*”，來聆聽符合該Tag形式的Build動作。

設定的部分就這樣，頗簡單吧... 接下來可以驗證一下設定是否正確...

剛設定的部分是只針對您的專案建立”v”開頭的tag，即可觸發建置及部署的動作，我們可以實際tag一個v開頭的tag版本，然後可以在Build History中看到建置的過程紀錄與狀態...

git tag v20170928.001
git push origin v20170928.001

檢視一下Build History...

如果一切無誤，可以在Status欄位看到Successful… 如果失敗，也沒關係，看一下每個步驟的log，確認一下失敗原因，排除後可以rebuild看看 :D

參考：

Cloud Builder的工具Image: https://github.com/GoogleCloudPlatform/cloud-builders
Cloud Builder進階建置文件：https://cloud.google.com/container-builder/docs/concepts/custom-build-steps

使用Cloud Registry - gcr.io來儲存您的docker image

2017-09-03T06:56:00.002-07:00

Google提供每一個Cloud專案一個專屬的gcr.io registry作為docker image的存放地，透過gcr.io可以無限存放您的image，並且有提供簡單的查詢介面供使用者檢視所儲存的image與相關tag… 近一步使用將可透過與其他服務的串連，達到更多樣化的應用～

從使用流程了解gcr.io

在使用前，我們先來檢視gcr.io的使用流程

Step 1 - 幫你的image製作tag

docker tag [your-image] gcr.io/[your-project-id]/[your-image-name]

Step 2 - Push image到gcr.io

gcloud docker - push gcr.io/[your-project-id]/[your-image-name]

下面實際使用一個Dockerfile來作為範例，存放到gcr.io上...

首先，透過node.js的express套件來建立專案... [參考: https://expressjs.com/en/starter/installing.html]

$ mkdir myproject && cd myproject && express -e web
warning: option `--ejs' has been renamed to `--view=ejs'
  create : web
  create : web/package.json
  create : web/app.js
  create : web/public
  create : web/public/javascripts
│ │ ├── destroy@1.0.4
  create : web/public/images
  create : web/public/stylesheets
  create : web/public/stylesheets/style.css
  create : web/routes
  create : web/routes/index.js
  create : web/routes/users.js
  create : web/views
  create : web/views/index.ejs
  create : web/views/error.ejs
  create : web/bin
  create : web/bin/www

  install dependencies:
    $ cd web && npm install

  run the app:
    $ DEBUG=web:* npm start

接下來我們在myproject下面建立Dockerfile檔案

From node

ADD web /app
WORKDIR /app
RUN npm install

CMD ["npm","start"]

然後開始build這個Dockerfile，過程中docker會將Dockerfile中每一行建置成image中的一個layer，如果一切沒問題，則會在系統中新增一個”myweb”的image...

$ docker build -t myweb .
Sending build context to Docker daemon 16.9 kB
Step 1 : FROM node
latest: Pulling from library/node
ad74af05f5a2: Pull complete
2b032b8bbe8b: Pull complete
a9a5b35f6ead: Pull complete
49fb60496f63: Pull complete
3894583bc464: Pull complete
321f9e1d7334: Pull complete
cdf9ffbab3ff: Pull complete
a76a49ec92c8: Pull complete
Digest: sha256:0adc410aa5e45b817bc8f29d5845c4941ad03b63e9584bc7f8654562e60424cf
Status: Downloaded newer image for node:latest
---> 60bea5b86079
Step 2 : ADD web /app
---> c2db2b5f5fd9
Removing intermediate container 287af85ca8f5
Step 3 : WORKDIR /app
---> Running in 415faf475d84
---> 0ff5af512bc8
Removing intermediate container 415faf475d84
Step 4 : RUN npm install
---> Running in af9958080502
npm info it worked if it ends with ok
npm info using npm@5.3.0
...
npm info lifecycle undefined~postshrinkwrap: undefined
added 63 packages in 14.524s
npm info ok
---> b002146466c3
Removing intermediate container af9958080502
Step 5 : CMD npm start
---> Running in ebb282a74539
---> 19057465c4c6
Removing intermediate container ebb282a74539
Successfully built 19057465c4c6

我們可以透過”docker images”來查詢新的image是否建置完成...

假設一切無誤，接著，我們可以透過上面所說的兩個步驟來將image存放至gcr.io…

$ docker tag myweb gcr.io/mitac-simonsu-2017/myweb
$ gcloud docker -- push gcr.io/mitac-simonsu-2017/myweb
The push refers to a repository [gcr.io/mitac-simonsu-2017/myweb]
5953068074de: Pushing [==================================================>] 4.235 MB
4a296490096d: Pushed
…(skip)

2c40c66f7667: Pushed

latest: digest: sha256:394c8ef825ad3a1aa...39b27ae61e8cd38d500cf size: 2425

當push完成，我們可以檢視一下目前image的狀況...

首先確認一下是否image已經上傳...

image list 指令

gcloud container images list

執行範例

$ gcloud container images list

NAME

gcr.io/mitac-simonsu-2017/demo

gcr.io/mitac-simonsu-2017/demoweb

gcr.io/mitac-simonsu-2017/jenkins-slave

gcr.io/mitac-simonsu-2017/mytest

gcr.io/mitac-simonsu-2017/myweb

gcr.io/mitac-simonsu-2017/peihsinsu

gcr.io/mitac-simonsu-2017/web2

Only listing images in gcr.io/mitac-simonsu-2017. Use --repository to list images in other repositories.

如果上傳無誤，則可以透過list-tags來檢視該image下是否有其他tag存在

list-tags指令

gloud container images list-tags gcr.io/[project-id]/[image-name]

執行範例

$ gcloud container images list-tags gcr.io/mitac-simonsu-2017/myweb

DIGEST TAGS TIMESTAMP

394c8ef825ad latest 2017-09-03T19:43:57

要使用該image的話，如果是GKE環境，則可以直接使用，如果是透過docker或外部環境，則可以透過gcloud來認證docker，讓docker具備gcr.io的存取權限。

docker login -u oauth2accesstoken \

-p "$(gcloud auth application-default print-access-token)" \

https://gcr.io

參考

使用gcloud認證docker指令: https://cloud.google.com/container-registry/docs/advanced-authentication

Using docker slave with Jenkins

2017-09-03T04:13:00.000-07:00

Jenkins是一套常用的CICD管理工具，在Container的世界中，要透過Container來操作Jenkins將讓Jenkins變得更方便... 下面是以docker模式啟動常駐型的jenkins slave的方式...

首先，我們先透過Jenkins的管理介面來建立新永久節點，這邊要選擇”Permanent Agent”部分

接著設定該常駐節點的細部設定，包含執行程式數量與目錄等...

設定完後(test-slave)，該節點暫時會在無法服務的狀態，我們直接在該slave的名稱上點選進入節點的設定畫面...

再詳細設定畫面中，我們可以看到該slave的secret資訊與agent的名稱，這部分可以用來當作之後我們啟動slave的參數...

有了agent的名稱與參數，我們可以透過下面指令啟動slave，然後提供jenkins使用...

docker run jenkinsci/jnlp-slave -url http://jenkins-server:port

ex:
docker run -d jenkinsci/jnlp-slave \
-url http://104.199.165.255:8080 \
1fe32ff0841d49cf324748d50e08257e79f9cbdf3c3f673ffa780e4f6ddf2a32 \
test-slave

參考：https://github.com/jenkinsci/docker-jnlp-slave

查詢使用某個image的instances

2016-08-30T19:47:00.002-07:00

在Docker中，要查詢所有process很簡單，docker ps就會返回所有執行中的列表，也可以加上-a參數來show所有不管關閉或開啟的機器列表... 而如果希望找到由某個image開起來的instances，可以透過filter + ancestor來做到...

docker ps -f ancestor=[image_name]

範例：

docker ps -f ancestor=registry:2
CONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS              PORTS                    NAMES
54689a3084a4        registry:2          "/bin/registry /etc/d"   6 weeks ago         Up 13 hours         0.0.0.0:80->5000/tcp     registry
0bcb6beac991        registry:2          "/bin/registry /etc/d"   7 weeks ago         Up 13 hours         0.0.0.0:5000->5000/tcp   mwciotdemo_registry_1

搭配filter也可以透過label的方式來查詢...

幫啟動的instance加上label...

# docker run -d -l mynginx nginx
Unable to find image 'nginx:latest' locally
latest: Pulling from library/nginx
357ea8c3d80b: Pull complete
0fc04568277e: Pull complete
0bed9719ddcb: Pull complete
Digest: sha256:d33834dd25d330da75dccd8add3ae2c9d7b12302b421b02cecb6cb7b34a1b6
Status: Downloaded newer image for nginx:latest
09386387d9f0681935e01ff058023956cd8c61234344f60e8f4c4aedaaad853

透過filter以label的方式來找尋執行中的個體...

# docker ps -f label=mynginx
CONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS              PORTS               NAMES
09386387d9f0        nginx               "nginx -g 'daemon off"   17 seconds ago      Up 17 seconds       80/tcp, 443/tcp     determined_swirles

以上，搭配filter來做查詢可以減少很多處理上的麻煩，推薦大家善用filter唷～

網路監測工具

2016-08-29T18:24:00.002-07:00

之前用過vnstat... 不過，看起來好多可以用的唷～有興趣可以參考：

http://www.binarytides.com/linux-commands-monitor-network/

使用CloudFlare來加上SSL

2016-06-30T02:01:00.003-07:00

如果您在建置docker registry的過程中，常因為沒有HTTPS而要去設定client端的docker啟動方式，那這招一定要學一下！

下面使用apache htpasswd的認證方式，然後透過80 port不加上ssl key，由CloudFlare來提供SSL憑證，這樣Client端就不會在操作的時候報錯，

Setting CloudFlare

Enable Flexible SSL

在Crypto > SSL頁面，我們可以設定SSL成為Flexible，這樣的設定可以直接針對80 port的非SSL頁面加上SSL的功能，操作畫面如下：

Enable CDN

接下來需要設定Record並啟動CDN的功能，也就是把Status的雲點一下，他會呈現流量過雲的圖示，這樣就可以直接Enable CDN，接下來ping這個domain name的話，IP就會先繞到CloudFlare。

Create the htpasswd file

接下來的動作跟前面介紹差不多，首先先準備您的密碼檔... 指令如下：

docker run --entrypoint htpasswd registry:2 -Bbn [username] [password] >> /data/registry-auth/htpasswd

Run registry

接下來可以透過docker啟動你的registry... 下面的compose file的volumes部分將會直接載入上面所產生的htpasswd檔案，作為認證資料庫... 另外，registry-data是未來存放image的實際位置，透過這個設定可以讓下次重新啟動的image不會遺失資料...

docker-compose.yml:

registry:
  restart: always
  image: registry:2
  ports:
    - 80:5000
  environment:
    - "REGISTRY_AUTH=htpasswd"
    - "REGISTRY_AUTH_HTPASSWD_REALM=Registry Realm"
    - "REGISTRY_AUTH_HTPASSWD_PATH=/auth/htpasswd"
  volumes:
    - /data/registry-data:/var/lib/registry
    - /data/registry-auth:/auth

啟動（移到跟上面檔案同個目錄下，在執行下面指令）：

docker-compose up -d

Login your registry

在client端註冊您的client可以登入該registry...

docker login [your.domain.name]
docker tag [your-image-name] [your.domain.name]/[your-image-name]
docker push [your.domain.name]/[your-image-name]

Docker Image空間上的巧思

2016-02-26T02:26:00.003-08:00

Docker Image空間上的巧思

Docker image在儲存時候也是以layer的方式儲存，因此在每個RUN都可以完整的保存中間的紀錄，但是往往也造成其他問題... 例如image空間非常巨大... From一個大的Image通常只會更大，小不下來...

例如：

From centos

RUN wget http://xxxx.xxxx/xxx.data #假設這裡有5G

RUN rm xxx.data #本來以為會把5G刪掉

在上面的build file中，通常image build起來還會是5G...

下面是網路上找到可以Flatten Image的方式，透過簡單的export/import就可以讓之間的空間巧妙的縮減下來唷：

docker export  | docker import - some-image-name:latest

如果要完整地把Image在建置時候就最小化，可以修改dockerfile：

From centos

RUN wget http://xxxx.xxxx/xxx.data &&\
    rm xxx.data

在一個RUN下面只會有一次的commit，就會有效的縮小image的空間唷～

lsync - 簡單操作的Linux同步服務

2015-10-21T08:56:00.001-07:00

lsync - 簡單操作的Linux同步服務

lsync是一個可以基於rsync傳輸的同步服務，他的好處是可以透過一個簡單的設定檔，即可完成自動化同步作業，讓管理上非常簡單。這邊簡單的以AWS與Google Cloud的兩台雲端主機進行同步作業：

Remote: 54.172.25.83 (AWS US-East/N.Virginia)
Local: 130.211.248.60 (GCE asia-east1-c)

安裝lsync

Debian系列：

apt-get update
apt-get install git -y
apt-get install cmake -y
apt-get install build-essential -y 
apt-get install lua5.2
apt-get install liblua5.2-dev -y
git clone https://github.com/axkibe/lsyncd.git
cd lsyncd
cmake -DCMAKE_INSTALL_PREFIX=/usr/local/lsyncd-2.1.5
make && make install

CentOS系列需要自行下載rpm安裝，可以參考附錄的文件：

執行範例

範例設定檔，在這邊是使用rsync的方式作為傳輸方法～

settings {
    logfile ="/usr/local/lsyncd-2.1.5/var/lsyncd.log",
    statusFile ="/usr/local/lsyncd-2.1.5/var/lsyncd.status",
    inotifyMode = "CloseWrite",
    maxProcesses = 8,
    }

sync {
    default.rsync,
    source    = "/var/www/html",
    target    = "ec2-user@54.172.25.83:/home/ec2-user/backup",
    maxDelays = 5,
    delay = 30,
    rsync     = {
        binary = "/usr/bin/rsync",
        archive = true,
        compress = true,
        bwlimit   = 2000
        }
    }

其他需要設定的地方包含：

建立SSH Key，並且同步到遠端主機
使用此SSH Key登入一次

執行設定：

# /usr/local/lsyncd-2.1.5/bin/lsyncd -log all\
    /usr/local/lsyncd-2.1.5/etc/lsyncd.conf

參考

Github: https://github.com/axkibe/lsyncd
中文文獻: http://seanlook.com/2015/05/06/lsyncd-synchronize-realtime/
My Git: https://github.com/qeek-dockerfiles/lsyncd

Test upload常用的兩個方法

2015-10-12T19:16:00.004-07:00

常常忘記，還是寫下來好了...

Step1: Configure your upload

Reference: https://github.com/expressjs/multer

Step2: Make a route for receive upload

router.post('/uploadtest', function(req, res, next) {
res.end('done...');
});

Step3: Testing

Upload using curl:

curl -F "image=@/Users/peihsinsu/Pictures/pic2.png" http://localhost:3000/uploadtest -X POST

Upload using upload form:

<form method="post" action="/uploadtest" name="submit" enctype="multipart/form-data">
<input type="file" name="fileField"><br /><br />
<input type="submit" name="submit" value="Submit">
</form>

電子郵件夾錢～這是什麼概念啊！！

2015-09-03T19:35:00.001-07:00

偶然中發現，Gmail可以夾錢給收件人唷！這概念還真不賴... 哪時候有人夾錢給我呢＠＠

You've been added as a contact on Cotap

2015-08-12T05:54:00.001-07:00

Cotap is a secure texting app for teams.

View the Blogger directory.

Get Started

Are you using WhatsApp, GroupMe, or iMessage to text your coworkers? See why Cotap is better for work.

CloudFlare改頭換面！

2015-05-04T07:31:00.000-07:00

最近流行換新裝？！ Cloudflare改頭換面啦 :D

docker mysql image encoding change to utf8

2015-04-10T21:19:00.000-07:00

最近在使用docker的mysql image掛載mysql db時候

發現server的語系都是在latin1的狀態

而mysql image又不允許直接把my.cnf換掉...

但是可以overwrite /etc/mysql/conf.d這個資料匣

來重寫mysqld的語系設定...

這是原始資料庫啟動後透過"\s"來查看server狀態

# mysql -h123.123.123.123 -uroot -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 3
Server version: 5.5.42 MySQL Community Server (GPL)
Copyright (c) 2000, 2014, Oracle and/or its affiliates. All rights reserved.
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
mysql> \s
--------------
mysql Ver 14.14 Distrib 5.5.41, for debian-linux-gnu (x86_64) using readline 6.2
Connection id: 3
Current database:
Current user: root@123.123.123.123
SSL: Not in use
Current pager: stdout
Using outfile: ''
Using delimiter: ;
Server version: 5.5.42 MySQL Community Server (GPL)
Protocol version: 10
Connection: 211.78.245.67 via TCP/IP
Server characterset: latin1
Db characterset: latin1
Client characterset: latin1
Conn. characterset: latin1
TCP port: 3306
Uptime: 49 sec
Threads: 3 Questions: 25 Slow queries: 0 Opens: 33 Flush tables: 1 Open tables: 26 Queries per second avg: 0.510
--------------
mysql>

我們建立一個docker.cnf檔案如下

# cat docker.cnf
[mysqld]
user = mysql
datadir = /var/lib/mysql
collation-server = utf8_unicode_ci
init-connect='SET NAMES utf8'
character-set-server = utf8

我的啟動command:

docker run --name mydb -p 3306:3306 -v /root/mysql-data:/var/lib/mysql \

-v /root/mysql-config:/etc/mysql/conf.d \

-e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.5

接著應該就可以在登入mysql後透過"\s"看到語系部分已經是utf8

Server characterset: utf8
Db characterset: utf8
Client characterset: utf8
Conn. characterset: utf8

PS: 關於client部分，需要在[client]部分使用，也就是連線的那端要改my.cnf來使用utf8連線...

簡單的SSHFS mount...

2015-03-27T06:48:00.001-07:00

前陣子看到nixCcraft所PO的SSHFS文章，一直想找機會試試看

今天有機會來玩一下 :D

Debian上還滿簡單，只要直接安裝即可：

sudo apt-get install sshfs -y

CentOS上，如果安裝時找不到套件，可以先安裝epel-release後再進行安裝

sudo yum install epel-release -y
sudo yum install fuse-sshfs -y

接著，就可以操作mount的動作

實際測試一下速度 - sshfs建立100M檔案：

與自己本身建立100M檔案：

與iscsi比較一下

上述測試是在Google Cloud上主機上進行

100M的檔案在2s左右完成傳輸，實際上效能還不錯

但跟local比契還來是慢了近20倍

以方便性而言sshfs的確方便

但是考慮效能的應用程式，還是需要好好考慮一下唷～

補充一下大家最常用的NFS

Logstash mutate filter

2015-03-24T22:07:00.001-07:00

最近在研究Logstash，透過Logstash的input, filter, output可以產生出許多不同的變化... 下面是我前陣子遇到的問題，後來找到解決方案....

例如我在抓CentO6.6的rsyslog時候，我把/var/log/message中的一些syslog重倒到logstash中

$ vi /etc/rsyslog.conf

*.info;mail.none;authpriv.none;cron.none @@10.240.58.95:514

另外，logstash server部分，透過input syslog module開啟514 port接聽syslog input...

input {
syslog {
port => 514
type => syslog
}
}

此時收到的syslog在rubydebug模式下，會類似：

{
"message" => "Installed: mysql-5.1.73-3.el6_5.x86_64",
"@version" => "1",
"@timestamp" => "2015-03-25T03:50:01.000Z",
"type" => "syslog",
"host" => "10.240.219.254",,
"timestamp" => "Mar 25 03:50:01"
"priority" => 14,
"logsource" => "simon-centos6",
"program" => "yum",
"pid" => "645",
"severity" => 6,
"facility" => 1,
"facility_label" => "user-level",
"severity_label" => "Informational"
}

其中，會明顯地發現有兩個timestamp的欄位... 雖然有個前面加上"@"

而這個重複的timestamp欄位會造成其他的output module錯誤，導致一些其他問題...

在找了很久，後來發現mutate這個filter module.... 透過mutate可以讓欄位改名稱、改內容、刪除欄位、增加欄位... 這樣在input與output之間的銜接，就少掉很多問題...

下面範例是透過mutate的rename function來置換我所遇到的重複key...

input {
syslog {
port => 514
type => syslog
}
}
filter {
mutate {
rename => [ "timestamp", "timestamp1" ]
}
}
output {
stdout { codec => rubydebug }
}

如果一切沒有問題，再重新執行logstash之後，可以看到新的output，其中可以看到timestamp1會被排到最後面

{
"message" => "Installed: mysql-5.1.73-3.el6_5.x86_64",
"@version" => "1",
"@timestamp" => "2015-03-25T03:50:01.000Z",
"type" => "syslog",
"host" => "10.240.219.254",
"priority" => 14,
"logsource" => "simon-centos6",
"program" => "yum",
"pid" => "645",
"severity" => 6,
"facility" => 1,
"facility_label" => "user-level",
"severity_label" => "Informational",
"timestamp1" => "Mar 25 03:50:01"
}

這樣傳給output的值就沒有問題了ㄛ :D

Docker in Mac will more easy!!!

2015-03-12T09:17:00.000-07:00

Kitermatic是Docker新出的一個本地端套件管理工具，讓您可以用視覺化的方式來管理Container服務，未來要在Mac上使用Docker就更方便了！！

發想自 node-schedule 的 node-schedule-server

2015-01-31T22:59:00.000-08:00

node-schedule

node-schedule是一個time base的排程器，透過給定簡單的時間物件或是給與cron job的時間格式字串，就可以指定時間觸發所給定的task。這在Java的世界，與一套叫Quartz的服務相像...

Github repository

https://github.com/mattpat/node-schedule

Installation

npm install node-schedule

Sample Usage

下面範例展示一個簡單的排程作業，其中date指定為現在時間過30秒，而date2指定為一個未來的時間... 程式起動時候，會先列印現在時間，並開始設定兩個(j, j2) Job分別在指定的date, date2時間啟動...

var schedule = require('node-schedule');  var date = new Date(new Date().getTime() + 1*1000*30);  var date2 = new Date('2015/1/31 21:28:00');  console.log(new Date());    console.log('j will start at:', date);  var j = schedule.scheduleJob(date, function(){          console.log('The job j is going to end...');  });    console.log('j2 will start at:',date2);  var j2 = schedule.scheduleJob(date2, function(){          console.log('The job j2 is going to end...');  });

上面程式起動後，會執行列印現在時間，並且開始將Job置入排程時間，等候執行...

$ node examples/node-schedule/sample01.js  Sun Feb 01 2015 14:40:34 GMT+0800 (CST)  j will start at: Sun Feb 01 2015 14:41:03 GMT+0800 (CST)  j2 will start at: Sat Feb 2 2015 21:28:00 GMT+0800 (CST)  The job j2 is going to end...  (waitting...)

等到執行的時間到了，系統就會執行定義於j, j2中callback function中的內容... 等到所有Job執行完成，程式就會關閉...

Sample Project

因為Schedule服務非常實用，筆者花了一些時間把這些動作建置成一個RESTful操控的服務器，透過簡單的動作，就可以提供RESTful的Endpoint來操控排程...

安裝服務

目前服務release在github上，有興趣使用的朋友可以直接git clone下來或是fork回去改...

$ git clone git@github.com:peihsinsu/node-schedule-server.git $project_home  $ cd $project_home && npm install

啟動服務

因為使用express 4來實作，因此可以透過npm start來啟動... 真正的啟動程式定義在package.json，位置為bin/www。

$ cd $project_home  $ npm start

撰寫服務執行者(Worker)

預設我只提供了一個RESTful Client來在排程時間到之後透過Url的方式來執行服務，這個RESTful Client(workers/restclient.js)的目的在使用前端傳入的opts參數內容來使用request模組來達到呼叫的目的。

每個Worker的必要條件如下：

必須放置在$project_home/workers下面
名稱必須與呼叫時候給定的"catg"參數值相同
可參考restclient.js實作Worker:
- 必須具備exec這個function
- 這個 exec function 必須有一個opts的json字串輸入，這個值是由呼叫時候給訂opts參數傳入。

var request = require('request');  var log = require('nodeutil').simplelog;    exports.exec = function(opts) {      if(typeof(opts) == 'string')          opts = JSON.parse(opts);    //Here you can do the job...      request(opts, function(e, r, d) {          if(e) log.error('Job[%s] execute error:', e);          log.info('Job[%s] execute result:', d);      });  }

新增加一筆服務

一切準備就緒後，在服務啟動完成，就可以透過下面方式呼叫新增一筆排程工作...

curl -X POST -sS http://127.0.0.1:3000/schedule/testjob \    -d "jobtime=2015/2/1 1:59:00" \    -d catg=restclient \    -d 'opts={"url":"http://localhost:3000","method":"GET"}'

以上內容，收錄於Node.js in Example!

Commit docker into private repository

2014-12-14T23:22:00.001-08:00

Docker無限好，只是怎麼擁有自己的repository呢？！如果你跟我想要的一樣，可以參考自建docker registry...

懶人版，直接用docker跑registry server然後儲存空間接google cloud storage作為永久保存...

參考：https://registry.hub.docker.com/u/google/docker-registry/

強人版，完全自建，加上用Nginx作為registry的https通道...

參考：https://www.digitalocean.com/community/tutorials/how-to-set-up-a-private-docker-registry-on-ubuntu-14-04

厲害高手太多，這邊只分享一個遇到的狀況... Mac版本升級到最新的boot2docker後，居然不支援非ssl協定的registry...

錯誤如下：

找了一下Google... 原來1.3.1之後的docker預設不支援非https的registry，應該是安全性上的問題...

試試看...

再透過boot2docker ssh可以切入到container的平台...

然後執行文件中提示的環境設定後，重啟docker....

之後push到private registry就都沒問題拉 :D

Mac OS 10.10 ruby bad interpreter issue

2014-10-23T22:50:00.001-07:00

應該不少人更新了Mac OS 10.10

在使用上可能跟我一樣會發生ruby的執行錯誤問題，這個問題一般是在console mode開啟當下發生：

修正方式很簡單，該錯誤是因為ruby interpreter找不到...

在/usr/local/Library/brew.rb這個檔案修改一開始的執行程式位置定義即可

$ vi /usr/local/Library/brew.rb

如上所示，只要把原本的"/System/Library/Frameworks/Ruby.framework/Versions/1.8/usr/bin/ruby -W0"移除，然後改成"/System/Library/Frameworks/Ruby.framework/Versions/Current/usr/bin/ruby -W0"，存擋後就可以正常了！

Reference: http://jcvangent.com/fixing-homebrew-os-x-10-10-yosemite/

Node.js implements Google API in Command Line

2014-06-25T08:58:00.000-07:00

很高興在Google IO Taipei講了一場關於Node.js跟BigQuery結合的分享

跟杭JS同樣的講題，但補充了sql2bq與gcli兩個套件

其中gcli是idea自google api explore裡面的api結構

關於gcli可以參考Github: https://github.com/peihsinsu/gapis

下面簡介一下CLI操作上跟API Explore的對應：

1. "-a [api name]": 帶入的api name是關於目前使用的api是哪一個，其中名稱的簡寫通常是右邊的function名稱的第一個，在這邊即是compute這個字。另外"-v [version]"則是帶入欲操作的api version

2. "-s [scope]"讓操作當下帶入認證所需要的scope資訊，可以讓工具所取到的access token可以binding所給予的授權，增加安全性...

3. "-f [function name]"，這邊指的就是"compute.images.list"這串字，讓使用者可以直接敲入api的function結構去使用每一個google的api

4. "-d [conditions]"是讓您放入網址列的變動參數部分，例如某個操作用到這樣的網址：https://www.googleapis.com/bigquery/v2/projects/mitac-cp300/queries，其中紅色部分是提供在網址列嵌入的，這是REST API的一個特性，我們把它用"-d"的方式來帶入指令...，與scope一樣，可以透過多個-b來輸入多個參數

5. "-b [body]"是用來帶入API call中的一些payload參數，讓屬於post form的一些參數可以直接被帶入做查詢...，與scope一樣，可以透過多個-b來輸入多個參數

於是，整個操作就會類似下面這樣：