仙人掌世界

[Java Performance]Chapter 3:JVM Overview

2012-01-22T03:39:00.002+08:00

這篇談JVM的概觀與各元件用途與描述HotSpot VM在各元件上的優化技術

HotSpot VM High Level Architecture

JVM 有三個主要元件：

VM Runtime
JIT Compiler
Memory manager

32bit JVM限制使用4 GB的記憶體，在windows約能配置1.5G左右的Java Heap Space，Linux 約 2 .5G~3G的 Java Heap Space，新版的linux kernel約能配置在 2G左右，solaris在3.3G，64bit JVM則能使用更多的記憶體。

Java objects在Hotspot內部的 reference 稱為 ordinary object pointer(oops)，64bit JVM的oops與32bit JVM相較會佔用更多CPU cache，少8~15 %的CPU cache效率，與佔用更多Java Heap Space；在HotSpot VM可經由壓縮指標的方法將完整的64bit壓縮成32bit空間，其啟動方式在JVM 加入選項為 -XX:+UseCompressedOops (該功能在新版JDK版本已預設啟用)。

HotSpot VM Runtime

Hotspot VM Runtime的職責

parsing of command line arguments
VM life cycle
class loading
byte code interpreter
exception handling
synchronization
thread management
Java Native Interface
VM fatal error handling
C++ heap management

Command Line Options
共分成三類

standard options 規範於JVM Spec，通用於各種發行版本(e.g HotSpot、JRocket、J9)
nonstandard options 出現在不同發行版本不同版次的JVM，使用-X做為prefix
developer options 出現在不同發行版本不同版次的JVM，使用-XX做為prefix，用+ 或 - 表示啟用或停用功能 e.g -XX:+AggressiveOpts 表示啟用， -XX:-AggressiveOpts 表示停用，部份option能有額外參數如 -XX:OptionName= ，表示可填入數字，可用k/m/g做為suffix，當作kilo/mega/giga單位

VM lifecycle

Hotspot VM Runtime負責launching和shutdown Hotspot VM，使用java, javaw(without console), javaws(java web start)

解析command line options
設立Java Heap sizes與JIT compiler 類型
設立Environment variables像是LD_LIBRARY_PATH與CLASSPATH
如果command line沒有定義Main-Class，則從JAR中的manifest取得Main-Class
使用JNI_CreatJavaVM創建Hotspot VM
當Hotspot VM完成初始化，Main-Class 載入與取得 main method 參數
執行 main method

當 main method 執行完成會檢查有無 exception、呼叫JNI DetachCurrentThread 操作減少thread count、檢查thread count數量確保已沒有進行中的操作、shutdown Hotspot VM(JNI_DestoryJavaVM)。

VM Class Loading

class loading 指的是mapping class name 或 interface name 到 class object 的處理過程，常見的class loading 發生在bytecode resolution，在Java API部份則透過Class.forName()、ClassLoader.loadClass()、reflection API、JNI_FindClass觸發。

java.lang.Object、java.lang.String、java.lang.System、java. lang.Thread、java.lang.ThreadGroup、java.lang.reflect.Method、java.lang.ref.Finalizer, java.lang.Class 等在 JNI_CreatJavaVM 時即已載入。

Class Loading Phases
1.load class phase
使用 class/interface name 去尋找binary的Java classfile，沒找到拋出NoClassDefFound error，此外這階段會檢查classfile syntax，驗證不過拋出ClassFormatError 或 UnsupportedClassVersionError(e.g 編譯jdk 7版本在jdk 6執行)，完成載入Java class前必需先載入class本身的super class/interface 因此可能會拋出ClassCircularityError、IncompatibleClassChangeError

2.link phase
檢查classfile semantics、constant pool symbols、type checking 驗證不過拋出VerifyError，這階段會做semantic check用於解析相關的symbolic reference

3.initializing phase
初始化static fields、static initializer(第一次執行Java Code)，若有superclass則會先initializing superclass

Class Loader Delegation
class loader 可以經由其它class loader 代理載入class，在Java SE class loader 的階層，搜尋會從下層住上層(parent)尋找class

bootstrap class loader 從Hotspot VM的BOOTCLASSPATH載入 class, 如 rt.jar 等Java SE的libraries
extension class loader 從$JRE_HOME/lib/ext載入class
system class loader 從 CLASSPATH 載入 class，也是預設的class loader
application class loader 則由開發著自訂class載入路徑，如web container 的實作會為每個webapp分配獨立的 class loader 用於載入/WEB-INF/classes、/WEB-INF/libs/*中的class

Type Safety
Java class / interface 完整的名稱包含了package 名稱與 Class name ，於class loader 本身也定義了一層 namespace，所以有種狀況是A class loader 與 B class loader 載入同樣名稱的class但會被區分成不同的class，因此若有相互引用的狀況下Hotspot會做相容檢查(e.g 同method signature 則相容，可使用)，失敗則丟出LinkageError

Interpreter
HotSpot VM interpreter 是基於 template 方法的 interpreter，JVM startup 時 HotSpot VM runtime 會產生與放置於記憶體中，其內部資訊的資料結構稱為 TemplateTable，用於對應每個byte code的machine dependent code的參考關系，於debug版本的Hotspot VM 可以用-XX:PrintInterpreter看TemplateTable。

Synchronization
HotSpot VM對同步化提供最佳化機制，並區分為無競爭與競爭

無競爭可以啟用偏向鎖(-XX:+UseBiasedLocking)(JDK 1.6預設開啟)，當有同步化的需要時再由輕量級鎖(CAS)轉成重量級鎖
競爭啟用adaptive spinning(JDK 1.6預設開啟) 透過一段時間在同Thread執行週期裡重試取得 lock，避免thread離開/進入檢查lock是否可用，降低context switch

Thread Management
Thread Model
Hotspot VM的Java Thread(VM 底層) / java.lang.Thread / OS thread 是一對一對應的，Java Thread start時候作業系統創建 OS Thread，Java Thread terminated 時作業系統回收OS Thread；thread 的scheduling 由作業系統分配到可用的CPU上，於thread priorities則各作業系統不一樣。

Internal VM Threads

VM Thread 負責處理VM operation
Period task thread 也稱WatcherThread用於模擬timer interrups
Garbage collection threads 用於GC
JIT compiler threads 用於 runtime 時編譯 bytecode 為 machine code
Signal dispatcher thread 用接收process signal 與分派給Java level的signal handling method (e.g kill pid時丟給 Shutdown Hooks API)

VM Operations and Safepoints
VM Thread會從VMOperationQueue取得操作指令，通常這類的操作指令是為了讓Hotspot VM進入safepoint，進入safetpoint時所有Java executing thread會block，native code 會預防執行結果傳回 Java code，因此在safepoint進行中不會有中途變更Java Heap，最常件的VMOperation就是支援garbage collection時的先置操作，也是俗稱的 stop-the-world

其它像是偏向鎖的revocation(切換成重量級鎖)、thread stack dumps、 thread suspension 與 stopping (i.e java.lang.Thread.stop())、JVMTI的修改操作都會需要進入 safepoints

VM Fatal Error Handling
OS拋出 segmentation fault(linux) / Access Violation error(windows) 時 HotSpot VM預設會在Launcher起動的地方產生記錄檔 hs_err_pid.log，或者以 -XX:ErrorFile 指定紀錄檔存放路徑，也能以 -XX:OnError=cmd1 args; cmd2 指定VM crash時的執行指令，OnError參數需作業統系統的debugger tools支援(e.g GDB)，有些發行版本不支援OnError功能或著需要偵查附加debugger前的錯誤，可以改用-XX:+ShowMessageBoxOnError 選項。

JDK 1.6對於 OutOfMemoryError 使用特定選項

-XX:OnOutOfMemoryError=cmd1 args; cmd2
-XX:+HeapDumpOnOutOfMemoryError
-XX:HeapDumpPath=

HotSpot VM Garbage Collectors
Generational Garbage Collection
HotSpot VM基於以下兩個假設，使用年代做為垃圾收集的方法

大部份物件很快就不在使用
從舊物件到新物件間的關聯較少

The young generation

新產生的物件配置於這裡，這裡配置的空間較小，GC耗費時間相對短暫， GC執行次數較頻繁，基於大部份物件很快就不使用的假設，young GC(minor garbage collection)能有效率的大量清除垃圾物件

The old generation

物件會長時間使用，最終會從young generation 提升到 old generation ，在這個年代配置的空間通常比young generation大，使用空間成長較為緩慢，執行GC(major garbage collection)的次數較少，但耗費時間較長

The permanent generation

這年代是由HotSpot VM 存放metadata，如class data structure, interned string

分析是否為不可用的物件需要做object graph的分析，由於會有old-to-young的關聯存在因此也需要掃描old generation物件，Hotspot VM 為了降低minor GC要掃描的old generation範圍，使用一種資料結構Card Table對應整個old generation空間，若old generation物件有變更reference field 那也會在Card Table標記該物件所在區塊為修改過(dirty)，當minor GC時old generation只要掃描修改過區塊的物件，不用掃描所有在old generation的物件。

The Young Generation

young generation 又細分成三塊區域，eden用於配置新物件，兩塊 Survivor space 給物件累積存活次數(minor gc掃描)，當物件存活次數超過設定值(TenuringThreshold)，再將物件提升到Old generation，其目地是要讓短期物件在young generation回收，老物件提升到Old generation。

由於Survivor space空間可能會不足以接收來至於edem的物件，這種狀況下可能會將短期的物件直接提升到Old Generation，也稱為premature promotion，因此造成Old Generation空間快速的的被短期物件填滿，造成更多major GC；當minor gc從eden要提升物件，但Survivor space與Old Generation都放不下的時候會造成major GC，也稱為 promotion failure(gc log可看到) 。

Fast Allocation

為了要快速配置物件到Young Generation，GC會在執行完成後在將該區塊給清空(Copying Garbage Collector)，當要配置物件時可以連續配置在物件尾端，此方法稱為bump-the-pointer。

在multithread application時為了避免同時配置eden會需要全域鎖，因此每個Thread都有配置一塊空間放置新物件，稱為Thread-Local Allocation Buffers(TLABs)每個thread都擁有一部份獨立的eden區塊，不會有其它Thread共用因此不需要鎖，當使用的buffer滿載的時候再同步化使用 eden。

Garbage Collectors：Spoiled for Choice

HotSpot VM有四種garbage collector每種garbage collector有不用的使用策略

The Serial GC

Serial GC在young generation的方法就前面所描述的GC過程，在Old generation則使用 mark-compact garbage collector 將物件標記清除，再將保留下的物件移動與放一起，然而Serial GC限制於僅能使用單個Virtual Processor，若硬體環境下有多個Virtual Processor就會閒滯多餘的Virtual Processor效能，因此Serial GC適用pause time要求不高的應用程式與執行多VM的環境(e.g 同時運行多個GUI應用程式)

The Parallel GC：Throughput Matters!

Parallel GC運作方式類似Serial GC但同時可以使用多個Virtual Processor 進行GC，相對Serial GC可以增加整體GC效率與Throughput，適用於batch processing、scientific computing 等要求Throughput、不要求latency的應用程式

The Mostly-Concurrent GC：Latency Maters!

由於Serial GC與Parallel GC在 GC時都會需要stop-the-world，而major GC時掃描的物件較多，停滯時間較長，並不適用於要求反應速度的應用，Concurrent Mark-Sweep GC是種適用於major GC的collector能有較短暫停滯，也能運用多個CPU，所以較適用於有要求低延遲的應用，其GC過程有分4個階段，在initial mark與remark階段才需要stop-the-world，但代價是整體GC時間較長、空間效率較差、throughput 較低。

The Garbage-Firs t GC：CMS Replacement

在JDK 1.6u20後期引入，未來用於替代CMS GC，其方法將Java Heap分成許多相等大小的區塊稱為Regions，並由G1動態調整Regions做為Young Generation空間，大部份的GC時間僅用在Young Regins(Young Generation)，具備CMS優點，且較省空間

Comparisons

以下簡要的說明Application如何影響GC的工作

Allocation：當各Generation達到特定的可用空間限制即會啟動GC(CMS需自定比率，其它則等到各Generation滿載)，當application的allocation rate越高則GC更頻繁
Live data size：當物件越多，GC要做更多的分析
Reference updates in the old generation：當Old Generation的物件變更Reference頻繁則minor GC檢查old-to-young與CMS remark的要分析的變更區塊就越多

Hotspot VM JIT Compilers

javac 產出bytecode，JIT會將bytecode轉為intermediate representation(IR)並做優化如：constant folding、common subexpression elimination、inlining of function較複雜優化技術有improving the execution of loop、 range check elimination、unrolling、loop invariant code motion，接著依不同的編譯策略將IR轉換成machine code(instruction selection與分配值給暫存器)。

Hotspot的JIT Compiler分為兩種

Client JIT Compiler的目標在快速啟動與快速編譯因此適用於反應快速的GUI application，採用較簡化的優化方法但編譯時間較短，整體的效能會較Server JIT Compiler差

Server JIT Compiler的目標在高效能與高吞吐的Java application，會最大化的運用編譯優化策略，編譯優化的內容較多也較為複雜，編譯的時間較Client JIT Compiler長

JAVA 6 HostSpot VM提供混合式的JIT Compiler，稱為tiered compilation，提供Client JIT Compiler快速啟動的能力與Server JIT Compiler的效能優化，使用 -server -XX: +TieredCompilation 啟用，適用於JAVA 6 u25之後。

HotSpot VM Adaptive Tuning

Java 5 HotSpot VM 會在JVM啟動時依硬體規格與作業系統環境自動選擇 garbage collector、設定Java Heap size、 JIT Compiler，其自動調整Java Heap的方式稱為ergonomics。

Java 5 HotSpot VM會依2G記憶體，2 virtual processors識別為server-class machine，並對server-class machine採用Parallel GC、server JIT compiler、1/64~1GB做為最小Java Heap Size、1/4~1GB 做為最大Java Heap Size，可是特定的作業系統(windows 32bit)與隨著JDK持續演進此標準不太一定，可透過 java -XX:+PrintCommandLineFlags -version得知實際環境的ergonomics預設值。

Adaptive Java Heap Sizing

ergonomics對Parallel GC(UseParallelGC/UseParallelOldGC)額外啟動adaptive heap sizing功能，透過評估 object allocation rate 與 object lifetime 自動決定 young generation 空間大小，若有指定-Xmn，-XX:NewSize，-XX:MaxNewSize，-XX:NewRatio，-XX:SurvivorRatio 則會做為初始值並再自動調整，若要自行調整可經由-XX:-UseAdaptiveSizePolicy關閉adaptive heap sizing。

補充

不同作業系統不同版本在預設的Command Options與Ergonomics機置都有異因此在Java HotSpot VM 23後的版本可透過 -XX:+PrintFlagsFinal 得知相關的執行參數結果

e.g.java -XX:+UnlockDiagnosticVMOptions -XX:+PrintFlagsFinal -version

Reference：

Java SE 6 HotSpot[tm] Virtual Machine Garbage Collection Tuning
http://www.oracle.com/technetwork/java/javase/gc-tuning-6-140523.html

Java HotSpot VM Options
http://www.oracle.com/technetwork/java/javase/tech/vmoptions-jsp-140102.html

Memory Management in the Java HotSpot™ Virtual Machine
http://java.sun.com/j2se/reference/whitepapers/memorymanagement_whitepaper.pdf

Troubleshooting and Diagnostic Guide
http://java.sun.com/j2se/1.5/pdf/jdk50_ts_guide.pdf

John Coomes, Peter Kessler, Tony Printezis Garbage Collection-Friendly Programming
http://dl.dropbox.com/u/2331008/docs/TS-2906.pdf

使用 TOTP 與 Google Authenticator 實作 Two-Factor authentication

2012-01-02T19:31:00.000+08:00

在食衣住行育樂都需要的網路的時候，現代人擁有許多網路帳號，但絕大部份使用的密碼就三、四組互換，在web 2.0風潮下大多數網路服務皆使用email做為帳號名稱，因此使用的眾多服務下帳號密碼只有少數幾種組合，當某個有使用網站帳號被竊(e.g.資料庫外洩、病毒側錄密碼)，同時也影響位在其它網站帳號，尤其現今資安事件逐漸從惡作劇變往金融犯罪的趨勢，帳號到手可以形成買賣(e.g.網路遊戲)，個資到手進行詐騙，一組帳號可以剝n層皮。

帳號盜用除了對個人造成影響，直接或間接牽連的還有諸多網友與網路服務提供者，由於公眾網路服務不像公司內部能強制要求資安政策，因此網路服務要能提供安全保護機制就顯的特別重要，Google 去年底開始提供One-Time Password(OTP)做Two-Factor authentication帳號驗證，於傳統帳號密碼驗證多加一層動態產生的密碼，只要兩者沒被同一人取得就能避免帳號驗證通過。

往常OTP的security token取得方式常見的有實體裝置產生、發送手機簡訊，但此類方式成本會是最大的制約，難以規模化推廣到大眾市場，現今 Smartphone 已日漸普及，軟體式OTP則可成為可行的替代方案，Google 去年提供了Google Authenticator 應用程式可在多個行動平台使用，目前得知用於帳號認證的網路服務有Google 2-step verification，Amazon AWS MFA ，其服務端實作驗證流程不困難，未來可能會變成一種常見的帳號驗證方法。

以下參考國外部落格文章與Google Authenticator Android原始碼實作Two-Factor authentication 驗證流程，也釋出原始碼供需要的人參考。

https://github.com/parkghost/TOTP-authentication-demo

環境需求

Git
JDK
Maven

安裝與執行指令

1.安裝與啟動Redis

wget http://redis.googlecode.com/files/redis-2.4.5.tar.gz
tar xzf redis-2.4.5.tar.gz
cd redis-2.4.5
make
src/redis-server

2.安裝與啟動TOTP Authentication Demo

git clone git@github.com:parkghost/TOTP-authentication-demo.git
cd TOTP-authentication-demo
mvn package
java $JAVA_OPTS -jar target/dependency/jetty-runner.jar target/*.war

操作流程

1.進入網站
http://localhost:8080/
(demo site: http://totp-authentication-demo.heroku.com)

2.建立帳號

帳號建立成功後伺服器端會產生此組帳號的secret key，這組secret key在伺服器端與OTP裝置都需要持有，之後雙邊才能透過相同的secret key、時間、雜湊演算法來產生OTP與驗證OTP，詳細的TOTP規格請參考RFC6238。

這裡經由 QRCode 使 Google Authenticator 簡化secret key的輸入流程與避免輸入錯誤，其QRCode內嵌資料需符合 Google Authenticator 的內容規格。

e.g. otpauth://totp/Brandon@brandonc.me?secret=GUK6JNO7TEERYTNC

3.使用Google Authenticator 保存secret key與產生TOTP

Google Authenticator 每 30 秒會產生 6 個數字的做為security token

4.驗證帳號

由於不同裝置間會有時間誤差，在服務端的實作要加上容錯機制(e.g. 產生正負90秒內的驗證結果，有一組成功即通過驗證)

Update 20120106

台灣區密碼未加密的中獎清單...
http://plainpass.com/p/plaintext-password-sites.html

[Java Performance]Chapter 2:Operating System Performance Monitoring

2011-12-20T02:33:00.000+08:00

這篇談到如何在作業系統層級搜集數據(CPU、Memory、Network I/O、Disk I/O)，從數據中分析可能的效能問題

名詞定義：

Performance monitoring：使用非侵入式的方法從作業系統或應用程式搜集、觀察數據，如使用作業系統提供的工具(e.g. vmstat)搜集效能數據，但不會影響應用程式的行為與效能，這方法適用於大部份的環境(production / development/ testing ...)使用
Performance profiling：使用侵入式方法搜集較特定目標數據，如某method的total cpu time/輸入參數，但可能會調整到應用程式行為或者降低效能，這方法比較適用於development/ testing 環境
Performance tuning：通常是 monitoring與profiling之後，發覺問題進而修改程式碼 / 設定參數，增進應用程式效能

CPU Utilization
應用程式有沒有最大化利用CPU效能，可經由分析作業系統的CPU運作數據得知，一般作業系統會把CPU Utilization區分為User CPU Utilization與 System(kernel) CPU Utilization，過高的System CPU Utilization表示可能有共用資源競爭(ie. lock contention)或大量 I/O 裝置互動，經由降低System CPU Utilization可以提高應用程式performance與 scalability

當CPU從 register/cache 找不到指令，等待從memory取得指令的狀況叫作stall(耗費數百個CPU clock cycles)，經由降低stall能增進CPU效能，如降低context switch來減少cpu cache miss

數據搜集工具：

Windows	Linux
(GUI)Performance Monitor typeperf	(GUI)gnome-system-monitor (GUI)xosview vmstat mpstat sar

typeperf

vmstat(us/sy)

CPU Scheduler Run Queue
單個CPU同時只能處理一項工作，當沒有CPU資源可用時，作業系統會將新的工作存放在CPU scheduler's run queue之中，等CPU有空閒時再從run queue中取出執行，如果累積的工作過多(Run Queue Depth / CPU virtual Processors > 4)則會觀察到回應速度逐漸緩慢，那就要注意或者進行調整，如增加更多的CPU並分散工作、調整演算法與資料結構

數據搜集工具：

Windows	Linux
(GUI)Performance Monitor typeperf	vmstat mpstat load average

typeperf

vmstat(r)

uptime(load average 也是一種觀測的方法)

Memory Utilization
應用程式向作業系統申請memory時，若作業系統認為physical memory不足則會使用disk(ie. virtual memory)替代memory避免應用程式崩潰，但由於disk IO較physical memory慢許多倍(millisecond vs nanosecond)，然而JVM's garbage collector在進行gc會掃描所有java heap中的物件，若物件存放在disk那就會被disk io速度拖慢，gc的"stop the world"時間就越長，可觀察

swapping(page in/page out)行為得知

數據搜集工具：

Windows	Linux
(GUI)Performance Monitor typeperf	vmstat top

typeperf(5 second intervals)

vmstat(swpd/free/si/so)

Monitoring Lock Contention
許多Java應用程式不能scale是遇到了lock contention(e.g. 大量的thread排隊等待取得鎖住的共用的物件)，像是synchronized method 或 synchronized blocks，經由觀察voluntary context switch(很昂貴，需要耗費80,000 clock cycles)，如果voluntary context switch佔用 3% 之上的CPU clock cycles 則可能有lock contention

可用的數據搜集工具：

Windows	Linux
Intel VTune AMD CodeAnalyst	pidstat

pidstat(cswch:voluntary context switches)

假設上面的結果是在3.0Ghz dual core的 CPU下運作，估算平均每秒有3500次voluntary context switches
每個voluntary context switches 成本 80,000 clock cycles
單個virtual Processor的voluntary context switches 成本為 3500 / 2 * 80,000 = 140,000,000 clock cycles
單個virtual Processor的CPU clock cycle在3,000,000,000
平均佔用CPU clock cycles 為 140,000,000 / 3,000,000,000 = 4.7%
4.7% > 3% 所以可能有lock contention

Monitoring Involuntary Context Switches
involuntary context switches 發生在超出執行時間或者被更高priority的thread佔用時，觸發的context switch若有很高的involuntary context switches 表示同時有太多的thread在等待執行，從high run queue depth、high System CPU utilization、high number of migrations 同樣可以看出來thread過多的狀況

(數據搜集工具同voluntary context switches)

Monitoring Thread migrations
在多核的狀況下會有ready-to-run threads在多核中轉移(migrations)因而降低效能，可經由processor set綁定java process避免這個狀況，在linux環境可以使用taskset指定processor set

Network I/O Utilization
受限於network bandwidth 或 netwok I/O performance 也許會造成應用程式 performance與scalability的限制，經由更換韌體/硬體與網路環境改善限制

大量的讀寫小量資料會使用到大量的system CPU(high number of system calls)，可採用nonblocking Java NIO取代blocking java.net.Socket，經由降低thread緩充讀寫的次數改善應用程式效能

數據搜集工具：

Windows	Linux
(GUI)Performance Monitor typeperf	nicstat

typeperf
typeperf \Network Interface(*)\Bytes Total/sec

nicstat(yukonx0是network interface名稱)
nicstat -i yukonx0 1

Disk I/O Utilization
如果應用程式有disk的操作，在linux之下可以使用iostat -xm 5

有幾種策略可以改善I/O utilization

更快的storage device
檔案分散在多個磁碟
調效作業系統去快取大量的file system data structure

在應用程式階層可以使用buffered stream，減少 system calls(提高CPU效率) ，如使用java.io.BufferedOutputStream/BufferedInputStream

[Java Performance]Chapter 1:Strategies, Approaches, and Methodologies

2011-12-15T00:38:00.000+08:00

在軟體開發流程中該在何時評估效能？

傳統上瀑布式開發(Analysis > Design > Code > Test)會在測試階段進行效能測式，當效能結果不符合要求，調整代價可能很高，因此在擬定需求時就需要將效能指標定義出來，由需求驅動開發過程中各階段的效能測試

期望的throughput為多少？

期望latency為多少？

要能負載多少的 concurrent users 或者 concurrent tasks？

在最大數量的 concurrent users 或者 concurrent tasks負載下，可接受的latency 或者throughput為多少？

最糟糕狀況下可接受的latency為多少？

garbage collection 引入的延遲否容許？

假設某些use case可能造成高度的效能風險，那應該在Analysis階段之前製作prototype驗證效能的可行性

使用自動化的效能測試

自動化佈署、自動化效能測試、自動化統計與分析效能數據，利於追蹤早期的效能問題

兩種效能分析方法：Top Down and Bottom Up

Top Down方式適用於應用開發者從software stack層次、調整程式，調整程式設定，選擇JVM GC collector、調效JVM command line options來分析效能

Bottom Up方式適用效能專家從CPU架構、CPU數量，作業系統、JVM版本，收集CPU statistics資訊分析無效率的指令、cache misses狀況等問題，來選擇合適的軟硬體環境

選擇合適的平台與評估系統

Sun 的SPARC T-series CPU針對多 thread 切換造成的CPU cache misses效能問題，在每顆CPU core 中設計多組的hardware thread，相較一般CPU在一顆core一組hardware thread的設計有更好的效率

Java時間解析度

2011-12-06T12:15:00.001+08:00

Inside the Hotspot VM: Clocks, Timers and Scheduling Events - Part I - Windows 說明作業系統在讀取時間與時間event(schedule/trigger)的限制，因此從java api取得的 nanosecond 的數值並不精確，越高的解析度(nanoseconds > microseconds > milliseconds)精確度越低，文中也提供了些應用上的建議。

需要讀取精確的時間使用 System.currentTimeMillis()
需要比較時間差異使用 System.nanoTime()
需要等待系統回應(e.g. wait/sleep)，設定時間別小於10 milliseconds

另外從二段openjdk version "1.7.0-ea" 的源始碼來看，使用 wait/sleep 的 nanos 的參數並意義不大

Object.wait(long timeout, int nanos)

    public final void wait(long timeout, int nanos) throws InterruptedException {
        if (timeout < 0) {
            throw new IllegalArgumentException("timeout value is negative");
        }

        if (nanos < 0 || nanos > 999999) {
            throw new IllegalArgumentException(
                                "nanosecond timeout value out of range");
        }

        if (nanos >= 500000 || (nanos != 0 && timeout == 0)) {
            timeout++;
        }

        wait(timeout);
    }

Thread.sleep(long millis, int nanos)

    public static void sleep(long millis, int nanos) throws InterruptedException {
        if (millis < 0) {
            throw new IllegalArgumentException("timeout value is negative");
        }

        if (nanos < 0 || nanos > 999999) {
            throw new IllegalArgumentException(
                                "nanosecond timeout value out of range");
        }

        if (nanos >= 500000 || (nanos != 0 && millis == 0)) {
            millis++;
        }

        sleep(millis);
    }

Memcached vs Redis vs MongoDB vs MySQL 效能比較

2011-11-21T21:14:00.001+08:00

"記憶體是新一代的硬碟"在高流量網站內已是稀鬆平常的事情，像是採用 Memcached 做分散式快取服務即是典型的應用模式，Memcached 使用概念簡單且相關應用情境、文件、工具、演算法都已相當成熟，許多知名網站都運用 Memcached 提升scalability，像是GAE、Heroku 等PaaS 環境也有提供 Memcached 的收費服務，這些市場訊息已說明大規模的使用記憶體是可以合乎成本效益的。

Redis 是近年隨著 NoSQL 熱潮出現的 Key-Value store，其功能涵蓋了 Memcached 並且提供許多高階功能，在許多應用情境下相較 Memcached，能降低開發與營運複雜度，比如：

豐富的資料結構(strings, hashes, lists, sets and sorted sets) 更易於設計適當的資料粒度增進資料重用的機會，且可依不同的資料結構特性在redis server上做組合與計算，降低開發上的複雜度與資料傳輸
永續保存功能可充當簡易的資料庫降低重覆資料的一致性問題或一些特殊應用，像是當系統當機後能快速回復快取資料，避免大量重建的衝擊
資料覆寫功能提升讀取效能，提升 availability
2.6能寫scripting (lua)
3.0的版本預期還會加上Cluster做HA與Balancing有些data grid的樣子

但效能是否能與 Memcached 匹敵呢？以下透過大量的 get/set 操作做簡單的比較，並且加入MySQL與MonogoDB 做為參考

一、測試環境

Hardware Overview:

Model Name: MacBook Pro
Model Identifier: MacBookPro8,2
Processor Name: Intel Core i7
Processor Speed: 2 GHz
Number of Processors: 1
Total Number of Cores: 4
L2 Cache (per Core): 256 KB
L3 Cache: 6 MB
Memory: 8 GB
HDD: 500G(5400RPM)

System Software Overview:

System Version: Mac OS X 10.7.2 (11C74)
Kernel Version: Darwin 11.2.0
64-bit Kernel and Extensions: Yes

Software Overview:
Java: "1.6.0_29" HotSpot(TM) 64-Bit Server VM (build 20.4-b02-402, mixed mode)

Memcached Version: 1.4.5
Memcached Client: xmemcache 1.3.5

Redis Version: 2.4.2
Redis Client: jedis 2.0

MongoDB Version: mongodb-osx-x86_64-2.0.0
MongoDb Client: mongo-java-driver 2.7.2

MySQL Version: 5.5.11-log Community Server
MySQL Client: mysql-connector-java 5.1.6 + tomcat-jdbc 7.0.22 (connection-pool)

二、測試方法

每組測式含三種方法 Set/Get/Set-Get(50/50)，各別產生500,000個請求
不同的壓力測試Thread(50/100/150/200) * 資料量(64/128/256/512/1024) bytes
壓力測試工具 https://github.com/parkghost/NoSQLBenchmark

三、測試案例

共同的 Server 執行環境設定

ulimit -n 10000

共同的 Client 執行環境設定
java -server -Xms512m -Xmx512m

1.Memcached

memcached -m 2048

2.Redis(without persistence)

disable RDB and AOF

3.Redis(RDB)

save 900 1
save 300 10
save 60 10000
rdbcompression yes

4.Redis(AOF - no)

appendonly yes
appendfsync no
no-appendfsync-on-rewrite no
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb

5.Redis(AOF - every second)

appendonly yes
appendfsync everysec
no-appendfsync-on-rewrite no
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb

6.Redis(AOF - always)

appendonly yes
appendfsync always
no-appendfsync-on-rewrite no
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb

7.MongoDB

8.MySQL - MyISAM

max_connections = 300
table_open_cache = 400
thread_cache_size = 4

9.MySQL - Innodb(innodb_flush_log_at_trx_commit=0)

max_connections = 300
table_open_cache = 400
thread_cache_size = 4

innodb_log_file_size = 512m
innodb_flush_log_at_trx_commit = 0
innodb_buffer_pool_size = 2g
innodb_log_buffer_size = 16m

10.MySQL - Innodb(innodb_flush_log_at_trx_commit=1)

max_connections = 300
table_open_cache = 400
thread_cache_size = 4

innodb_log_file_size = 512m
innodb_flush_log_at_trx_commit = 1
innodb_buffer_pool_size = 2g
innodb_log_buffer_size = 16m

11.MySQL - Innodb(innodb_flush_log_at_trx_commit=2)

max_connections = 300
table_open_cache = 400
thread_cache_size = 4

innodb_log_file_size = 512m
innodb_flush_log_at_trx_commit = 2
innodb_buffer_pool_size = 2g
innodb_log_buffer_size = 16m

四、測試結果

所有結果數據與圖表有興趣可自行從Github下載，下面僅顯示 Thread:200 / Bytes:1024 壓力的圖表

1.Memcached

xmemcached(client library) 會將 get 操作轉成 mget 因而減少許多 get 指令，減少網路傳輸

2.Redis(without persistence)

3.Redis(RDB)
4.Redis(AOF - no)

AOF寫入的效能依數據量增加而下降的比較明顯

5.Redis(AOF - every second)
6.Redis(AOF - always)

當磁碟寫入 70M/s 的時候，Redis開始不能寫入資料，雖然停頓一陣子又能繼續運作，但已有寫入失敗，因而不能完成測試

[8112] 23 Nov 20:43:03 * Background AOF rewrite successful
[8112] 23 Nov 20:43:03 * Asynchronous AOF fsync is taking too long (disk is busy?). Writing the AOF buffer without waiting for fsync to complete, this may slow down Redis.
[8112] 23 Nov 20:43:18 * Starting automatic rewriting of AOF on 101% growth
[8112] 23 Nov 20:43:18 * Background append only file rewriting started by pid 8253
[8253] 23 Nov 20:43:32 * SYNC append only file rewrite performed
[8112] 23 Nov 20:43:32 * Background AOF rewrite terminated with success
[8112] 23 Nov 20:43:35 * Parent diff successfully flushed to the rewritten AOF (239673418 bytes)
[8112] 23 Nov 20:43:35 * Background AOF rewrite successful

7.MongoDB

同時讀取寫入的時候throughput 降到低點

8.MySQL - MyISAM

9.MySQL - Innodb(innodb_flush_log_at_trx_commit=0)

10.MySQL - Innodb(innodb_flush_log_at_trx_commit=1)

11.MySQL - Innodb(innodb_flush_log_at_trx_commit=2)

MyISAM表現的還算平穩，但 Innodb 在 select 的時候反應很奇怪

所有測試

五、結論

雖說是玩票性質的的測試，但數據還是找的出一些結論：

Memcached的TPS領先Redis 約30%
Memcached 979M 記憶體用量比Redis(RDB) 960.43M 多了一些些，疑?印像跟網路上說的不太一樣，可能數據太少還不足以評較
Memcached在client的實作較Redis的先進
Redis(AOF) 寫入的TPS比Redis(RDB)少了約55%
Redis(AOF) 使用的記憶體比Redis(RDB)多了很多
Redis(AOF) 寫入系統的檔案很大，重寫之後比RDB檔案大一些
Redis 在 bgsave/bgrewriteaof 要fork一個process來寫檔案會吃到兩倍的記憶體

以get/set來看MongoDB的效能跟MySQL MyIsam 接近
MongoDB 在同時讀寫時TPS下降非常多
mongo-java-driver GC佔掉整體時間的1.85%，創建過多物件(可能是為了asynchronous write 的實作)

MySQL Innodb 的 select 結果不知道是怎麼一回事

測試下 Memcached 的吞吐量約為 Redis 的1.25 倍，但若 Redis 啟用AOF可能會有IO的問題，若是實際應用上有利用 Redis 特性，那整體效能到是可能優於採用 Memcached。

對於開發測試程式過程也有些心得，第一個版本的測式程式用Python開發，但Threading模組的效能實在太差，Memcached吞吐量連20k都跨不過去，記憶體用量吃很兇；第二版改用JMeter 與 java sampler，但參數化與流程控制組合設定起來不夠彈性，加上即時數據的顯示，整體吞吐量較最後純Java版本少了約10%，若要再加入顯示圖表就更不用說了。

順道一題，對岸同胞整理了許多關於Redis的技術文章，對於了解Redis有很大的幫助
http://blog.nosqlfan.com/html/3537.html

Subscription TV programs from Yahoo Pipe

2009-02-17T14:46:00.002+08:00

Are you always missing TV programs or checking menu each day, so I create a pipe using Yahoo Pipe that can help you comfortable get TV programs timetable by RSS.
Limitation:
The pipe just support 200 item maximal.
The date range within five day.
1.Open Browser and jump to the pipe.

2.Enter keyword of TV program in the textbox after them click Run Pipe.

3. Right click Get as RSS , select Copy Link Location.

4.Jump to xFruits and then sign up a account by yourself.

5. I would like to get notifications by Mail so that click RSS to Mail and then fill the form.

6.Well, You will get mail very soon.

Resources:
Pipes: Rewire the web
http://pipes.yahoo.com/pipes/
xFruits - Compose your information system
http://www.xfruits.com/
Yahoo! Pipes Tutorial - An example using the Fetch Page module to make a web scraper
http://www.daybarr.com/blog/2007/12/11/yahoo-pipes-tutorial-an-example-using-the-fetch-page-module-to-make-a-web-scraper
電視時刻 - Yahoo!奇摩電影
http://tw.movie.yahoo.com/tv_index.html
The Regex Coach - interactive regular expressions
http://weitz.de/regex-coach/index.html
Java Regular Expression的學習筆記
http://www.javaworld.com.tw/jute/post/view?bid=20&id=130126&sty=1&tpg=2&age=0

How to create kmz with picture icon

2009-02-04T18:11:00.005+08:00

1. Take pictures and star GPS logger
2. Write geo-information to pictures(To reference posted article:GPS 記錄器、相簿、工具、節點編輯...)
3. Launch Friendly Flicker
4.open a text file and put into below text and save to doc.kml(UTF8 format)
doc.kml

<?xml version="1.0" encoding="UTF-8"?>
<kml xmlns="http://earth.google.com/kml/2.1">
<Document>
<name>Recent Uploads with geodata</name>
<open>1</open>

</Document>
</kml>

5. click tab “選項”then select all options.

6.Select “清單顯示”that faster than icon mode.

7. Input search conditions then click “搜尋相片.

8.While all of picture information loaded. right click on list and select "選擇全部相片”

9.Copy below text then put into firendly flickr.

<style id="normal/photo/{url}"><br />       <labelstyle><br />           <color>00ffffff</color><br />           <scale>1</scale><br />       </labelstyle><br />       <iconstyle><br />           <scale>2</scale><br />           <hotspot x="0.5" y="0.5" xunits="fraction" yunits="fraction"><br />           <icon><br />               <href>{image_st}</href><br />           </icon><br />       </iconstyle><br />   </style>
<style id="highlight/photo/{url}"><br />       <labelstyle><br />           <color>ffffffff</color><br />           <scale>1</scale><br />       </labelstyle><br />       <iconstyle><br />           <scale>2</scale><br />           <hotspot x="0.5" y="0.5" xunits="fraction" yunits="fraction"><br />           <icon><br />               <href>{image_st}</href><br />           </icon><br />       </iconstyle><br />   </style>
<stylemap id="styleMap/photo/{url}">
   <pair>
     <key>normal</key>
     <styleurl>#normal/photo/{url}</styleurl>
   </pair>
   <pair>
     <key>highlight</key>
     <styleurl>#highlight/photo/{url}</styleurl>
   </pair>
 </stylemap>
<placemark>
   <styleurl>#styleMap/photo/{url}</styleurl>
   <name>{title}</name>
   <snippet maxlines="4">
  
   </snippet>
       <description>
       <!--[CDATA[                <a href="{url}"><img src="{image_s}" /></a><br /><br />               <b>Title:</b>{title}<br /><br />               <b>Descript:</b><br />{descript}<br /><br />               <b>Date time:</b>{date_time}<br /><br />               <b>Model:</b>{model}<br /><br />               <b>Tags:</b>{tag1},{tag2},{tag3} ...<br /><br />               <a href="{url}">Open photo page</a><br />               <br /><br />               ]]-->
       </description>
   <point>
       <coordinates>{longitude},{latitude}</coordinates>
   </point>
</placemark>

10.Click tab 進階模版 and 啟動

11.Click “複製到剪貼簿”(the friendly fickr will get picture information form web site and apply the template before put inside.)
※Because the FF do not supprt photo id parameter , so that use url to generate id. after step replace surplus urls.

12.Replace the picture id. copy below option to replace dialog. and select Regular Expressions and select option Perl

photo/http://www.flickr.com/photos/(.*?)/(.*?)/
photo/\2

14.compress to zip file and rename the extension to *.kmz

15.After that you can place in internet such as google page to share anyone.
16.This site can validator your kmz.

Demo … Google Map

Save the kmz link to My Map that will show pictures by postition when you move .

Double click *.kmz … Google Earth

ubuntu configuration memo

2009-02-04T13:18:00.005+08:00

Install gcin and liu

sudo apt-get install gcin
tar -zxf liu_gcin120.tar.gz
sudo ./liu_gcin120/install.sh
gedit ~/.gnomerc

#gcin environment

export GTK_IM_MODULE=gcin
export XMODIFIERS="@im=gcin"

gcin &

Launch System > Preferences > Sound > gcin Setup
click Setting for gtab input methods then unselect Auto-send when keycodes are filled
relogin x-window
Disable alert sound
System > Preferences > Sound > Soulds Tab
unselect “play alert sound”
Install stardic

sudo apt-get install stardict

Add firefox search plugin(/usr/lib/firefox-3.0.5/searchplugins)
Install windows applications

sudo apt-get install wine

Download the wine-door package from the link after that follow below commands to install

sudo dpkg -i wine-doors_0.1.2_all.deb

Install pdf-XChange right click on PDFXVwer.exe and select Open With Wine Windows Program Loader (This tool is useful to highlight and comment in pdf file)
Install IE6 just access link and fellow the instructions
Configuration Pidgin
right click on pidgin icon and select Blink on New Message. Again, click plugins and select below plugins.

History
Offline Mesasge Emulation
Message Notification
Notify For
■ IM Windows
■ Chat windows

Accouns > select account which you are using > Modify
Enter Local alise and select New mail notifications

Install chm reader

sudo apt-get install gnochm

Issue: the default font size is small
Download the font-patch from the link after that follow below commands to apply.

sudo patch -b /usr/bin/gnochm < gnochm-fontsize.patch

Install Google gadget
Download the package from the link after that follow below commands to install.
sudo dpkg -i google-gadgets_0.9.3-0~getdeb1_i386.deb
Launch Applications > Accessories > Google Gadget (GTK)
Install Notes.
Download IBM Lotus Notes 8.5 Client for Linux (Debian Install) from IBM after that follow below commands to install.

mkdir notes
tar -xf '/home/brandon/Desktop/notes85_notes_linux_deb_beta2_prod.tar' -C notes
sudo dpkg -i notes/ibm_lotus_notes-8.5.i586.deb
/opt/ibm/lotus/notes/notes

Install JDK with Netbean / Eclipse
Download JDK from Sun after that follow below commands to install.

chmod u+x jdk-6u11-linux-i586.bin
./jdk-6u11-linux-i586.bin
gedit /home/brandon/.bashrc
export $JAVA_HOME=/home/brandon/jdk1.6.0_11
export PATH=$PATH:$JAVA_HOME/bin

Download Netbean from link after that follow below commands to install.

sudo '/media/Brandon'\''s HDD/untitled folder/netbeans-6.5-ml-java-linux.sh' --javahome $JAVA_HOME

Download Eclipse from link after that follow below commands to install.

sudo tar -zxvf eclipse-jee-ganymede-SR1-linux-gtk.tar.gz -C /opt/
gedit ~/.gnomerc

#JAVA Environment
export JAVA_HOME=/home/brandon/jdk1.6.0_11
export PATH=$PATH:$JAVA_HOME/bin

Add new Launcher in deskop

Install Mail-Notification and enable SSL. (package)
(Reference : http://glyphobet.net/blog/essay/286)

sudo dpkg -i mail-notification_5.4.dfsg.1-1build1.deb

Google Notebook Gadget Resizer

2009-02-04T12:45:00.004+08:00

The default height of notebook gadget is 200px , it’s too short that need often to scroll down/up , so that write a script to change the height.

Install Greasemonkey
https://addons.mozilla.org/en-US/firefox/addon/748

User Script:Google Notebook Gadget Resizer
http://userscripts.org/scripts/show/41679

Result:

Code:

// ==UserScript==
// @name          Google Notebook Gadget Resizer
// @description   To change height of gadgets in iGoogle
// @include       http://www.google.com/ig*
// @include       http://www.google.com.tw/ig*

// @author        parkghost@hotmail.com
// @version       1.0
// ==/UserScript==

// This script are working on Google notebook gadget and some similar gadgets which content type is url and not using dynamic-height feature.
//
// you can fellow below instruction to modify default height of Google notebook gadget or add more gadget to apply new height.
//
// 1.input "about:config" in url box
// 2.search "greasemonkey.scriptvals.userscripts.org/Google Notebook Gadget Resizer.oGadgets"
// 3.The properly is a array of url pattern with height that can modify of you want to.
//
// default:
// ({'http://www.google.com/notebook/ig':"600px", 'url pattern':"400px"})
//
// The url of gadget you could look at page source that place in iframe tag.(ex.http ://87.gmodules.com/ig/ifr?view=home&url=http://itszero.googlepages.com/iGoogleTVSchedule.xml&nocache=0&up_timeRange=0&up_showPrograms=6&up_fontSize=0.75&up_favoriteChannels=&up_defaultChannel=74&lang=en&country=us&.lang=en&.country=us&synd=ig&mid=87&ifpctok=-5100993727886241321&parent=http://www.google.com&extern_js=/extern_js/f/CgJlbhICdXMrMAo4ACwrMBA4ACwrMBI4ACwrMBM4ACwrMBU4ACw/GgLq_VyeDu0.js)
//
// The URL parameter is good to become a URL pattern.
// http://itszero.googlepages.com/iGoogleTVSchedule.xml

var oGadgets = {'http://www.google.com/notebook/ig':'600px','url pattern':'400px'};
var oGadgetsStr = GM_getValue('oGadgets');
if(oGadgetsStr){
 oGadgets = eval(oGadgetsStr);
}else{
GM_setValue('oGadgets',uneval(oGadgets));
}
var oFrames = document.getElementsByTagName('iframe');
for(var i=0 ; i < oFrames.length ; i++){ 
 for(var key in oGadgets){
   var re = new RegExp(key); 
   if(re.test(oFrames[i].src)){
     oFrames[i].style.height = oGadgets[key];
   }
 }
}

Resources:

Greasemonkey Manual:API
http://wiki.greasespot.net/API_reference

Managing Gadget Height
http://code.google.com/apis/gadgets/docs/ui.html#Dyn_Height

Write EJB Client

2009-01-05T15:55:00.002+08:00

The JNDI could support java client to get EJB instance from Container.
We have two type configuration for JNDI. First one,To hardcode properties in program look like listen 1, Other one is put properties in file jndi.properties and place on root directory of classes.
Listing 1

Properties props = new Properties();        
props.setProperty("java.naming.factory.initial", "org.jnp.interfaces.NamingContextFactory");
props.setProperty("java.naming.provider.url", "localhost:1099");
InitialContext ctx = new InitialContext(props);
helloworld = (HelloWorld)ctx.lookup("HelloWorldBean/remote");

Listing 2 (jndi.properties)

java.naming.factory.initial=org.jnp.interfaces.NamingContextFactory
java.naming.provider.url=localhost:1099

Ps. if application depoly on EJB container the container will import jndi properties form default configuration.

Linux remote desktop using VNC

2008-09-24T10:05:00.005+08:00

Steps：
1.install vncserver


[root@hostname ~]#yum install vncserver

2.startup vncserver


[root@hostname ~]# service vncserver start   
Starting VNC server: no displays configured [ OK ]

3.change environment who user you want to login


[root@hostname ~]#su – root

4.startup a vncserver instance and assign login password


[root@hostname ~]# vncserver   

You will require a password to access your desktops.   

Password:   
Verify:   

New 'hostname:1 (root)' desktop is hostname:1 http://xx.xx.xx.xx:5801   

Creating default startup script /root/.vnc/xstartup   
Starting applications specified in /root/.vnc/xstartup   
Log file is /root/.vnc/hostname:1.log

5.stop the vncserver instance.


[root@hostname ~]# vncserver -kill :1

6.Modifiy default startup script /root/.vnc/xstartup

# Uncomment the following two lines for normal desktop:
unset SESSION_MANAGER   <= remove the mark
exec /etc/X11/xinit/xinitrc  <= remove the mark

7.Use Vnc Client as like OpenVnc and UltraVnc to connect the server.
Resources:
http://forum.icst.org.tw/phpbb/viewtopic.php?t=11500
http://linux.vbird.org/linux_server/0310telnetssh.php#vnc

學生電腦安裝手冊(舊存檔)

2008-05-29T00:02:00.001+08:00

在挖資料時發現以前寫的安裝手冊，把它丟上來給有需要的人
-------------------------------歷史的分隔線-----------------------------------
一、... 傳播架構... 1
二、... 硬體環境... 1
三、... 軟體環境... 1
四、... Step 1前置步驟... 2
五、... Step 2製作開機映像檔... 3
六、... Step 3製作PXE開機選單... 8
七、... Step 4製作Ghost映像檔... 12
八、... Step 5多點傳播... 16
九、... Step 6修改各PC端IP、Hostname 19
十、... Step 7測試群組與IP.. 21
十一、參考資源... 21
十二、附錄一... 22
一、 傳播架構

PC1為製作映像檔之電腦，Multicast Server為傳播映像檔給所有電腦之伺服器，其傳播過程分為兩階段，其一：PC1 經由網路備份映像檔至Multicast Server (Step1 - 4)，其二：Multicast Server 經由網路還原映像檔給所有電腦，過程中所以使用的技術(DHCP、TFTP、PXE、GHOST)可於參考資源中查尋。
二、 硬體環境
l PC兩部(一台為Server另一台為製作映像檔用)
l PC需有PXE開機功能
l PC與Multicast Server需連接網路，屬同網段
三、 軟體環境
l Norton Ghost v8.2 Corporate Edition
l 3com Dynamic Access Boot Services
l Tftpd32 v2.83

四、 Step 1前置步驟
PC1:
依老師需求規劃分割區、安裝系統、使用者帳號和權限、網路群組名稱、TCP/IP資訊、軟體
Note
若有多個系統則考量是否需另外安裝開機選單
部份軟體在不同使用者會有註冊檔、權限問題，需登入各使用者環境，執行各類軟體測試(參閱附錄一)

Multicast Server:
安裝Ghost Enterprise、DABS、tftpd32
Note
安裝3com DABS 時安裝種類為Server

五、 Step 2製作開機映像檔
Multicast Server:
執行Ghost boot wizard

挑選TCP/IP Network Boot Image

挑選PXE Packet Driver

l 製作Ghost映像檔參數(用於Step 4):以Session Name 為Backup
-clone,mode=create,src=1,dst=@mcBackup -sure –rb
l 多點傳播參數(用於Step 5): 以Session Name 為Restore
-clone,mode=restore,src=@mcRestore,dst=1 -sure -rb

六、 Step 3製作PXE開機選單
Multicast Server:
執行Boot Image Editer

按Create a PXE menu boot file

按Add

按Browser挑選開機檔案存檔位址

按Save

選取開機選單存檔位址(需與開機映像檔為同一資料夾)

Note
第一次執行Boot Image Editor則會出現下列畫面(皆預設選項即可)

七、 Step 4製作Ghost映像檔
Multicast Server:
我的電腦→控制台→網路連線→區域連線→內容
更改為虛擬IP(可避免與實體IP的衝突)

執行TFTPD32
按Settings

勾選PXE Compatibility，按OK

設定下列資訊，按Save

啟動GhostCast Server
設定下列資訊

按Accept Clients

PC1:
進入BIOS將網路開機功能開啟
重新開機後PC1會經由網路取得 IP設定→開機選(bootmenu.pxe)→開機映像檔(bootimg.sys)→進入Ghost畫面與開始傳輸)
Note
如果在備份或還原過程過於緩慢或過多PC中斷，可能有電腦正在傳送大量封包或病毒干擾(將其暫停傳輸)

八、 Step 5多點傳播
Multicast Server:
啟動GhostCast Server
設定下列資訊

Note
這時的開機映像檔參數為下(作法請方參照Step 2)

按Accept Clients

先執行下列PC步驟，當所有電腦都連線時即可按下Send開始傳送

所有要安裝的PC(需與PC1為同一機型):
進入BIOS將網路開機功能開啟
(重新開機後PC1會經由網路取得bootmenu.pxe並執行預設的bootimg.sys進入Ghost畫面與開始傳輸)
Note
如果已設好PXE的電腦可以用Wake-On-LAN的方式分段式的啟動
MC-WOL ethernet-address [/a ip-address] [/p password]
Example1: MC-WOL 00:01:02:58:A3:C7
需注意如同時啟動過多電腦則會導致bootimg.sys傳輸中斷

九、 Step 6修改各PC端IP、Hostname
我的電腦→內容→電腦名稱
按變更

我的電腦→控制台→網路連線→區域連線→內容
選擇Internet Protocol(TCP/IP)，按內容

設定IP與 DNS資訊

開始→電腦關機→重新啟動

十、 Step 7測試群組與IP
開始→執行→輸入cmd

輸入ipconfig

將所有PC*停留此畫面檢查
選擇任一PC進入網路芳鄰檢查群組中是否有所有電腦
十一、 參考資源
tftpd32 home page http://tftpd32.jounin.net/
用Ghost軟體實現基於PXE的網路硬碟克隆http://tools.yesky.com/15/2187015.shtml
GHOST V8.0 使用詳解 http://www.51testing.com/html/31/566.html
神出鬼沒揭開Ghost 9的真面目 http://www.jcwcn.com/html/Ghost/16_48_07_890.htm
PXE——RPL的掘墓人 http://www.coollan.net/win98/PXE-RPL.htm
Intel® Boot Agent - PXE Related Resources http://www.intel.com/support/network/adapter/pro100/bootagent/sb/cs-008191.htm
Wake-On-LAN http://www.matcode.com/wol.htm
十二、 附錄一
由於使用者的權限會直接引響軟體的使用，所以切記在製作映像檔前需先登入所有使用者的操作環境，測試每一項自行安裝的軟體，否則事後的補救是極浪費時間與人力的。
一般的權限問題設置軟體執行目錄權限來解決，而某些特定的軟體則需另行找尋解決方法，已知目錄權限問題的軟體如下：
l Dr.eye 6
l Apache 2.x
l Mysql 4.0
l Cakewalk 9
l C++Builder 6
l …
操作步驟：
在任一資料夾→工具→資料夾選項

檢視→勾除”將使用簡易檔案共用”

以Dr.eye為例:
在C:\Program Files\Inventec 右鍵→內容

選安全性→按進階

勾除”從父項繼承套用到子物件…”

按移除

按新增

輸入Everyone，按確定

勾選完全控制，按確定

勾選 “以顯示從此套用到子物件…”，按確定

特定軟體
l SQL Server
解決步驟:
1. 將目錄權限開啟
2. 建置SQL使用者帳號

QR Code 雜記

2008-05-12T20:20:00.003+08:00

技術議題

字元編解碼：

ISO規格定訂為JIS(日文)，台灣行動上網連盟(OMIA)定訂為UTF-8，於不同規格的軟體解碼時會有字元集的轉換問題，使用英文則可避免此問題。

列印大小：

資料的應用方式是主要決定圖像大小的因素Symbol version(模組數)，一個黑點即是一個模組，而模組列印大小(墨點數)決定於列印與讀取裝置的解析度。(各Symbol version模組數、資料量、錯誤更正等級對照表)

QR Code Size Decision Factor

來源：http://www.denso-wave.com/qrcode/qrgene1-e.html

symbol versions

來源：http://www.denso-wave.com/qrcode/qrgene2-e.html

Printer Head Density and Module Size

來源：http://www.denso-wave.com/qrcode/qrgene3-e.html

辨視效果：

主要決定於兩區塊"影像品質"與"辨視方法"：影像品質看掃描的裝置品質(一般要求30萬像數、可近拍)、裝置設定、拍攝環境與方式，辨視方法則依Symbol version複雜度(越高辨視度相對下降)，影像處理方法(去雜訊、翻轉、樣式比對)引響辨視穩定性(正確率、失敗率、錯誤率)與所需成本(時間與空間)。

行動條碼引申參考

二維條碼目前於行動商務之應用大致可分為四類，包括：
1.自動化文字輸入：以二維條碼儲存個人資訊，如地址、電話號碼、行事曆等，進行名片、行程資料等之快速交換。
2.數位內容下載：以二維條碼儲存數位內容之基本資料、進行數位內容之下載。
3.網址快速連結：於使用手冊、產品規格、報章雜誌、廣告宣傳資料等資料附加二維條碼資料，以提供使用者進行網址快速連結、電話快速撥號等。
4.身分鑑別及商務交易：於手機上顯示二維條碼資料，作為交易身分見別資料、或行動付款憑證，可用於如入場券、販賣機、會員身份確認、行動付款等應用。
(來源：中文版-OMIA行動條碼應用標準規範v3-2_2007-06-08.doc)

OMIA行動條碼規格：

參考連結

Introduction：

Rex’s blah blah blah » 行動條碼 / 二維碼 / Mobile Barcode / QRCode

http://people.debian.org.tw/~chihchun/2006/07/04/mobile-barcode/

3公分圖案儲存4千字資訊

http://paper.udn.com/udnpaper/POH0040/121378/web/

QRCode 官方站(英文)

http://www.denso-wave.com/qrcode/aboutqr-e.html

Code Standard：

行動上網聯盟 --- OMIA

http://www.omia.org.tw/

OMIA動條碼共通規範3.2之中英文版

http://www.meworks.net/meworksv2a/meworks/page1.aspx?no=96&step=1&newsno=3830

ISO/IEC 18004:2006

http://www.iso.org/iso/iso_catalogue/catalogue_tc/catalogue_detail.htm?csnumber=43655

Survey：

マイボイスコム定期アンケート（携帯電話のＱＲコード）

http://www.myvoice.co.jp/biz/surveys/11101/index.html(英譯)

What Japan Thinks

http://whatjapanthinks.com/tag/qr-code/

Application：

QR Code and Two dimensional Bar Code News

http://2d-code.co.uk/

Bar code Insight 条码观察家

http://blog.donews.com/barcoder/archive/2007/04.aspx

All about Mobile Life

http://mobile.kaywa.com/qr-code-data-matrix/index.html

TABA臺灣農產品生產紀錄追溯網

http://www.taba.org.tw/index.asp?a=dp&mp=7&ShowSearch=Y

農產品產銷履歷諮詢服務

http://220.128.133.13/taft/admin/elearn.php

QRコードBlog

http://www.qrcodeblog.com/

いばらき農産物ネットカタログ

http://ibrk.jp/vipsv2/search.aspx?no=00021454

中央氣象局推出的手機入口網站

http://www.cwb.gov.tw/V5/wap/wap.htm

二維碼QR Code的擅場時代

http://bbs.mayacode.com/simple/index.php?t892.html

Software：

DoCoMo QR-factory

http://www.nttdocomo.co.jp/english/service/imode/make/content/barcode/tool/

フリーソフト -> QR Code Editor | Psytec

http://www.psytec.co.jp/docomo.html

OMIA與中華電信研究所合作之離線版行動條碼編碼軟體

http://www.meworks.net/meworksv2a/meworks/page1.aspx?no=96&step=1&newsno=3495

QuickMark_WebCam

http://www.quickmark.com.tw/cht/basic/download.asp#QuickMark_WebCam

Decode Library：

Open Source QRCode Library(C#)

http://www.codeproject.com/KB/cs/qrcode.aspx

A C/C++ library for decoding QR code based on JIS X 0510 and ISO/IEC18004. (C/C++)

http://trac.koka-in.org/libdecodeqr

工研院QRcode編解碼軟體(dll)

http://www.meworks.net/meworksv2a/meworks/page1.aspx?no=72518

Open Source QR Code Library(Java)

http://qrcode.sourceforge.jp/

Google ZXing ("Zebra Crossing")(Java)

http://code.google.com/p/zxing/

GPS 記錄器、相簿、工具、節點編輯...

2008-04-21T19:37:00.007+08:00

GPS應用廣泛，尤其整合了網路資源後能擴展的方向很多，本篇是一則實作測試文，為了偷懶不多作說明與修飾，若你有進一步的興趣請勤奮的點選連結，有很多DEMO可以把玩。

20080412阿里山出遊路線分享(I-gotU GT-100)

[旅程中2個大斷層，跟沒結尾的冏況，所以出現大橫貫與圖片辜兒等精采結局請勿受到驚嚇]
step 1. 安裝i-gotU Desktop
step 2. 將 *.mdb(Link) 放至 C:\Documents and Settings\******\Application Data\MobileAction\GPSTracer 取代 Tracer.mdb
step 3. 選取兩筆track→合併
---------- (分隔線)繼續下列步驟或匯出*.gpx(Link)使用其它軟體後製(edit、gpscoding、gpstagging…)---------
step 4. 於下方的"相簿"右鍵→新增圖片
step 5. 選取圖片右鍵→儲存GPS
step 6. 點選上片track 會重新載入Google Map(Ps. i-gotU Desktop圖片太多(大)可能會當)
step 7. 匯出html,gpx,kml…

(相關討論請參考：[Mobile01分享]i-gotU(GT-100)旅程紀錄或 i-gotU操作手冊)

Geocode aware

GPicSync：
Automatically geocode pictures from your camera and a GPS track log.
Picasa：
Picasa is a software application for organizing and editing digital photos, Google began offering Picasa for free download.
Google Earth：
Google Earth lets you fly anywhere on Earth to view satellite imagery, maps, terrain, 3D buildings and even explore galaxies in the Sky. You can explore rich geographical content, save your toured places and share with others.
Friendly.Flickr：
一個整合Flickr上下傳的編輯工具

Geotagging Albums

(Demo)

(DEMO)

上傳圖片前先注意有無允許自動匯入GPS資訊(否則就要手動調整囉)
You→Your Account→Privacy & Permissions→Import EXIF location data

除了在photostream 頁面下方的KML(僅單頁)
Subscribe to parkghost's photostream – Latest | geoFeed | KML

也有第三方做的 http://kmlphotos.metaltoad.com/

點選就會啟動Google Earth，紅點即是Flickr的圖片位址

(DEMO)

整體來說還有很大的進步空間…

整合Flickr與 Urmap與Google Map/Earth

(來源請參考：UrKML / UrGPX照片軌跡整合線上地圖的小工具)
匯出KMZ

Flickr with Google Earth

KML with Google Map(DEMO)

Flickr with Google Map(DEMO)
1: 5mi

1:2000ft

Flickr with Urmap(DEMO)
1:6.4km

1:200m

Editor

JOSM
File→Open→*.gpx

使用Google Map圖資
(Ps.基本上空照圖是要收費的，所以大部份OpenSource是沒有空照圖的)

左手邊垃圾桶按鈕→刪點

(隨便玩玩~呵) 繞圈圈

Desktop Componet

swinglabs > swingx-ws > JXMapViewer

一些詞條 (Wikipedia)

GPS tracking：
A GPS tracking unit is a device that uses the Global Positioning System to determine the precise location of a vehicle, person, or other asset to which it is attached and to record the position of the asset at regular intervals. The recorded location data can be stored within the tracking unit, or it may be transmitted to a central location data base, or internet-connected computer, using a cellular (GPRS), radio, or satellite modem embedded in the unit. This allows the asset's location to be displayed against a map backdrop either in real-time or when analysing the track later, using customized software. Such systems are not new; amateur radio operators have been operating their free GPS based nationwide realtime Automatic Position Reporting System since 1982.

Data loggers：
A GPS logger simply logs the position of the device at regular intervals in its internal memory. Modern GPS loggers have either a memory card slot, or internal flash memory and a USB port. Some act as a USB flash drive. This allows downloading of the data for further analysis in a computer.

GPX：
GPX, or GPS eXchange Format is an XML schema designed for transferring GPS data between software applications. It can be used to describe waypoints, tracks, and routes. The format is open and can be used without the need to pay licence fees.
Geotagging：
Geotagging, sometimes referred to as Geocoding, is the process of adding geographical identification metadata to various media such as websites, RSS feeds, or images and is a form of geospatial metadata. This data usually consists of latitude and longitude coordinates, though it can also include altitude, bearing, and place names.
Geocode：
Geocoding is the process of assigning geographic identifiers (e.g., codes or geographic coordinates expressed as latitude-longitude) to map features and other data records
Waypoint：
Waypoints are sets of coordinates that identify a point in physical space. For the purposes of terrestrial navigation, these coordinates usually include longitude and latitude, and sometimes altitude (particularly for air navigation).

Track、Route：
An ordered collection of points may be expressed as a track or a route. Conceptually, tracks are a record of where a person has been, routes are suggestions about where they might go in the future. So, for instance, there might be timestamps for each point in a track (because someone is recording where and when they were there), but timestamps for each point in a route are unlikely to be provided, because the author is suggesting it, and nobody might ever have travelled it.
KML：
Keyhole Markup Language (KML) is an XML-based language schema for expressing geographic annotation and visualization on existing or future Web-based, two-dimensional maps and three-dimensional Earth browsers. KML was developed for use with Google Earth, which was originally named Keyhole Earth Viewer. It was created by Keyhole, Inc, which was acquired by Google in 2004. The name "Keyhole" is an homage to the KH reconnaissance satellites, the original eye-in-the-sky military reconnaissance system first launched in 1976.

KMZ：
KML files are very often distributed as KMZ files, which are zipped KML files with a .kmz extension

自動分割大型檔案備份至GMail

2008-03-28T23:21:00.017+08:00

前陣子還有一台Lab的備份主機可以放系統備份，可惜在當兵期間系統就蒙主恩招，現在沒有異地備份總有一種不踏實的感覺，要定期下載備份存檔總會忘記，好在網路上也有許多免費空間可以利用，尤其是GMail這樣好用又大碗的選擇不好好利用實在是太浪費了 :P

1.申請GMail
2.安裝軟體(Postfix、Mutt、Rar)
選擇Rar的原因是只用Tar加split哪怕是傳輸中+-1Byte，就完了，rar有的加入還原資訊的選項，比較保險!!!。
Ps.執行rar指令若出現下行訊息
rar: /lib/tls/i686/cmov/libc.so.6: version `GLIBC_2.4' not found (required by rar)
表示需要GLIBC_2.4。如果沒有GLIBC_2.4可以使用rar_static

cp rar_static /usr/local/bin/rar

3.Script

#!/bin/bash
#backup to local and mail
#Author: Brandon Chen
#Email: parkghost@gmail.com

src_path=/var/www/html
dst_path=/var/www/alumni/backup/

bak_file="alumni"`date +%Y%m%d%H%M`
bak_data_recovery=15%
bak_split_size=19m
bak_mail_to=*****@gmail.com

db_user=*****
db_name=*****
db_password=*****

if ! test -d $dst_path"/mail"
then
  mkdir -p $dst_path"/mail"
fi

cd $dst_path
mysqldump -u$db_user -p$db_password $db_name > $bak_file".sql"
tar --exclude .svn -zcf $bak_file".tar.gz" $src_path

cd mail
rm -rf * #remove old files
rar a -rr$bak_data_recovery -m5 -v$bak_split_size $bak_file".rar" ../$bak_file".tar.gz" > /dev/null
rar a -rr$bak_data_recovery -m5 $bak_file".sql.rar" ../$bak_file".sql" > /dev/null

for name in `ls`
do
  mutt -s $bak_file -a $name $bak_mail_to < /dev/null
done

4.修改Postfix的最大寄送郵件大小

[root@alumni ~]# vi /etc/postfix/main.cf
message_size_limit = 40960000 #增加此行

5.加入系統排程

[root@alumni ~]# crontab -e
0 0 15,30 * * /var/www/alumni/scripts/backup.sh

消費的成長

2008-02-21T15:23:00.002+08:00

從五里迷霧中設計新產品這篇文中看到的，還滿有趣的現像，消費的成長。

You Are What You Spend

http://www.nytimes.com/2008/02/10/opinion/10cox.html?_r=2&scp=3&sq=financial+spending&st=nyt&oref=slogin&oref=slogin

PHP 的新世代

2008-02-01T17:08:00.001+08:00

曾幾何時PHP走入了開發的社群，走進企業的青睞，漸漸其它語言的框架也移植到了PHP，
講究MVC趨勢，PHP也有Template Engine(Smarty、FastTemplate、...)，在講究快速開發的，
PHP的類RoR框架如同雨後春筍一個一個出現，早之前在新興的PHP Framework中評選了Cakephp當作開發框架，
雖然Scaffolding與Bake雛型令人驚艷，可惜早在1.03的版本時，Cake仍缺少許多基礎功能需求(I18n)
與不夠完整(Form validate)，穩定性也不夠(@@花了不少時間找Bug)，
近期1.2版補足不少功能，Behaviors、Authentication、Security還滿實用的，
社群持續激蕩出新的Idea令人激賞，只是核心部份總看不到下一步的發展(連1.2文件也要藏起來....暈)。

觀看Zend Framework之整體優了不少：

架構彈性(不像Cakephp限定流程)
開發穩定(有穩定的班底、開發週期)
社群層面較廣(廠商、開發人員)
官方支持(IDE、前端Cache)
文件完整(除了core的，還有proposal可以參考)

Zend Framework 1.5.0 Preview Release now available

http://devzone.zend.com/article/3020-Zend-Framework-1.5.0-Preview-Release-now-available

還是沒有看到Zend_Build還是停留在New Proposals

Zend Framework

http://framework.zend.com/whyzf/future/

Lifting the Skirt on Zend Framework 1.5 - Zend_Form

http://devzone.zend.com/article/3030-Lifting-the-Skirt-on-Zend-Framework-1.5---Zend_Form

用設定檔來做表單似乎還不錯，看來未來整合Zend_Build會更強大

Content Indexing with Zend_Search_Lucene

http://www.slideshare.net/shahar/content-indexing-with-zendsearchlucene/
目前看到最好的例子

平平都是Google Map，還是差很多....

2008-01-30T23:03:00.001+08:00

當初看到Google Map 空照圖橫空出現，現在Street View出來了，從平面多層擴到立體全面，這就像是搜尋後所出現的"o"越來越多，一個比一個精采，不難想像View變成Video，環境與技術遲早會突破。雖然仍只有部份地區有畫面，影像也不即時，縫合的部份不夠細膩，在台鄉民，還是只能說些酸話，努力忍住口水。

台灣的Map還在弄圖資、加商店、補資訊，最最最基本的路途規畫也沒有...。

美國Google的新功能

http://maps.google.com/support/bin/topic.py?topic=10779

Street View

http://maps.google.com/support/bin/topic.py?topic=11640

http://mashable.com/2007/05/31/top-15-google-street-view-sightings/

迎擊風雪回家過年——谷歌緊急推出春運交通圖幫助出行

http://googlechinablog.com/2008/01/blog-post_30.html

台灣 Google 地圖導覽 ←還停留在簡單好操作冏!!!

http://www.google.com.tw/intl/zh-TW_tw/help/maps/tour/

引用：

幾張 Google Street View 的「驚鴻一瞥」

Google Map新功能掀隱私權爭議可採人臉偵測技術解爭端

Google Maps修改隱私政策街景圖可刪人臉與車牌

自訂副檔名搜尋

2008-01-23T20:19:00.001+08:00

SearchFileByExt.vbs


start = Now
WScript.Echo("Start:" & start)
strComputer = "." 
Set objWMIService = GetObject("winmgmts:" _ 
& "{impersonationLevel=impersonate}!\\" & strComputer & "\root\cimv2") 
 Set colFiles = objWMIService.ExecQuery _ 
("Select * from CIM_DataFile where Extension = 'mp3' OR Extension = 'wma'") 
For Each objFile in colFiles 
Wscript.echo(objFile.Caption)
'objFile
'objFile.Delete 
Next 
finish = Now
WScript.Echo("Finish:" & finish)
WScript.Echo("Cost:" & DateDiff("n",start,finish))

vbscript 版 wget

2008-01-23T20:17:00.003+08:00

PingList.vbs


<package>
<job>
<runtime>
<named
name="SourceUrl"
helpstring="HTTP檔案位址"
type="string"
required="true"
/>
<named
name="DestinationFile"
helpstring="儲存檔案位址"
type="string"
required="true"
/>
<example>
Example : wget /SourceUrl:"http://xxx/xxx.exe" /DestinationFile:"C:\Documents and Settings\All Users\桌面\xxx.exe"
</example> 
<description>
用途：下載Web檔案
版本：1.0
作者：Parkghost</description>
</runtime>
<SCRIPT language="VBScript">
If WScript.Arguments.Named.Exists("SourceUrl") And WScript.Arguments.Named.Exists("DestinationFile") Then
strUrl = WScript.Arguments.Named.Item("SourceUrl")
strFile = WScript.Arguments.Named.Item("DestinationFile")
Const adTypeBinary = 1
Const adSaveCreateOverWrite = 2
Const ForWriting = 2
Dim web, varByteArray, strData, strBuffer, lngCounter, ado 
Err.Clear 
Set web = Nothing
Set web = CreateObject("WinHttp.WinHttpRequest.5.1")
If web Is Nothing Then Set web = CreateObject("WinHttp.WinHttpRequest") 
If web Is Nothing Then Set web = CreateObject("MSXML2.ServerXMLHTTP") 
If web Is Nothing Then Set web = CreateObject("Microsoft.XMLHTTP") 
web.Open "GET", strURL, False 
web.Send 
If Err.Number <> 0 Then 
SaveWebBinary = False 
Set web = Nothing 
WScript.Quit
End If 
If web.Status <> "200" Then
SaveWebBinary = False 
Set web = Nothing 
WScript.Quit
End If 
varByteArray = web.ResponseBody 
Set web = Nothing

'Save the file
'On Error Resume Next 
Set ado = Nothing 
Set ado = CreateObject("ADODB.Stream") 
If ado Is Nothing Then 
Set fs = CreateObject("Scripting.FileSystemObject") 
Set ts = fs.OpenTextFile(strFile, ForWriting, True) 
strData = "" 
strBuffer = "" 
For lngCounter = 0 to UBound(varByteArray) 
ts.Write Chr(255 And Ascb(Midb(varByteArray,lngCounter + 1, 1))) 
Next 
ts.Close 
Else 
ado.Type = adTypeBinary 
ado.Open 
ado.Write varByteArray 
ado.SaveToFile strFile, adSaveCreateOverWrite 
ado.Close 
End If 
SaveWebBinary = True 
Else
WScript.Arguments.ShowUsage()
End if
</SCRIPT>
</job>
</package>

解決vbscript len function 無法判斷 double byte 字元

2008-01-23T20:12:00.001+08:00


strText = ("中文123")
WScript.Echo(strText  & ":" & Len(strText))
WScript.Echo(strText  & ":" & newLen(strText))

Function newLen(text)
oldlen = Len(text)
newLen = 0
For i = 1 To oldlen
If Asc(Mid(text,i,1)) > 0 Then
 newLen = newLen + 1
Else
 newLen = newLen + 2
End If
Next
End Function

網路連線測式(Ping by List)

2008-01-23T19:50:00.001+08:00

PingList.vbs


Msg = "站點" & vbTab & paddingStr("位址",27) & vbTab & paddingStr("IP",15) & vbTab & "回應時間" & vbNewLine
Set objWMIService = GetObject("winmgmts:\\.\root\cimv2")
Set objXML = CreateObject("Microsoft.XMLDOM")
objXML.async = False
objXML.Load "ipList.xml"
If objXML.parseError.errorCode <> 0 Then
 WScript.Echo("設定檔載入錯誤")
End If

Set objList = objXML.getElementsByTagName("*")
Set nodes = objList.item(i).selectSingleNode("//site").childNodes

For Each node In nodes
 Dim ProtocolAddress
 Dim ResponseTime
 Set objNamedNodeMap = node.attributes  
 Set objPing = objWMIService.ExecQuery("select * from Win32_PingStatus where address = '" & node.text & "'")
 For Each objStatus in objPing
  ProtocolAddress = objStatus.ProtocolAddress
  ResponseTime = objStatus.ResponseTime
 Next 
 Msg = Msg & objNamedNodeMap.item(0).text & vbTab & paddingStr(node.text,25) & vbTab & paddingStr(ProtocolAddress,15) & vbTab & ResponseTime & vbNewLine 
Next
WScript.Echo(Msg)

Function paddingStr(str,lenght)
 If Len(str) > lenght then
  paddingStr = str
 Else
  'todo:double byte analysis
  paddingStr = str &  Space(lenght - Len(str))
 End If
End Function

ipList.xml


<?xml version="1.0" encoding="big5"?>
<site>
<item name="HiNet">www.hinet.net</item>
<item name="Yahoo">tw.yahoo.com</item>
<item name="Pchome">www.pchome.com</item>
</site>

Ldap Install Guide

2007-05-12T13:55:00.002+08:00

  
yum install openldap-servers.i386 openldap-devel openldap-clients compat-openldap

#加入Samba.schema

 cd /etc/openldap/schema
wget http://www.samba.org/cgi-bin/cvsweb/samba/examples/LDAP/samba.schema?rev=1.1.4.1
mv samba.schema?rev=1.1.4.1 samba.schema

#編輯ldap設定檔


vi /etc/openldap/slapd.conf

#slapd.conf #add

  include /etc/openldap/schema/samba.schema

#取得加密密碼

 
slappasswd -s root-dn-passwd {SSHA}F+zPYmGidD3HdO5eO3aidWTKjaRZDsUe

#modify

 suffix "dc=im,dc=nuu,dc=edu,dc=tw" rootdn "cn=Manager,dc=im,dc=nuu,dc=edu,dc=tw" rootpw {SSHA}n9G1cmwcsikHDF1OAByZzrjr1f836S3i

#chown

 chown -R ldap:ldap /var/lib/ldap/

#TLS

./CA -newcert
./CA –newca
openssl req -new -nodes -keyout newreq.pem -out newreq.pem
./CA -sign
mkdir /etc/openldap/ssl
mv demoCA/cacert.pem /etc/openldap/ssl
mv newcert.pem /etc/openldap/ssl/servercrt.pem
mv newreq.pem /etc/openldap/ssl/serverkey.pem
chown ldap:ldap /etc/openldap/ssl/serverkey.pem
chmod 600 /etc/openldap/ssl/serverkey.pem 
scp /etc/openldap/ssl/cacert.pem 
root@203.64.178.106:/etc/openldap/ssl/cacert.pem

在客戶端的/etc/openldap/ldap.conf 中加入
TLS_CACERT /etc/openldap/ssl/cacert.pem ,
注意此文件時從服務器上生成的。

Some Selinux Tips

2007-05-12T13:54:00.003+08:00

vi /etc/selinux/targeted/booleans.local
allow_ypbind=0
ftpd_disable_trans=1
httpd_disable_trans=1
or
setsebool ftpd_disable_trans 1
setsebool httpd_disable_trans 1
for vsftpd
modprobe ip_nat_ftp 2> /dev/null
modprobe ip_conntrack_ftp 2> /dev/null
for openwebmail
touch /var/log/openwebmail.log
chcon -u system_u /var/log/openwebmail.log
chcon -t httpd_sys_script_rw_t /var/log/openwebmail.log
chcon -t httpd_unconfined_script_exec_t /var/www/cgi-bin/openwebmail/openwebmail*

for awtstats
chcon -t httpd_unconfined_script_exec_t /usr/local/awstats/wwwroot/cgi-bin/*