* 修正了Blogger XML匯出時，PM變AM的問題
* 先拿掉了其實不能用的Blogger XML匯入功能

Blogtrans開發密辛：

2009/05/23: 來寫Blogger匯入功能好了，先寫個不能動的程式碼，之後再補完

一年多沒動Blogtrans後…….

2011/03/05: 疑？有一年多前寫好的code還沒發佈耶，裡面有自動化測試、對無名的XML容錯、和Blogger匯入功能耶。來合併一下發佈好了…

……..

使用者：這個MT檔有問題耶，我把他匯出Blogger格式再匯入就讀不進來了

……..

對不起，有問題的大概不是MT檔，是Blogger匯入的功能和作者的腦袋…..Orz

http://miaout17.github.com/psychedelic/

Blogtrans這次的更新如下：

• 針對無名備份檔格式變化，做了對應修正
• 不再以日期當版本號，以後將用1.0.0這種格式的版本號

請至sourceforge下載Blogtrans 1.0.0版。

碎碎唸：看著自己三年前用不熟的python寫的程式，真是有砍掉重練的衝動…不過這是經過許多測試的code，能動就繼續用吧…

我的投影片已上傳至SlideShare:

早上更新了一下RichRC的預設設定，如果有安裝hirb-unicode的話就會自動載入。現在只要執行

1

gem install richrc wirble hirb hirb-unicode

把需要的gems安裝好，再到rails app目錄下執行

1

richrc

就可以使用具有語法高亮、自動完成、顯示資料表格（並修正Unicode排版問題）的rails console了。

我試著將這些小工具做成使用簡單的懶人包，希望能讓大家（尤其是新手）開發Rails時能夠更順手。

關於細節及進階的客製化可參看：

• RichRC: 部落格文章、Github源碼
• hirb-unicode: 部落格文章、Github源碼

P.S.進階的使用者可以考慮irb的另一個選擇：ripl。ripl內建的功能比irb少，但源碼只有270行左右，其精簡的架構保留了非常高的擴充彈性，目前也已經有語法高亮、多行輸入、rails整合等二十多個插件可以使用。可以參看Godfat的文章：ripl-rc (1) (ripl, an irb replacement)

使用hirb前：

（真是幾乎無法閱讀）

使用hirb後：

好多了，但是表格歪掉看起來還是很討厭。

其實表格歪掉是由於hirb無法正確計算全型字元的寬度。於是我就包了hirb-unicode這個plugin，以解決這個問題。使用hirb-unicode後：

安裝hirb-unicode

在shell下執行：

1

$ gem i hirb-unicode

使用hirb-unicode

如果是在irb中使用

1
2

gem 'hirb-unicode'
require 'hirb-unicode'

即可自動載入hirb及hirb-unicode，並自動修正unicode排列的問題。

若在bundler的環境下使用（如Rails 3），請在Gemfile中加入

1

gem 'hirb-unicode'

以便載入gem。（或者用RichRC載入也可以喔）

然後在可以在.irbrc中或直接在irb進行require的動作：

1

require 'hirb-unicode'

Misc

其實hirb-unicode的源碼不到30行，利用unicode-display_width gem計算長度，再包裝一下切字串的method，其實一下就做完了。原本是想簡單的上個patch到hirb，但作者希望不要增加hirb的dependency，想要將這個功能包成另外的plugin，於是花了很多天往返討論。

Anyway，終於把這個功能包出去了。Happy coding!!

在rails 2中，要使用這些gems提供的擴充功能，只要簡單地在irb下載入gems就可以了。但rails 3使用了bundler管理gems，必需在Gemfile中先加入要使用的gems才可以使用。但修改Gemfile會造成一些問題：這些gems的設定該commit回版本控制系統嗎？我認為不應該，每位開發者可能有自己的偏好設定。另外，使用者可能是clone其他開發源碼的專案，而無法commit東西回去。然而，當有其他人修改Gemfile時，可能會造成conflict需要處理。

對於這個問題，感謝xdite的文章「在 Rails3 上使用漂亮的 console」，指出了可以在bundler.setup執行前搶先載入額外的gems，避過修改Gemfile的問題。文中的做法每要在一個rails app中執行console時，需要修改development.rb, boot.rb, console/rails其中兩個檔案，還是要費些工夫。對於常常clone project下來survey的人來說，這點可能尤其麻煩。

有沒有可能避過這些修改檔案的問題呢？「懶惰的工程師需要勤奮的發明工具」，為了懶得每次修改檔案，我動手寫了一個客製化Rails 3 console的工具：RichRC。

安裝

在shell下輸入：

1

$ gem install richrc hirb wirble

P.S. 雖然RichRC預設載入hirb及wirble，但RichRC其實不相依於hirb及wirble這兩個gems。請參看「客製化」一節。

執行

1
2

$ cd railsapp
$ richrc

就這樣，不用修改任何檔案，只要將rails console的指令改為richrc即可。richrc預設會執行下列動作：

• 載入並啟動wirble
• 載入並啟動hirb
• 設定ActiveRecord的log顯示於console中

不用修改任何檔案，三個願望一次滿足。

客製化

雖然本文的標題為「RichRC: 在Rails3中輕鬆使用hirb及wirble的懶人包」，但RichRC其實可以任意客製化Rails 3 console載入時額外運行的程式。

RichRC的原理，其實是在「bundler.setup執行前」及「application載入後」執行特定的程式碼。RichRC會讀取一個設定檔，再依設定檔中的邏輯執行初始化的動作。RichRC啟動時，會試圖依下列順序載入設定檔：

1. 當前目錄下的.richrc
2. 使用者家目錄下的.richrc
3. gem中的預設設定

目前gem中的預設設定就如上一節所述：載入hirb及wirble，並設定ActiveRecord的logger。要執行客製化，可以在在console下執行：

1

$ richrc customize

即可將預設的設定檔複置到./.richrc。接下來就可以修改並加入您想要的gems及設定，前文中有提到，RichRC並不相依於hirb及wirble，如果你不想要這些gems的話，可以將它們拿掉。以下是預設的.richrc：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

before(:setup_bundler) do
  # You can load extra gems here.
  require 'irb'
 
  begin
    gem 'wirble'
    require 'wirble'
    Wirble.init
    Wirble.colorize
  rescue LoadError
    puts "Failed to load wirble"
  end
 
  begin
    gem 'hirb'
    require 'hirb'
    Hirb.enable
  rescue LoadError
    puts "Failed to load hirb"
  end
end
 
after(:load_application) do
  ActiveRecord::Base.logger = Logger.new(STDOUT)
end

注意：只有在before(:setup_bundler)中，才可以載入額外的gems。另外，在after(:load_application)後，rails的環境才被載入完成，才可以去設定ActiveRecord的logger（您亦可在此對rails其他元件做設定）。

備註

注意：在.richrc引入與Gemfile中的gems（及他們所相依的gems）衝突的話，可能會造成問題。

RichRC以MIT License開放源碼，源碼位於github，有問題歡迎回報。

所有相關的範例源碼都放在github上：https://github.com/gaagaaga/warrior-tuesday

祝武運昌隆 XD

因為最近在練Rails3 + MongoDB，於是選了這個當作自己練習的題目，專案名稱暫定為”AlgoCat”，也就是「演算貓」(Algorithm Cat)。這個名字是想告訴自己「在演算法的世界中，一隻大貓努力向上爬」。AlgoCat的目標為「追踨算法競賽的活動及競賽成績，並標記算法競賽及題庫中，解過及待學習的題目」。

AlgoCat還相當的不完整，可以說還在Pre-Alpha的階段吧。目前AlgoCat提供的功能僅有：查詢TopCoder Algorithm Rating的排行、觀看TopCoder使用者的成績記錄、追踨某些特定的TopCoder使用者並進行比較（以折線圖方式呈現）。

這篇文章其實不是打算announce這個網站，而是將自己的開發筆記整理一下。目前的成果可以在algocat.heroku.com看到。

Environment & Framework

• Rails 3
• MongoDB
• Mongoid
• Devise

目前是Deploy在Heroku+MongoHQ上，不排除移到其他地方。這些環境的設定可以參考上一篇。

Fetching Data from TopCoder

TopCoder本身提供了XML Feed的介面，用Ruby抓取資料只要簡單地用Net::HTTP和和REXML即可。

由於AlgoCat並不是一開始就抓好TopCoder的所有資料。有些資料是等使用者查詢才向TopCoder抓，並存放在資料庫。這方面的行為應該用Delayed Job之類的方法放在背景處理。AlgoCat在開發初期就有想到這點，但因為早期開發實作方便，還是暫時在前景處理。之後會移到background task去。BTW, Heroku第一隻worker就要收錢….之後可能會想些替代方案。

Mongoid

基本上照著官網的教學，應該可以做到大部份的功能。但要用NoSQL的資料庫，只學Object Mapper而不了解資料庫本身，應該會造成最佳化的困難。討論一些我踩到的問題好了：

@users = User.asc(:rating).limit(10)

現在，呼叫多次@users.each，其實會造成多次的query。解決方法官網有寫，只要呼叫cache，或是直接@user=@user.to_a亦可

上面這個算是小問題，只是要熟析Mongoid的細節。但另一個問題是Mongoid缺乏了對MongoDB的一些簡單低階操作。舉例來說，如果db中有一個articles的collection，而每篇文章中有一個以tags為key的array，array中存放了tag的字串。依MongoDB的官方教學，要增加一個tag的query可以這樣下：

db.articles.update( { title: "Rails3" }, { $addToSet : { tags: "Web" } } );

或者這樣亦可

db.articles.update( {title: "Rails3", tags: {"$ne": "Web"}}, {"$push": { tags : "Web" } } );

這兩者者可以確保「在文章原本沒有該tag的情況下，將tag插入」

但Mongoid的封裝似乎只支援這樣的動作：

1
2
3
4
5

article = Article.where( :title=>"Rails3" ).first
unless article.tags.elem? then
  article.tags << "Devise"
  article.save
end

原本是DB上的一個query，變成一定要將資料拉回app server判斷，再將「所有tags」寫回去，效能應有不小的差距。

Rails jquery-ujs

Rails內建了一些與JavaScript&AJAX相關的helpers，並以rails.js與prototyle javascript library橋接。如果想用jQuery，又想保留rails的helpers功能的話，可以用jquery-ujs中的rails.js將原本的蓋掉，就可以將原本prototype相關的javascript刪掉，換上jquery。

AlgoCat目前的「追踨使用者」(Watch)功能是用AJAX + jQuery做的。

Chart Library
要在網頁中繪製圖表，目前應該有三大主流：
1.在Server端繪製圖表，再傳送圖片到Client端
2.萬惡Flash (?)
3.以JavaScript為基礎，操作HTML Canvas之類的方式繪作圖表

其中第一點是傳統的方法，從以前的GnuPlot，到現在可以把資料丟到雲裡給Google畫圖(Google Chart API)，但其缺點是比較不容易做圖表的互動操作。我個人不喜歡使用Flash作圖表，覺得多了一層整合上的麻煩，而且有點拖慢網頁的速度，但Flash應是最容易實作圖表互動操作的方式。而隨著瀏覽器對Canvas的支援趨近完整，JavaScript Engine運行的速度越來越快，用JavaScript在Client繪製圖表也成了選擇之一。而且靠JavaScript及DOM，同樣也可以進行與圖表的互動操作。

在開發AlgoCat時，一開始我選擇嘗試googlecharts gem，結果發現目前的版本還滿雷的。首先，我遇到了Linc Chart中，y軸座標值完全不對的問題。後來我發現其實這個Issue是同一個問題。試了一下後，決定git clone一份googlecharts下來，git bisect找bug。後來是把這個問題修掉了，但似乎還有其他小問題存在。之後有空應該會整理一下，發patch或pull request吧…

後來考慮到可能要在圖表上做互動，所以還是換回JavaScript-based的flot。Flot是一套以jQuery為基礎的JavaScript Plotting Library。

BTW，因為flot相依於jQuery，所以rails內建的Prototype一定要移掉，不然會相衝。我使用了前段提到的jquery-ujs。

Ongoing work
目前最大的問題，應該就是Fetch XML DATA應該要放在背景做吧。然後會補強自動更新的機制、加上Codeforces或Uva題庫功能等…

Source Code?
目前還沒有打算open source，而且可能還會大規模的重構，等我整理好code後有可能會open。

Installing Rails 3

請看我的上一篇文章

Installing MongoDB

我的開發環境是Ubuntu和Windows（在家用Ubuntu、出外用Windows，所以試了兩個環境）。Linux的話，個人建議不要用package system(apt/yum)的MongoDB。首先，絕對不要apt-get install mongodb。我一開始練習MongoDB時，是用apt-get裝的，會抓到一個舊到爆炸(1.4.4)的stable版本，這個版本mongo console client打錯指令還會crash（這是stable版嗎？）。

如果一定要用package的話可以考慮apt-get install mongodb-unstable或apt-get install mongodb-snapshot。但我是直接去官網抓build好的版本，再sudo copy到/usr/bin就好了。

MongoDB Object Mapper: Mongoid

Mongo的Ruby Object Mapper有很多種，可以參考官網上的列表。我選用Mongoid的原因有二：

• Mongoid的官網做的還滿有模有樣的，看樣子應該有認真維護 XD
• Devise認證機制內建支援Mongoid

安裝照著官方installation文件做就好了：

1
2

  gem i mongoid –pre
  gem i bson_ext

如果是Windows系統的話，mongo gem需要build一些native code，所以推薦裝RubyDevKit，裝完就可以順利的安裝mongo相關gems。

Mongoid使用上非常的簡單，Mongoid蓋掉了ActiveRecord的generators。要快速建出一個能動的環境，在設定好gems後只需要：

1
2

  rails g mongoid:config
  rails g scaffold article title:string content:string

只要mongod開著，這樣就可以動了，不用做data migration。唯一會踩到的雷可能是用了舊版的mongodb，所以就如前面提到的，請不要apt-get install。

Authentication: Devise

Devise是一套不錯的rails認證機制，而且內建對Mongoid的支援
一樣照著官方文件做就能動，整合非常簡單。安裝：

1

  gem i devise

整合進app：

1
2

  rails generate devise:install
  rails generate devise User

接下來只要在view裡把link接一接就好。如果原本就用過devise，基本上用ActiveRecord或Mongoid沒啥差別。要速查link path helpers的話可以用rake routes。

唯一要注意的地方是要記得自己打index，我原本以為Model中的

1

  devise :database_authenticatable, :registerable #……

這行，會自動在Mongoid Model上加上index。但rake db:mobgoid:create_indexes後，User collection上還是沒有任何index，所以要自己在Model上加：

1

  index :email, :unique => true

然後再執行一次rake db:mongoid:create_indexes，把index打上去。

另外，有人做了Rails3+Mongoid+Devise的整合包。但Devise和Mongoid的整合實在太簡單了，不彷自己做一遍，也比較容易了解細節。

Deployment Environment: Heroku & MongoHQ

Heroku是一個雲端的Rails Hosting Platform，其使用方式應該很多文章介紹過了，這裡就不多廢話。基本上注冊好heroku帳號後，在rails app路徑下：

1
2

  heroku create appname
  git push heroku master

就可以把app deploy上去。

MongoHQ是一個雲端的MongoDB Hosting服務，提供了免費(16MB Limit)及付費的MongoDB空間。由於Heroku與MongoHQ有合作，並將MongoHQ做成了Heroku的一個addon，所以整合特別簡單。這裡是官方文件，只要下一行指令：

1

  heroku addons:add mongohq:free

heroku就會自動向MongoHQ註冊一個資料庫，並設定rails的環境變數。注意官方文件有個地方沒講的很清楚，在config/mongoid.yml中，多加上mongohq的設定：

1
2

  production: 
    uri: <%= ENV['MONGOHQ_URL'] %>

設定好後，MongoID就可以吃到MongoHQ的環境變數，並正確地建立資料庫連線。

順便列一下Heroku合作的資料庫中，免費方案的比較：
* Heroku內建Database: 5MB (Postgre SQL)
* Redis To Go: 5MB (Redis)
* MongoHQ: 16MB (MongoDB)
* Cloudant: 100MB, 500k requrest per month (CouchDB)
開發筆記待續…