firestorage Tech Blog

大容量対応自作シャーシ step9

2012-03-01T20:00:00.000+09:00

こんばんわ。firestorage技術担当の長男太郎です。
本日は第八弾です。

HDD固定ステイの量産バージョンが届きましたので、
急ぎご報告させて頂きます。

10個取り付けて固定することの出来る、
試作した板に固定してみました。

10台並ぶと壮観です。

反対側から

HDDコネクタを取り付けた図です

HDDも取り付けました

反対側です。着脱補助の金具を取り付けています。

今回はシャーシに固定する板を試作して取り付けましたが、
シャーシに固定するネジ位置の調整や重量の問題(結構重いです）。
その為、一枚の板ではなく、長方形の板2枚で固定する形にする予定です。
そちらが完成次第またご報告させて頂こうと思います。

firestorageで使用しているハーフサイズのシャーシなのですが、

左右どちらに寄せることも可能です。

左右どちらに寄せることも可能で、汎用性は高いと思います。
需要はあるのでしょうか。
ご希望の方いらっしゃいましたら、
プロフィールのメールにご連絡ください。

大容量対応自作シャーシ step8

2012-02-22T15:00:00.000+09:00

こんばんわ。firestorage技術担当の長男太郎です。
本日は第八弾です。

前回設計しました、HDD固定用ステイの現時点での最終版が出来ましたので
報告させて頂こうと思います。

設計　＞　試作　＞　修正して再試作
と繰り返し、本日、最終版が届きました。

実際に配置した場合を想定して固定してみました。
コネクタが取り付けてある、ネジ止めしたものが現状の最終版になります。

左が最終版になります。

真ん中と右は試作過程のバージョンになります。

反対側からの図になります。右が最終版です。

HDDを1台だけ入れた形です。着脱用にL字の金具を付けています。

HDDを全てに装着してみました。

シャーシには1つのHDD固定ステイについて、
ネジ3箇所で固定し、それとは別に上部で連結させる予定です。
続いて、シャーシや連結用のステイの作成に移りたいと思います。
随時、ご報告させて頂こうと思います。

大容量対応自作シャーシ step7

2012-01-30T13:00:00.000+09:00

こんばんわ。firestorage技術担当の長男太郎です。
本日は第七弾です。

試作を続けている大容量対応の自作シャーシですが、
目指すスペックは以下でやってきました。

・4UにマザーとHDDを収める
・1つのシャーシに出来るだけ多くのHDDを搭載する
・なるべく汎用パーツを使用する

前回作成したステイを用いてシャーシに配置した場合を想定して冷却効率のテストを行いました。
ファンを12cmファンを6個使い、配置場所を変更して試しましたが、
3列配置した場合、最後列が冷やせて３７℃くらいになってしまっていました。
これではHDD故障のリスクが高くなってしまいますので、
別の冷却方式を考えます。
例えば１列ごとに箱を作り、ファンを取り付ける。
吸気と排気できる形で考えておりました。

しかし、1台で４Uのシャーシに45台のHDDでは重量の問題など
解決しなければならない問題が山積みでした。

そこで！1台４Uではなく、現在、firestorageのサーバーと同じ2.5Uにし、
HDD台数は24台に方針を変更しました。
2.5Uに収める為にはHDDを今まで通りの縦置きは出来ません。
その為、下記のステイを設計、製作中です。


設計図になります。今回からCADを使って設計しています。 Jw-cadのwindows版を使っています

CADは実寸大で作成できますので、切り抜くことで簡単に試すことが出来ます

組み立てるとこのようになります

HDDに取り付けた図になります。完成予想図ですね

実物が完成しだい、またご報告させて頂こうと思います。

大容量対応自作シャーシ step6

2011-12-14T20:41:00.000+09:00

こんばんわ。firestorage技術担当の長男太郎です。
本日は第六弾です。

前回設計図を公開させて頂いたステイが出来ましたので、
ご報告させて頂きます。

こちらが完成したステイになります

バックプレーンを3台設置するとこんな感じです

これを予定の45台分、3列つないだ形です。

別角度より。負荷を避ける為に養生テープで固定してます。

次はこのステイを固定できるシャーシを設計していきたいと思います。
また、HDDが傾かないように固定するブリッジも必要になってきますので、
合わせて設計し製作していく予定です。

取り急ぎご報告でした。
続きは次回へ。

大容量対応自作シャーシ step5

2011-12-12T20:25:00.002+09:00

こんにちわ。firestorage技術担当の長男太郎です。
本日は第五弾です。

まずは前回の45台接続テスト時にLinuxでどのように認識したかですが、
下記のようになりました。

-----------------------------------------------
Disk /dev/sda: 40.0 GB, 40020664320 bytes
Disk /dev/sdb: 160.0 GB, 160000081920 bytes
Disk /dev/sdc: 160.0 GB, 160000081920 bytes
Disk /dev/sdd: 160.0 GB, 160000081920 bytes
Disk /dev/sde: 160.0 GB, 160000081920 bytes
Disk /dev/sdf: 160.0 GB, 160000081920 bytes
Disk /dev/sdg: 160.0 GB, 160000081920 bytes
Disk /dev/sdh: 250.1 GB, 250059350016 bytes
Disk /dev/sdi: 750.2 GB, 750156374016 bytes
Disk /dev/sdj: 160.0 GB, 160000081920 bytes
Disk /dev/sdk: 160.0 GB, 160000081920 bytes
Disk /dev/sdl: 160.0 GB, 160000081920 bytes
Disk /dev/sdm: 160.0 GB, 160000081920 bytes
Disk /dev/sdn: 160.0 GB, 160000081920 bytes
Disk /dev/sdo: 160.0 GB, 160000081920 bytes
Disk /dev/sdp: 160.0 GB, 160041885696 bytes
Disk /dev/sdq: 160.0 GB, 160000081920 bytes
Disk /dev/sdr: 160.0 GB, 160000081920 bytes
Disk /dev/sdu: 160.0 GB, 160000081920 bytes
Disk /dev/sdt: 160.0 GB, 160000081920 bytes
Disk /dev/sds: 160.0 GB, 160000081920 bytes
Disk /dev/sdv: 160.0 GB, 160041885696 bytes
Disk /dev/sdw: 160.0 GB, 160000081920 bytes
Disk /dev/sdx: 160.0 GB, 160000081920 bytes
Disk /dev/sdy: 160.0 GB, 160000081920 bytes
Disk /dev/sdz: 160.0 GB, 160000081920 bytes
Disk /dev/sdaa: 160.0 GB, 160000081920 bytes
Disk /dev/sdab: 160.0 GB, 160000081920 bytes
Disk /dev/sdac: 160.0 GB, 160000081920 bytes
Disk /dev/sdad: 250.1 GB, 250059350016 bytes
Disk /dev/sdae: 250.1 GB, 250059350016 bytes
Disk /dev/sdaf: 160.0 GB, 160000081920 bytes
Disk /dev/sdag: 160.0 GB, 160000081920 bytes
Disk /dev/sdai: 160.0 GB, 160000081920 bytes
Disk /dev/sdah: 160.0 GB, 160000081920 bytes
Disk /dev/sdaj: 160.0 GB, 160000081920 bytes
Disk /dev/sdak: 160.0 GB, 160000081920 bytes
Disk /dev/sdam: 160.0 GB, 160000081920 bytes
Disk /dev/sdal: 160.0 GB, 160000081920 bytes
Disk /dev/sdao: 160.0 GB, 160000081920 bytes
Disk /dev/sdan: 160.0 GB, 160000081920 bytes
Disk /dev/sdap: 160.0 GB, 160000081920 bytes
Disk /dev/sdaq: 160.0 GB, 160000081920 bytes
Disk /dev/sdat: 160.0 GB, 160000081920 bytes
Disk /dev/sdas: 160.0 GB, 160041885696 bytes
Disk /dev/sdar: 160.0 GB, 160000081920 bytes
-----------------------------------------------

HDDの台数の都合によりいろんなサイズのHDD混ざっています。
sdaからアルファベット順に認識されていきますが、
sdzまでいくとsdaaとなるようです。
認識の順番の関係か、完全にアルファベット順にはならないようです。

さて、これで接続試験は完了した訳ですが、
バックプレーン搭載可能なシャーシの設計をしなければなりません。
前回のシャーシはまずHDDを出来るだけ搭載し、接続テストを行う事を目的としておりました。
今回からはラックマウントする際の事を考慮しながら設計していこうと思います。

前回は板厚1.5mmのシャーシを作成したのですがHDDコネクタを付ける為に20mmのスペーサーを利用していました。
今回も利用するのですが、このスペーサーの雄ネジ部分は3mmあります。
板厚1.5mmだともう半分の1.5mmは突き抜けてしまいます。
真横にラックレールを付ける場合は問題ないかと思いますが、
使用しているサーバーラックの関係上、既製品のラックレールを使用すると
ラックレールの幅を考慮する必要が出てくる為、シャーシの幅を狭める事になってしまいます。
その為、既製品のラックレールのではなく専用のレールかステイを作成することにしました。

しかし、前述した通りスペーサーのネジが飛び出てしまいます。
前回もそうでしたが、端から端まで使いますので専用に設計するとしても、
ネジが飛び出ていてはメンテナンスもなにもありません。

そこで、下図のようなステイを設計しました。

バックプレーン用ステイ

3mm厚の板にネジ穴を開け、そこにスペーサーを取り付け、
バックプレーンを載せ固定します。一列に3台バックプレーンが搭載できます。
3mm厚を使うことによりスペーサーの雄ネジ部分の長さを全て吸収出来ます。
また、シャーシとの接続用にバカ穴を開け、シャーシは1mm厚に変更し、
雄ネジ部分が4mmのネジを利用することによりシャーシの裏側にはネジが飛び出ないようにしました。
これがうまくいけばシャーシのネジ穴も少なくて済みます。

後は板金屋さんからの到着を待つとします、今回はここまでになります。
続きは次回で！

大容量対応自作シャーシ step4

2011-12-09T20:33:00.004+09:00

こんにちわ。firestorage技術担当の長男太郎です。
本日は第四弾です。

前回はご紹介したバックプレーンを使っての
接続テストのご報告です。

まだ固定するアングルが無いので横において接続してみました

電源ケーブルを接続

SATAケーブルを本体に接続


起動してみました、LEDが付いているんですね

本日は取り急ぎここまでのご報告です
45台をLinuxがどう認識するのかなど興味は尽きません。

次回に続きます。

大容量対応自作シャーシ step3

2011-12-01T19:59:00.002+09:00

こんにちわ。firestorage技術担当の長男太郎です。
本日は第三弾です。

前回の反省

電源・SATAケーブルの取り回しが煩雑
接続ケーブルが多すぎて故障した場合の問題発見が困難

簡単に言えばメンテナンス性が悪いに尽きるのですが
やはり、SATAとポートマルチプライヤの接続のケーブル
それぞれのHDDに電源を供給するケーブルをまとめるしか方法は無さそうです

そうなると

基板を設計する
使えそうなバックプレーンを探す

この２つに選択肢が限られてしまうのですが流石に基板設計の
ノウハウはまだ無いので、使えそうなバックプレーンを探すことにします。

一番先に思いついたのが、RAIDボックスなど外付けのHDDケースの
バックプレーンを移植してはどうかなと言うことでした。
但し、RAID機能が付いていないポートマルチプライヤ対応のBOXです

ドライブドアSATAボックス5BAY（EX35ES5）　但し販売終了

探しに探した結果、上記の「ドライブドアSATAボックス5BAY」がよさそうなのですが
販売終了で、現行機種では「裸族のインテリジェントビル5Bay USB3.0+eSATAコンボ（CRIB535EU3）」
になってしまうのですが、この機種はRAID機能とか余計な機能が付いています。

困った挙句、いろいろ調べてると、coneco.netの商品レビューに興味深い記述が…
http://club.coneco.net/user/13212/review/33523/

・LED基盤
メーカー：CFI
型番：CFI-B53PM LED BOARD REV.A　

と、バックプレーンの記述が載っていました
結局海外サイトで調べてみると、かなり一般的に使われている
バックプレーンの様です。

販売終了の製品のバックプレーンを売ってくれるか心配でしたが
なんとか入手することができました。
http://www.chyangfun.com/

CFI-B53PM　表面

CFI-B53PM　裏面

これなら、複雑なケーブルの取り回しも必要なさそうです…
次回はこのバックプレーンを使って、45台を駆動させる実験を行なってみようと思います。

大容量対応自作シャーシ step2

2011-11-22T18:38:00.003+09:00

こんにちわ。firestorage技術担当の長男太郎です。
本日は第二弾です。

まずはカードのテストを行います、配線がみっともないですね…

とりあえず、つなぎます

無事点灯しました

とりあえず、11台接続してみました

まず試作台に底上げの為の六角を挿入します(2cmの3パイ)

ポートマルチプライヤカードとSATAのパーツもネジ止めします

なにやら凄い事になりそうな予感…

樹脂の六角だとたよりないので金属製に変更

配線完了ですが・・・、当初考えていた2cmの隙間にケーブル類がおさまりそうにありません

それでもかまわず搭載してみましょう、グラつくので養生テープで補強します

熱くなりそうなので、とりあえず12cmファン

美しくない・・・

マザーとの接続は悲惨な感じです

試験台に40台を搭載することは成功したのですが
あくまで試験台上の話で、ケーブル類が思いの外大量に発生していて
うまくラックに収まらないことが判明しました…

これはコンセプトを変更しなければならないかもです
この続きはstep3で

大容量対応自作シャーシ step1

2011-11-21T16:27:00.017+09:00

こんにちわ。firestorage技術担当の長男太郎です。
現在、firestorageで新たなサービスを開始するにあたり現状のシャーシでは対応できない為
新たなシャーシを開発しておりますのでその過程を公開させて頂こうと思います。

目指すスペックは以下になります。
・4UにマザーとHDDを収める
・1つのシャーシに出来るだけ多くのHDDを搭載する
・なるべく汎用パーツを使用する

まず、ケースですが4Uで最大詰めるケースで入手しやすいケースは
supermicro製の[ SC847E16-R1400LPB ] ではないでしょうか？

[ SC847E16-R1400LPB ]

前面に24台、背面に12台の合計36台詰めますが
価格が16万円ほどしますので、選択肢には入りませんでした。

と思ったら、45台入るケースもあるんですね

ストレージ拡張ユニット S1030

お値段は\247,800円で、拡張ユニットなのでマザーは搭載出来ない様です。

あと、60台入る製品も存在する様です
http://cloud.watch.impress.co.jp/docs/news/20110510_444444.html

スペックは以下で、とても気軽に試せるものではありません。
E60X（3TB SATA HDD×60、デュアルエクスパンダー）が1517万2500円。
ちなみに3Tx60台=180Tb、180Tb x 1024Gb = 184320Gb 1Gバイトの単価が約82円になります

やはり、自作の経験を生かして、まずは40台を目標に検証用の試験台を作成しました。

サイズは今まで使っていたハーフサイズではなく、
1枚のシャーシでの利用を考えています。
試験台ですのでHDD搭載部分になります。

HDD設置スペースを考えると立てて置くのが理想という結論に至りました。
立てて設置した場合、最大で15台が4列ほど設置可能です。つまり、60台設置可能なのですが、
そうするとHDD間の隙間がなく、HDDが冷却できずに故障のリスクが高くなってしまう為、
HDD間を10mmはスペースを取れるように設計した結果、40台になりました。

前回ご紹介したHDDコネクタ（SATAインターフェース変換）を利用し、
コネクタ面を下にする事により上から交換可能にしました。
配線はHDDコネクタより下で行う形をとりました。

試験台　設計図

実際に試作したのがこちらです。

試験台

重量に耐える為に2mm厚の鉄板で作成したのですが、
とても重いです…次からは1.5mm厚に変更する事にしました。

あと、板金屋さんの開けた穴が数カ所間違ってました(汗)

HDD40台のSATA接続を可能にする為にポートマルチプライヤーを利用します。
5ポートのポートマルチプライヤーですので、8台使用します。

SATA2 Port Multiplier 5-Port with Raid(SY-PCI40037)

ポートマルチプライヤーからの接続を以下のカードで行います。

Syba PCI Express SATA II 4 x Ports RAID Controller Card SY-PEX40008

玄人志向インターフェースボード SerialATAII PCI-E LowProfile対応 SATA2I2-PCIE

現在使用しているサーバーはPCI-Eスロットが3つありますので
SY-PEX40008を1枚で4ポート、SATA2I2-PCIEを2枚で4ポート、合計８ポートで
ポートマルチプライヤカードは5つまでのHDDを分岐できますので
これで40台HDDを稼働出来る計算になります。

実際にHDD40台の接続を試し、問題なければ次のステップへ進んでいこうと思います。

firestorage 自作シャーシ ver2.0

2011-11-01T20:26:00.000+09:00

こんばんわ。firestorage技術担当の長男太郎です。
今回は現在firestorageで使用している自作シャーシを紹介したいと思います。

ver1.0のシャーシよりネジ穴を追加し、
右側に電源を配置する形にも対応しました

現在、firestorageではコスト削減の為、すべて自作サーバーで運用しています。
薄型の電源や1U用のCPUファンを使えば1Uでも構築可能なのですが
無理矢理1Uで仕上げるよりも、値段のこなれた通常のパーツを使い
2Uで割り切ることでサーバー全体のコストを落としています。

上の写真のシャーシを2枚使用して、片方にマザーボードや電源ユニットなどを配置し、
反対側のシャーシにはHDDを配置しております。
重量に耐えられるようにネジ留めでラックマウント用のステイをつけています。

これによりラックマウント可能になります

左：拡張カード固定ステイ
右：スイッチ金具

紹介したパーツを組み合わせたサンプルです

正面から見るとこんな感じです

HDDを載せるシャーシに関しては、
以前はセンチュリー製の楽ラックを利用してHDDを載せていました。

3代目楽ラック

しかし、楽ラックのFANがよく壊れることがありその度に楽ラックを交換しないと
HDDの温度が上がってしまい故障する確立が上がってしまいます…
交換するためにはもちろんサーバーを止めないといけません。

そんな時にHDD接続コネクタを発見しました。

SATAインターフェース変換[SATA104]
aitendoさんで 1@ 600円

それを元に取り付けステイを設計し、

出来たのがこちらです


交換時にHDDを取り出す為のアングルも作成しました。アルミ製で熱伝導率もバッチリです。シャーシ自体がヒートシンクの役割をしてくれます。

取り付けた状態です。
シャーシと干渉しないように先端が少し上がっています。

3台設置するとこうなります。
アクセスランプの設置場所も完備！(右下のスイッチ金具)
最大4台まで設置可能です。

これによりHDDの冷却効率が飛躍的に高まりました。
サーバー自体のファンはラックに専用ステイを使って取り付けています。
その為、ファンの振動がシャーシに伝わらなくなっており
振動によりHDDの障害発生のリスクを大幅に軽減することが出来ました。
そのファン固定ステイに関しては後日ご紹介させて頂こうと思います。

firestorage 自作シャーシ ver1.0 (2010)

2011-10-01T12:54:00.000+09:00

初めまして、firestorage技術担当の長男太郎です。
現在は使用しておりませんが、過去自作しましたシャーシをご紹介させて頂こうと思います。

ハーフサイズで設計し1Uに2台システム収容可能です

電源接続端子がマザーの左端にあるタイプ用に
シャーシの穴の位置をずらしてマザーを取り付け可能にもなっています
もちろん、端によせての取り付けも可能です。

接続サンプル

電源スイッチ・RAIDランプ兼用スイッチ・ファンステーを作成

PCI拡張カード取り付けステーを作成し
この様に拡張カードも取り付け可能になっております

スイッチの構造、市販のLEDをゴムプッシュで接続

RAID用にLEDを8個タイプも作成

今回ご紹介したサーバーはキャッシュサーバーでRAID機能が無いタイプですが
それでも市販品のサーバーに比べて圧倒的なコスト圧縮が可能になりました。

※現在このシャーシは使用しておりません。