そうですね、どういうサーバーかっていうと、ハードディスクを8台乗せたいと、
24TBのハードディスクを8台で、生の容量でいくと、826x832で192TBかですね。
2台をちょっと冗長化のために使うんで、実際の使える容量が6台分なので、
144TBぐらいの容量のNASサーバーを構築しようとしています。
まずこのケース選びから始まるわけですけど、なかなかそのハードディスクが8台きちんとついて、
しかもちゃんとある程度連続稼働しても、ちゃんと安定して動かせるぐらいある程度冷える。
かつそんなに大きくなくて、すごいごっついタワーサーバーとかなんかないじゃないですか。
だからある程度可愛くてっていうか、見た目もおしゃれというか家の中にあっても嫌じゃなくて、
ある程度コンパクトなんだけどちゃんと冷えるみたいなケースを探して、
結局フラクタルデザインという北欧の企業のメインのタワーマシンもフラクタルデザインのディファインというケースを使ってますけど、
今回もフラクタルデザインのノード804というストレージサーバー向けのケースを使うことにしました。
ケースは普通に国内でそんなに高くもなく2万円もせず買えるケースなんですけど、
ここからが結構難しかったというか、ところでストレージサーバーを作るので、
ECCメモリを使いたかったんですよね。
ECCメモリというのは何かというと、エラーコレクティングなんとかって、
エラーを訂正する機能がついたメモリをECCメモリって言うんですけど、
重要なデータを扱うときにECC機能がないとたまにビットが反転したりするんですよね。
ビットが反転、ゼロのはずのものが1に変わるみたいなことがたまに起きると。
それが起きちゃうとデータがおかしくなっていって、データが壊れていくっていうことがあるので、
そんなゲーミングPCとかで重要データをちゃんと保管してみたいなことがなければそんなに気にしないんで、
普通の市販に売っているPCって基本はECC機能がついてなかったりするんですけど、
結構大事なデータを長期保管するっていうことで、
ECCがあったほうがいいんだろうということで、
これもAIのチャッピーと話していると、
ECCメモリやったほうがいいですよみたいなことを盛んに言うんで、
初めてそのECC対応にしてみようかと、
ECCのメモリを使おうかとまず思いました。
ところがECCメモリっていうのは基本はサーバー用のメモリなので、
サーバーとかだとデフォルトでついてるんですけど、
サーバーじゃない普通のPCというか市販製品を組み合わせて組み立てようとしている中で、
そこそこちゃんとしたECC対応をしようと思うと、
それ専用のマザーボードを用意して見つけてこなくちゃいけないということで、
結構その調達がまず大変で、
なんちゃってECC対応みたいなことができるって書いてあるマザーボードもあるんですよね。
例えばASUSのProシリーズとか、
ASRockもProなんとかって書いてあるやつとかはECC対応って書いてあるんです。
ただそれってメモリ内のECCは対応しているけど、
マザー側では対応していないみたいなことだったりするらしくて、
いまいち僕もその辺のどこのレベルで対応してるしてないっていうのが何回数あって、
どういう仕組みなのか分かってないんですけど、
とにかく市販のマザーボードってのは大体ちゃんとは対応していないか、
たまたま動くみたいな感じですよみたいなことらしく。
そうかと思って、ちゃんとしたECC対応のマザーボードを一回使ってみようかということで、
今回はASRockラックっていうサーバー製品を揃えているブランドの
業務用というかラック製品、サーバー製品のラインのASRockラックっていうところの
マザーボードを使うことにしました。
マイクロATXでそんなに大きくないんですけど、サーバー向けのやつでいってみようと思ったんですが、
これが国内ではほとんど流通していないっていうことで、
AIのチャッピーと喋ってると、そんなのいくらぐらいですぐ買えますよみたいな感じで言うんですけど、
基本結構アメリカとか海外の情報を元に学習をしているんで、
アメリカだったら簡単に買えるかもしれないけど、
日本にはそんなの売ってないよみたいなものを平気で進めてくるんですよね。
こういうことをやりたくて、どういうパーツで組めばいいかなみたいなことを相談すると、
だったらこの辺とかどうですかみたいな、何ドルぐらいで簡単に買えますよみたいな感じで言うんですけど、
全然簡単に買えへんしみたいなことになってて、
案の定今回一応日本のAmazonにあったんで、
7月の上旬ぐらいかなにマザーボード注文したんですけど、
待てど暮らせどやってこなくて、2週間ぐらいもあったかな。
2週ぐらいもあったところでショップから連絡があって、
すいません今から送りますみたいな、これから出配しますみたいなのが2週間後ぐらいに来て、
多分お店側が一回買い物しすぎてカードが止まって、
すぐその後対応したんで決済落ちたんですけど、
それもあったのかもしれないんですが、2週間ほったらかしになって、
このまま行くとAmazonに書いてある期日には間に合いませんみたいなことを言われて、
なんじゃそりゃみたいなことで、そこからさらに2,3週間かかりますみたいな連絡が店から来て、
さすがにそれはひどいでしょうというか待ってられないし遅いでしょうという感じだったんで、
キャンセルをしまして、結局海外から発送するっていう話なんですよね。
Amazonに出品している店も結局アメリカから送りますみたいな感じだったんで、
だったら自分で直接アメリカから買った方が早いなって思い直しまして、
ニューエッグっていうサーバーとかデータセンター向けの製品をたくさん置いているアメリカのECサイトがあるんですけど、
このニューエッグから直接日本に購入ができるんで、今回はAmazonをキャンセルして、
ニューエッグに行ってアスロックラックのマザーボードを買いました。
結局ちょっといいやつにしたんで、10GBのSFPのポートが2個付いているモデルにしたんで結構いい値段しましたけど、
一番理想的なものというか、一旦ちょっと使ってみようということで買いまして、
そうしたらびっくりするぐらい早くて、それがニューエッグから直接発送みたいな感じだったんですけど、
5日間ぐらいで来たんちゃうかな、アメリカから。むちゃくちゃ早かったんですよ。
これは全然使えるなと思って、ということでアスロックラックのマザーはとりあえず5日後ぐらいに来ました。
さらにECCメモリーですよね。これも日本のAmazonで買ったんですけど、やっぱり品物がありませんでした。
発送できませんみたいなトラブルに巻き込まれ、結局これはARCさんだったかな、別のパソコンショップでECCのメモリーを見つけて買ったんですけど、
結局サーバー用のマザーボードとか、ECCメモリーとか、サーバー用の製品って市販の流通がすごく少なくて、
多分そういうものを個人で買って遊んだり作ったりする人がすごい少ないんだと思うんですけど、
海外とかと比べて流通量が全然違うんですよね。海外とか見てるとすごい趣味で、
ホームラボとか言って、レディットのスレッドっていうかレディットの部屋がめっちゃ盛り上がってるんですけど、
ホームラボとか言って家の中にラックを立ててサーバーを置く人とか結構いるみたいで、
あとそもそも世界のインフラっていうか、GoogleとかAmazonとかそういうでっかいインフラ企業がアメリカにあるんで、
そういうところがもうむちゃくちゃな量のサーバー製品を使っていたりするし、そういうでっかい会社だけじゃなくても、
ありとあらゆるIT系のサービスって結構アメリカメインで動いてたりするんで、
おそらくサーバーの部品の流通量とかが桁違いなんでしょうね、日本と。
さらにそれを趣味でいじってる人たちも多くてっていうことで、
日本って結構先進国だと思ってたけど、全然そういう業務用のサーバーのパーツとかを手に入れようとすると日本に流通していなくて、
その代わりアメリカにちょっと目を移すとめちゃくちゃいろいろEbayとかで中古のものとかも出回っていたりするし、
全然流通量が違うっていうので、すごくIT系のインフラの規模というか勢いの違いというかを感じることに今回なったんですけれど、
マザーボードもメモリも結構調達に苦労して、
さらにもう一個HBAっていうハードディスクを8台繋げるんで、それのコントローラーも欲しかったんですけど、
これもめっちゃ苦労して、これも一応Amazonで最初見つけて買ったら結局中国の会社からの発送だったんですかね。
中国からやってきたのが1週間ぐらいかかったんですけど、繋げてみたらうまく動かなくて、
で返品依頼をかけたら、1万円ぐらいで買ったんですけど、3000円ぐらい戻すんであればもう返品とか無しで終わらせられますみたいな。
8000円ぐらいで買ったかな。8000円ぐらいで買って3000円ぐらいも払うんで返品とか無しにもできますよみたいなのが来て、
めんどくさかったんで分かりましたって言って、結局初期不良で動かないと思ってたやつは手元に置いて3000円バックしてもらって終わったんですけど、
結局もう一回買うことになって、これも結局ニューエッグ経由で香港から発送みたいな感じで買ったのかな。
とにかくいろんなサーバー用のパーツが国内で在庫のある会社があんまなくて、
アメリカだったり香港だったり中国からいろいろ取り寄せて集めていくみたいな作業になってしまって、
まあその趣味用、自作PCって一大それなりに盛り上がっているように見えますけど、ほとんどゲーミングPCっていう感じで、
ゲーミングPCイコール自作PCみたいになってて、そのゲーム用のパーツ、ゲーミングPC用のパーツは結構お店とかにもたくさん在庫があるんですけど、
ちょっとそこから外れてサーバー用とか業務用のものになろうとすると、急にどこも扱ってないみたいな感じで、
なかなかこんな感じなんだっていうのを今回ちょっと思いました。
でもまあどうにかこうにか、本当に世界中からアメリカとか香港とか中国からパーツをかき集めまして、
ようやく集まってきてね、いざ組み上げて一旦立ち上げようとして動かしたんですけど、
あとあれですね、もう一個苦労したのはハードディスクも苦労しましたね。
24TBってかなり容量の大きいハードディスクを8台、もう一個、
ジョンスボ君ってもう一個のやつと合わせて15台今回調達したんですけど、
普通の、たとえばSeagateのバラクーダとか、普通のPC用のやつだと今48,000円とかで24TBのやつが出てたりして安いんですけど、
やっぱり普通のPC用のやつだと耐久性があんまりないということで、
あんまりそのね、24時間365日動かし続けるみたいな想定では作られていないんで、
そこをちゃんとしたサーバー用の1年中動かし続けることにも耐えられるものってなると、
大体倍ぐらいの値段がします。
Seagateだったら、アイアンウルフプロとかエグゾスとかそういうラインナップだし、
同じように東芝のビジネス向けというか、ラインナップだったりとかっていうのが、
だと大体8万から10万くらい一個するんで、えらい額になるんですけど、
値段が高いのはまだしも買えないっていうね、なかなか物がないっていうのがまたあって、
結局今回はプライムデイを使ってSeagateを半分くらいと、
あと東芝はもともと安いんで東芝と半分くらいと、
Seagateの中でもアイアンウルフプロとエグゾスを混ぜて、
若干整備済み品、中古なんですけど整備済みで一旦カウンターがリセットされているようなものを
ちょっと試しで混ぜてみたっていう、若干冒険してますけど、
みたいなことをいろいろやって、それもあちこちで見つけたものを混ぜて買って、
あんまり同じものばっかり混ぜるとロットが同じになって同じ時期に故障するみたいなのがあるらしいんで、
っていうのといろいろ混ぜることで耐久性の試験というかね、
どこのメーカーのやつがよく持つかとか、中古でも使えるんだ、どれくらい持つんだろうかとか、
あとはメーカーによって温度とか音とかが違うんだろうかとか、
いくつか混ぜることでわかってくると思ったんで、
2、3くらい型番が違うものを混ぜて、新品と中古もちょっとだけ混ぜて買ってっていうのを
あちこちから集めてっていう感じでしたね。
だからちょっと普通のパソコン屋さんに売ってるようなゲーミングPCのパーツとちょっと違うものを集めて
ストレージサーバー作ろうとしたので、まず調達のところでめっちゃ大変でしたっていうのがありました。
それでもなんとかかんとか集めて、起動してみたんですよ、組み上げて。
そしたらうんともすんとも言わないというか、バイオスの画面も出てこないみたいなところで止まってしまって、
あれ?ってなって、ちょっと待ってっていうね、サーバー用のすごくいいやつというか安定性の高い
マザーボードを買ったはずなのに起動もしないということで、
なんだろうと思ったんですけど、CPUをRyzenの9000番台の最新のCPU、
Ryzen5の9600なんで値段は安くてコアも少ないやつなんですけど、
消費電力ちょっと下げたかったのとストレージでそこまでコア数いらないんでRyzen5の9600にしたんですけど、
9000番台って最新世代の第5世代かな?とかなんで、
多分マザーボードのファームウェアが新しくなくて9000番台がまだ対応できてなかったんだろうということを推測しました。
原因がそうだとしても、ファームウェアをアップデートするためには1個前のCPUが必要なんですよね。
AMDの。ところがちょっと前ならあったんですけど、僕の家には今その最新世代のCPUしかなくて、
そもそも余ってるCPUとかも転がってなくて、ファームウェアを上げることができないということで、
詰んだと思って、どうしようと思って、京都の寺町のパソコンショップの結局ドスパラさんに行ったのかな?
ドスパラさんに行ったら、ファームウェアのアップデート作業をお金を払ったらできますよみたいなことを教えてもらって、
そうなんだ、そんなサービスだったんで。最初は1個前の世代のCPU買って帰るしかないかなと思って、
マザーボードも持たずに店に行ったんですよ。買う寸前まで、一番安いやつでも2、3万円するんですけど仕方ないと思って、
それを買って後でメルカリで売ろうと思って、1個前の世代のCPUを買いそうになったんですけど、
でもレジで話してたら、マザーボード持ってきてもらったらファームウェアアップデート作業できますよって言われて3,000円くらいで、
えーっと思って、CPU買うのを諦めてそこからもう一回自転車で家帰って、マザーボードをもう一回ひっぺがして、
乗っかってたCPUとかメモリとか全部剥がして、もう一回それを包んで寺町のドスパラに持って行き、
マザーボードのアップデートをしてもらって、しかもやるのに2時間くらいかかりますって言われたんで、
近くブラブラして時間潰して、結局1時間くらいで良いお兄さん、優しいお兄さんがしてくれましたけど、
1時間くらいかけてファームウェアアップデートしてもらって持って帰るみたいな。
まずそこからあって、この辺もサーバー用とかだとそんなにサービスが良くないというか、
もう繋げればすぐ動くみたいな世界じゃないなっていうのをすごい感じたんですけど、初っ端から。
だいたいファームウェアくらいアップデートしてから売るじゃないですか。
市販の製品とかそんな無理なんで普通の人、そんなファームウェアアップデートとか。
けどその辺はちゃんとやってくれないんで自分でやるしかないんだなっていうのが先例を受けて、
どうにかこうにかアップデートして、家に持って帰ったらやっぱり起動して、
ファームウェアのせいだったなってことが分かりまして。
ようやく起動して、ハードディスクも繋げて動かし始めて、
そこからそのOSのインストールとかなんだかんだっていうのをやって動くようになっていくんですけど、
次の問題は熱ですね。
ハードディスクが8台ぶら下がっていて、
そのハードディスクの発熱っていうか温度のグラフとかをちゃんと監視をして、
一旦その本番運用する前に鳴らし運転というか、そんな負荷もかけてないんですけど、
部屋の中でずっと動かし続けて、音とか温度とかいろいろ安定性とかを見て鳴らし運転をしてるんですけど、
やたら温度が高くて、ハードディスクの温度が、
ディスクによっては40度台後半とか50度近く、50度いってるのもありましたね。
さすがに50度はあんまり良くなくて、
SSDに比べてもハードディスクってあんまり温度高くない方がいいらしくて、
あんまり高いと耐久性に問題が出てくる可能性があるということで、
できれば45度未満、40度前後ぐらいに収めておいた方がいいですよっていう、
これもチャッピーの入れじえですけど、
っていうことらしく、何も負荷をかけてない、書き込みとか読み込みとかもほとんどしないのに、
47度とか50度とかになってて、これあかんということで、
とりあえず動きはしたんですけど、
一旦このままじゃ実運用に持っていくのは厳しそうだなっていうことで、
今度は温度を下げる大作戦が始まりまして、
それでしばらくまたチューニングを続けていました。
この1週間ぐらいでちょこちょこ空き時間にその作業をやってたんですけど、
今回使ってるNode804っていうケースは、
ハードディスクの部屋とマザーボードの部屋が縦に…縦っていうか横に分かれてるんですよ。
前から見たら右側半分がハードディスクの部屋で、
左側半分がマザーボードの部屋みたいな感じで、
くっきりというか領域的に分かれてるんですね。
ただその間にケーブルとか合わすんで穴が開いてるんですよね。
マザーボードの部屋の温度管理って他のパソコンとかでもやってますけど、
CPUの温度とかは負荷が高くなると60℃とか70℃とか、
たまに80℃台とかも行くじゃないですか、行くことがありまして、
大体マックス85℃ぐらいで設定して、
そこまではだんだんファンが速くなっていって冷やすような感じで、
CPUファンとかケースファンの回転数を調整して、
普段はすごい静かだけど負荷がかかって温度が上がってくると、
だんだんファンが速く回るようになって冷やしていって、
最高でも85℃ぐらいになるみたいな感じで設定してるんですけど、
85℃とかそこまでいかないにしても60℃、70℃みたいな世界と、
あとSSDはそこまでいかないけど40℃、50℃ぐらいになることもありますけど、
それとハードディスクの45℃未満に抑えましょう、
できれば40℃前後ぐらいに抑えましょうみたいな、
だと温度の基準が違うんですよね。
だからハードディスクの部屋に空気をバーって取り込んでても、
そこからマザーボードの部屋に空気が流れていっちゃうと、
ハードディスクがいっぱいぶら下がってる部屋で空気が流れなくて、
結構スカスカのマザーボードの部屋に空気が流れちゃうせいで、
奥の方のハードディスクが冷えないみたいなね、
多分ことになってるんだろうなとか、
あとそもそもそのハードディスクの部屋のエアフローが弱い、
空気の流れが弱いから冷え切らないんだろうなっていうことに当たりをつけて、
その作業をやってて、ひとまずはいいファンを買うっていうね。
本当ファンばっかり買ってますけど、
今回もそのノクチュアの静かだけどしっかり空気を送れる、
静圧の高いファンを買いまして、
背面が14センチの25のG2っていうPWMっていうね、
回転数がコントロールできるファンと、
あと前面が12×25の12センチ角の、またこれもG2って、
今年の6月ぐらい、この前出たばっかりのG2ってね、
第2世代のファンでより性能がいいっていうファンを2個買って、
上下に並べてつけるっていうことで、
吸気ファンと排気ファンそれぞれを、
もともとデフォルトでケースについてたやつがあったんですけど、
それを取り外しまして、3つ全部ノクチュア製にして、
高性能なファンに変えると。
そこはいつもやってるっていうか、
王道というか、やりだすといつもそこに落ち着くっていう感じの構成なんですけど、
さらにちょっと工夫として、
CPUの部屋に空気が行かないようにするっていうのをどうにかしないと、
どれだけ涼しい空気を吸っても、
隣の部屋にどんどん逃げていっちゃうみたいになっちゃうんで、
そこをちょっと工夫のしどころだなっていう。
だからとにかく吸った空気が全部ハードディスクの隙間を流れるようにして、
余計なところに風が行かないようにして、
全部がハードディスクを冷やして後ろに抜けるようにするみたいな、
そういうエアフローを整えるために100均ででっかいスポンジを買ってきまして、
そのスポンジで間の穴を埋めたりとか、
あとそのディスク室、ハードディスク室の中で隙間を埋める。
要はスカスカの隙間があるとそちらから空気が流れて裏側に抜けちゃうんで、
そこを埋めて必ずハードディスクの隙間を風が通るようにするっていう風の流れを整えてあげて、
さっきね、それちょうど今日やってたんですけど、
カッターでスポンジを切ってはちょこちょこ埋めてみたいな細かい作業をやって、
こんな感じかなって、ここまでやれば前面から吸った涼しい空気が
全部ハードディスクの隙間を抜けて、
ハードディスクを冷やしながら後ろに抜けてくれるだろうみたいな感じで整えて、
いろいろケーブルとかも邪魔をしないようにきちんと結んで、
空気の流れをできるだけ様だけないように整理したりとかして、
できるだけきれいに室内を整えて、再起動っていうのをさっきやりまして、
1時間ぐらい今、ハードディスクの温度の様子を見てるんですけど、
でも一旦これが、さっき言ってたもう一台のほうと合わせて、
そろそろ落ち着いてきたかなって、ハード的には落ち着いてきたかなと思うんで、
ようやくこれでソフトウェアレイヤーに入れるというか、
それを活かしてどういう風にソフトウェア上で使っていくかという設定だとか、
どうやってパフォーマンスをソフト面で出していくかみたいな方に入ってきるかなという気がします。
という長い道のりでしたというのと、
あとは、ちょっと日本のサーバー系の厚みの薄さというかはちょっと危惧しますね。
こんな違うのかって今回、自作してる人たちの情報とかもね、
結構ネットで出てる、出回ってる量とかもやっぱり英語圏の厚みの違いっていうのはすごい今回感じてるんで、
やっぱそのインフラ周り、そもそもだいぶ差があるんだなっていうことは感じましたね。
最近ね、さくらインターネットさんがGovernment Cloudっていうのを作ろうとしてて、
全部何でもかんでもね、AWSとかAmazonとかGoogleとかマイクロソフトとかのところに全部データ預けてるのはいかがなものかということで、
日本のインフラ、日本のクラウドがあった方が良かろうということで、
日本製クラウドを作ろうっていう中で、さくらさんが国の指定も受けてAmazon対抗サービスを作ろうというか、
今でもありますけど、だいぶ機能的な差があるんで、そこ埋めようと思って頑張られて、国のお金も使いながらデータセンターも作ってクラウドのサービス作ろうとして、
たくさん今優秀なエンジニアさんが集まってると思いますけど、
その気持ちもわからなくてはないというか、何でもかんでもそんなね、海外のサーバー、日本にサーバーはあるとはいえ、
外資の会社のところにデータ預けて、毎回ドルで海外の会社にAmazonとかにお金を払い続けるみたいなのをみんながやってるっていうのもね、
なんかちょっとどうなんかなっていうのもわからなくもないし、
それはポッドキャストのホスティングに関しても思っていることで、
とりあえず今だったらね、Spotifyに無料でアカウントが作れて配信できるんで、一旦何も考えずにSpotifyで配信しようみたいな人多いと思いますけど、
あとは動画だったらYouTubeに置いてっていうね、そこも何も考えずにとりあえず外国の会社のところにデータ全部預けて、
そこをベースにいろいろクリエイター活動を行っていくっていうのが当たり前というか、メインの方が多いと思うんですけど、
なんかちょっとね、そんなに何でもかんでも外国のインフラに依存しなくてもいいんじゃないかなっていう気もするし、
それがめちゃくちゃ安くてとかだったらね、昔AmazonのAWSとかすごい割安だったと思うんで最初は良かったんですけど、
年々その割高感が出てきている気がするし、円が安くなったりもあるし、
サーバーはどんどん速くなって性能が上がっていくのに、別にAWSの値段はどんどん安くはなっていかないわけだから、
別にそのパフォーマンスというかその能力だったらね、普通にこういうパーツ買ってこれぐらいのものを作ればもっと安く作れるのにみたいな差がどんどん広がっていると思うんで、
別にその値段のことだけじゃないですけど、もうちょっと自分たちでインフラも持つとか、
その業務じゃなくてもそういう趣味でね、そういうことをいろいろやったりとか、もう少し中小規模でもインフラの知識を持って自分たちでインフラを全部じゃなくても混ぜていくとかね、
もうちょっとその辺は、そもそも結構社会の基盤的なところがあると思うんで、そのITのインフラって結構依存してますよね。
最近のAIに聞きまくりながら生きていくみたいなライフスタイルもそうですけど、そこまでいかなくても、
メールをどこに置いているかとか、ファイルをどこに置いているかとか、データをどこに置いているかとか、
そういう普段からある程度データを置くとか、人とのやりとりを保管するとかっていうところにITのインフラを使っている人がほとんどだと思うし、
それが全部外国の会社にあるっていうのもなんか、なんかなぁみたいなね、思うんで、
別にそういう国の現状を変えようみたいな、大それた活動をしようというだけでも別にないんですけど、
ちょっとそういうことも思いながらね、自分ができることはやっていこうかななんて思っています。
ということで、ストレージサーバーがある程度設定が詰まってきたぞっていうので、
今日はね、そもそもハードディスクの温度がグラフで見て明らかに5度とか10度とか下がってくれたんで、
めっちゃ嬉しかったっていうタイミングでストレージサーバーの構築をご紹介させていただきました。
どうも、なんかすごいマニアックな話、最後まで聞いていただいてありがとうございます。