大文字山を走りながら近況とサーバー開発
おはようございます。 10月3日の土曜日の朝です。
今日は大文字に来ています。 さっきまで裏大文字をぐるぐる歩いて
頂上にたどり着いたところで、 下りながら撮っています。
今日もいい天気ですね。 10月に入って急に天気が良くなって
9月はずっと天気が悪くて偉いことでしたけど、 10月に入ったら急に良くなって、ずっと晴れてますね。
ということで、すごいカラッと気持ちの良い天気だったので、 気持ちの良い山登りをしています。
体の体調も良くて、この前足を痛めて南アルプスの下りで膝が痛かったんですけど、
その膝もそこまでは痛くなくて、 今日はかなり気持ちよく山を走れて、
なんかちょっとね、早くなったなぁという感じがしてて、 嬉しい大文字です。
ということで、最近のことですけど、
今週久しぶりにイブキのレースもなくて、 休みらしい週末っていう感じで、
こうやって大文字にも来れているわけですけど、 平日は何してたのかな?
最近は結構家で新しいサーバーを組み立てているっていうのが、
今はやりたいけどなかなかできていないけど、ちょこちょこやってますね。
いろいろとやらなきゃいけないことがあるので、それもやりながらですけど、
リッスンに増えるAI機能と自前サーバー処理
リッスンで新しい機能をいろいろ開発して出してます。
その機能っていうのが割と、
AIを使ってやる仕組みっていうのが増えてきていて、
もともとリッスンって文字起こしをやりますよっていうのがあったので、
ポッドキャストを登録したら全部自動的に文字起こししてテキストにしてくれますっていうのが、
最初の売りだったと思うんで、
それを考えたら最初からそういうAI処理みたいなものから始まったといえば始まったんですけど、
今までやってたのは、
自前サーバーでやってた処理っていうのは文字起こしとかぐらいかな、大きなやつは。
それ以上の処理でちょっと高度なAIが必要なもの、
例えばチャプター分けとかサマリーを作るとかそういう機能も割と初期からありましたけど、
そのあたりはローカルっていうか自前のサーバーのAIだとちょっと精度が出ないんで、
外部のAPIを使うっていう設計になっていて、
おはようございます。
基本的にはオープンAIとかジェミニとかね、
そういう一番フロントの、フロントっていうか世界的に一番こう、
おはようございます。
進んでいるAIをAPIで使ってやるっていう、
だからちょっとお金もかかるんでね、
有料プランじゃないと全部はできませんとか、
無料だとちょっと制限かかりますとかやって、
こんにちは。
やってきたっていう感じで、
ある程度高度な処理というか、
このエピソードの要約をまとめてとか、
意味的に塊を見つけて見出しにしてください、見出しをつけてくださいとか、
章に分けてくださいとか、
こんにちは。
ちょっと高度なやつはやっぱりサーバー側ではなかなかできなかったっていうのがあったんですけど、
ここに来てね、
そういうサーバーで動くAIがどんどん性能が上がっていて、
割とその、
そういう高度なことというか曖昧なことというか、
このエピソードをちょっと数行でまとめてくださいとか、
翻訳してくださいとかね、
このエピソードに含まれている主なトピックを選んでくださいとか、
そういうことがかなりできるぐらいになってきたと。
それがサーバー側で動くとなるとね、
結構な量の、要は24時間ずっと動かし続けられますので、
だったらということで、
じゃあ全部のエピソードにちょっとずつ要約つけようかとか、
トピック抽出しようかみたいなことができるようになってきて、
そのことで、
最近の機能追加であるような、
デイリーダイジェストメールで、
自分がフォローしている番組が、
今日はこんな話してましたよみたいな、
要約がメールで送られてくるみたいな機能だったりとか、
いろんな番組で語られているトピックを抽出して、
今こんなトピックは話題ですとか言って、
トピックでまとめてエピソードを表示したりとか、
そういうことが実際機能としても実装できるようになってきていて、
最近の機能追加は結構そういう、
AIの処理も混ぜた機能っていうのが、
こんにちは、5000円。
はい、今増えているっていう感じです。
なんですけど、
64GB GPUマシンの構築と発熱
当然ながらそういうものが増えてくると、
GPUを結構使うんですけど、
GPUがなかなか足らないっていう感じになってまして、
今まではその、
そもそもそういうサーバーで動くAIを動かしてなかったんで、
あんまりメモリの多いGPUって載せてなかったんですけど、
こっちはちょっとそういうものを動かしてみようということで、
少しメモリたくさん使えるマシンを去年ぐらいに買ってたんですけど、
こんにちは。
それを使って試しにやってみたら結構精度がいいんですけど、
速度とか処理量が足らなくなってきて、
もう少し処理がたくさんできるGPUを載せたマシンを、
最近作ったりしているっていう感じですね。
実際、具体的には32GBのメモリを積んだGPUを、
2枚乗せたマシンを組んだんです。
NVIDIAでそれをやるとえらい額になるんで、
AMDの32GBメモリのGPUを2枚積んだマシンを組みまして、
そうすると64GBのメモリが載るんで、
そこで中国製の、今回クエンを動かしてますけど、
クエンで一番精度が出そうなモデルをいくつか試して、
実際に精度を評価して、
その中で一番精度の良かったものをずっと動かすという形でやっていて、
32GBのメモリにそれぞれ同じモデルを乗せて並列で動かすのと、
こんにちは。
64GBのメモリに分割して一つのモデルを乗せるのといろいろ試しましたけど、
結果的には2つのGPUに分散して1個のモデルを乗せる方が精度も良かったし、
速度もそんなに落ちなかったので、結果的にそういう構成にしてますけど、
とにかくそういう64GBのメモリがあるGPUを買ってきて、
それを最近作ったばっかりなんですよね。
なんですけど、最近追加したトピックを抽出して分類したりとかね、
そういう処理をやりましたところ、
早速ほぼフル稼働していて、GPUが。
ちょっと前までなかったのに、導入した途端にほぼフルで分回っているというような感じになっていて、
なかなかだなという埋まり具合がすぐにあって思っています。
せっかく買ったのに使い道がなかなかなくて、宝の持ち癖になるぐらいだったら、
もちろんこうやって何かしら使われている方が買った意味もあるというところで、
ありがとうございます。
もちろん使い道がすぐあるのは嬉しいことなんですけど、
にしても早くないかという、もうフル稼働みたいな感じで、
消費電力も今1機ごとに、1個のGPUごとに250Wのリミットをかけていて、
マックス1個で250Wですけど、2個回ると500Wなので、
実際GPUの後ろに排熱のファンがあるんですけど、そこから500Wのヒーターと同じくらいの熱が出ているという感じで、
まあまあな熱量になっていて、
いやーなかなかやなって、これがAIの熱感みたいなね。
世界各地で今ね、AIデータセンター建設反対問題みたいなのが起きていて、
電気の問題と水の問題というのでね、
あと何かよくわからないものができる怖さみたいな、
ちょっと感情論というか、若干行き過ぎている感じもしますけど、
巻き起こってますけど、まさにそのAIが発生する熱っていうのはこういうもんだなっていうのを肌で感じているという感じで、
とにかくGPU、あればあったで使うなっていう感じを感じています。
CPUとGPUを人間の左脳・右脳にたとえる
一昔前っていうのは本当にサーバーといえばCPUがあればいいっていう感じで、
決まったプログラムを決まった通りにこなすっていうことがCPUが得意で、
そのCPUの計算速度が早ければ早いほど処理が早いし、たくさんの処理ができるということで、
高速なクロック数のCPUをさらにコアが何コアっていって、
それが処理できるCPUのコアが多ければ多いほど一気に並列でたくさんの仕事ができるというので、
コア数が多くクロック数が高くみたいな早いCPUをどれだけ用意できるかみたいな。
サーバーのスペックっていうのは基本そこが律速っていうか、
そこがサーバーの処理能力を決めるっていうのがずっとあったと思いますが、
実際自分もそういう時代からやってるんで、
GPUはおまけっていうか、ちょっとGPUの処理が必要な処理だけは、
GPU乗せたマシンをいくつか用意しておいて、
そのサーバーにやってもらって、基本はCPUがあればいいみたいな感じの感覚だったんです。
ついこの前まで、ほんと数ヶ月ぐらいまではそういう感覚でした。
実際そのリッスンもね、文字起こしとか、あとは動画のエンコードとかね、
そういうのに結構GPUは使っているんですけど、
ただ全部のサーバーにはいらないかなみたいな感覚だったんですけど、
ここに来て、サーバーの負荷のグラフとか眺めていると、
CPUの負荷率っていうのは10%とか20%とかね、
そんなに使い切ってないのに、
GPUだけは100%近くでずっとぶん回ってるみたいな状況になってきていて、
冷静にグラフを見てしまったら、全然GPU足りてないやんみたいな感じが、
結構新鮮というか、たまたまそういうダッシュボードを作ったんですよ。
何気なく眺めてたんですよね、新しいサーバーとかがうまく動いてるかなとか思いながら。
ぼーっと見てて、あれ?って思って、
よく考えたらCPUってこんなに、CPUがとにかく必要って思ってたけど、
客観的に見て、GPUの方が足りてなくないみたいなね。
改めてね、グラフとかでちゃんと数字で見てたら、
明らかで、実際その負荷率とかを統計をとっても、
今動かしているサーバーのCPUの平均の負荷率とGPUの平均の負荷率を考えると、
GPUの方が圧倒的に高くて、
だからCPU増やすよりも今GPUを増やす方が、
冷静に状況を見れば、
なんか優先ですよねっていう感じで、
なんかちょっと今までのね、
サーバーっていうものの感覚を変えなきゃいけないんだなっていうのを思い始めてます。
もちろんそれは動かすシステムの特性によるんですけど、
ただちょっとやっぱり今までのサービス、
ウェブサービスだったらこういうもんだっていう感覚に
引きずられすぎないようにしなきゃなというか、
実際ちょっと引きずられてしまってたなって思ってて、
というのはつまり、
例えばそのCPUとGPUが両方乗っているのが当たり前みたいなね、
そういうサーバーにこれからなっていくとして、
それって左脳と右脳みたいなもんだと思うんですけど、
つまり左脳っていうのは決められた計算をその通りやるみたいなのが得意なんですけど、
例えば人間だったら右脳が発達した人っていうのは、
例えば絵を描くのが上手いとか、歌を歌うのが上手いとかね、
文章を書くのが上手いとかね、そういうのじゃないですか。
GPUってまさにそうで、GPUがあると絵を描いてくれたりとか、
歌を歌ってくれたりとか、声に出して読み上げてくれたりとか、
翻訳してくれたりとか文章を書いてくれたりとか、
そういうことができますよね。
今まではそれができなかったので、
コンピューターっていうのは作能的なものだっていう固定観念があった気がするし、
運能の部分は人間が補うものだっていうふうにずっと思ってやってきたっていうのが、
ここの数十年ぐらいだったと思うんですけど、
そういう運能的なこともできるようにAIの発達によってなってしまって、
となるとそれは両方できた方がバランスいいよねみたいな感じになってきたんだなっていうのをちょっと思ってて、
だから例えばウェブサービスを作るときに、
今までだったらポッドキャストが登録されて、
それを自動でカテゴリー分けしましょうとか言ったら、
あらかじめいろんなカテゴリーに含まれそうなキーワードの辞書を作っておいて、
こういうキーワードをたくさん含んでいたら、
例えば山登りに関するポッドキャストみたいなところに振り分けましょうみたいなね。
でもそうしたら大文字山っていう言葉が入ってたら、
山登りだけど、じゃあ比叡山も入れなきゃとかね、
そういう辞書を一生懸命協力にしていってたくさん言葉を登録して、
こういう言葉が入っていたら山だよみたいなことを用意しておくっていうか、
辞書を作っておくみたいな。
そこまでやれば左脳的なというかCPUでもできるんですよ。
機械的に判定すればいいだけなんで。
だけどその辞書を作るのめっちゃ大変ですよねみたいな話で、
なかなかね、そんな完璧な辞書ってできないし、
どんどん言葉できるしみたいなので大変すぎるっていうのがあったと思うんです。
だけどGPUがあると山っぽい話、
登山っぽい話してそうだったら入れといてみたいな、
そういうことができてしまうんで、
そうするとGPU的な、AI的な処理ができる、
UNOが全サーバーに例えば乗っかっているってなると、
サービスの設計が変わってくるなってすごい感じ始めてて。
だからエピソードが登録されたら、
どんな話しているか中身を調べて、
主なトピックと紐付けておいてくださいねみたいな、
実際今そういう処理が動いていて、
GPUがMAXで張り付いているわけですけど、
そういうことがいよいよできるようになってきたと。
となると、そもそもやっぱり
ウェブサービスとかそういうシステムを作るっていう時の、
システムって決められたプログラムが
決められた通りに動くみたいなイメージでしたけど、
そうじゃなくてシステムっていうものの中に
すごく曖昧なというか、
これなんか山っぽい話してるよねみたいなのとか、
そういうことが判断できる能力が備わっているという前提で、
システムが組める、サービスが組めるっていう時代に突入していて、
ってなった時に、やっぱりCPUはもちろんいらないわけではないが、
CPUもGPUも、つまり左脳も右脳もバランスよく必要なんだなっていうのを
すごい思い始めていて、
いやーちょっとこれは読めなかったなという。
これが読めてたらCPUと同じだけGPU買い込んでたのに、
安かった時にみたいな。
GPU価格の高騰とMac Studioへの関心
もうみんなそれに気づき始めてると思うんで、
もちろんね、ハイパースケーラーっていうね、
AIの最先端のフロントモデル作ってる会社が
アホみたいな数でGPUを買いまくってるんで、
それで値段が吊り上がってるっていうのもありますけど、
そうじゃない人もやっぱりGPUがあれば、
そのAIを手元に置いて、
好き放題使えるっていうことに気づき始めていて、
GPUを買ってる人が増えてきてるんじゃないかなって思うんですけど、
まあGPUの値段が値上がりしてまして、
例えば、3倍くらい乗ってるんですかね、大体ね。
今NVIDIAの民生品というか、
一応ゲーミング用の最高峰の5090っていう、
RTX5090っていうGPUがありますけど、
これのメーカー希望小売価格は35万か何かだったと思うんです。
で、それが今百数十万、100万超えですよね。
なんでやっぱり3倍くらいになっていて、
これが去年、去年の今だと思われか、
去年の夏前くらいだと3分の1で買えたんですよね。
だから、あれ?去年?一昨年?
値上がりし始めたっていつだっけ?
去年、でも去年ぐらいですよね。
去年の夏ぐらいから値上がりし始めたね、いろんなものが。
だからそれ前だったら3分の1くらいで買えたんですよね。
だからね、ちょっとその頃には、
まだAIをサーバー側で動かしても精度が出るという感覚が全然なかったので、
AIに関してはハイパースケーラーさんの肩に乗るしかないかな、
みたいな気持ちで思ってたのが、
ちょっと読みの悪さというか、
僕がちょっと見えてなかったなというところなんですけど、
ここに来てそういうふうに、
サーバーにインストールして使うAIも賢くなってきて、
普通にさのうとうのうみたいな感じで、
CPUとGPUが両方バランスよくコンピューターに入っていると、
結構いろんな幅広い処理が両方得意なところを生かしてできるなという感じで、
これからは、やっぱり両方いるんだなというのを感じ始めています。
だから、だからというわけではないんですけど、
サーバーが結構追加したんですけど、
すぐに使い切るみたいな状況になっていて、
まだいるのかという、もうちょっと増強しなければならないのかという感じになっていて、
ちょっと増強を考えているところですね。
具体的に入れたAMDのGPUは、
Radeon ProのR9700だったかなというやつなんですけど、
それも結構比較的速度も出ていて、いい感じで動いているんですけど、
もう一個気になっているのはMacですね。
新しいMacが9月に発表されていて、
Mac MiniとMac Studioが発表されて、
実際9月の22日とかに発売されたのかな?
もう出回ってるのかな?出てますけど、
それのMac Studioがかなりメモリというか、メモリの場数が太くて、
MacはUnified Memoryといって、
CPUとGPUでメモリを共有できる構造になっている、
1個のチップに全部乗っかっていて、両方からメモリが使えるという、
非常に賢いというか効率的な仕組みになっていて、
そのおかげで、例えば96GBのメモリのMacを買えば、
CPUからも使えるけど、GPUからも96GB使えるという仕組みになっているので、
メモリをたくさん使うAIを動かすのに結構いいんじゃないかと言われていて、
これが結構なお値段するんですけど、
まだ市場に出てないので、ベンチマークとか出てないんですけど、
かなりAIモデルを動かすにはいいんじゃないかと。
しかもさっきの500Wの熱をファンが回って出し続けるみたいなのに比べると、
だいぶ省電力というか、ケースというか大きさも小さい上に電力消費も少なくて、
かなり実はAIマシンとしても優秀なんじゃないかと、
巷でも言われており、
マックスタジオにも興味が出ているという、
今日この頃でございます。
そういうのをやりつつ、どうなっていくのかな、
CPUとGPUのバランスがよく必要というのが、
あくまでGPUマシンとCPUマシンみたいな感じで、
両方同じような数だけ増えていくのか、
一台に全部両方乗っかって両方できるようになっていけば、
いいんじゃないかみたいなことなのか、
その辺がサーバーの構成でいうと、
どうなっていくのかなというところではありますけれども、
ひとまずそういう色々なことを考えながら、
サーバーを組み立てたらまたサーバーが欲しくなっているみたいな状況で、
秋の食欲じゃなくて秋のサーバー欲みたいなね、
物欲の方に気持ちが行っていて、
このまま行くとマックスも我が家に来るのか、
みたいな気持ちになっているというところです。
プラグインソーラーでサーバーの電力を補う
あとインフラ周りで言うと、
太陽光発電をちょっと試していて、
太陽光発電は昔から興味があるんですけど、
我が家は屋上が結構広くて、
太陽光発電するにはバッチリな感じなんですけど、
あまりにも屋上が気持ちいいんで、
天然芝を引いたんですよね。
天然芝を引いてウッドデッキを作るっていう、
屋上でバーベキューができるようにするっていう形で、
屋上緑化も地球には優しいと思うので、
屋上緑化をして断熱にもなると思いますし、
二酸化炭素を吸収して酸素も生んでくれるし、
いいかなと思って、あと気持ちいいからねとにかく。
屋上に天然芝が広がっていまして、
それはそれで気持ちがいいんですけど、
それを引いたので、
太陽光パネルとどっちか迷ったんですけど、
芝を取ったっていう感じで、
ソーラー発電に興味があったんですけど、
やってなかったという感じです。
なんですけど、家でサーバーを動かしたりとか、
ずっと使う電力が増えてきているので、
もうちょっとソーラーを入れてやりたいなと思っていて、
いくつか構想はあるんですけど、
とりあえずちょっとお試しで、
プラグインソーラーというのをやり始めてみました。
このプラグインソーラーというのは何かというと、
要はコンセントに挿したらいきなり電気が作れるっていう、
発電したやつが使えるっていうやつで、
太陽光パネルからちょっとケーブルとか、
インバーターにつないで、
そこからコンセントに電線を挿したら、
家のコンセントに電力が送れるっていうやつです。
めっちゃ簡単なんですけど、
これね、
そんな簡単なら全部それでいいやって思うし、
なんでみんな使ってないのってところなんですけど、
日本ではちょっとグレーというか、
あれなんですよね、
家の中で使う分には多分いいんですけど、
系統に電力を戻すとあんまし良くないっていうことなのかな。
あんまり大々的には売られてないんだけど、
別に日本でも売っているお店はあるみたいな状況なんです。
この前実はイギリスでこれが合法化されたというか、
認められましたというニュースが流れてきて、
じゃあ早速使ってみましょうみたいな感じで、
イギリスの人たちが買って使っているニュースを見てて、
あれって思って、使えるんやん普通にみたいな感じで、
調べてみたらそれで、
技術的に別に使えないわけでは全くなくて、
単純に家の中で使いきれないような電力が発電されてしまうと、
系統の方に、電力会社の電線の方に質が担保できないような電力が流れることがあるかもしれないから、
それをどういうふうに管理するかみたいなところが懸念があるんで、
多分まだ日本ではちゃんと認可されてないみたいな感じのようでした。
そういうことならっていうところで、
発電量と回収期間を試算する
うちの場合結構常時サーバーが動いてて使っているワット数があるので、
少なくともそのワット数以内であれば逆流することがないので、
それぐらいならということで、
ちっちゃく試す分にはまあいいかなっていうので、
ちょっとプラグインのインバータを買って試してみたところ、
400ワットのパネルで昼間だと300ワットぐらい出てるかな、
ぐらいは発電するようになって、
ほんとちょっとした足しですけど、
それでも太陽出てる時間は、
どうでしょうね、さっきのGPU1個、2個分ぐらい?
マックスで250ワットだけど、
まあまあ平均すると100数十ワットだとしたら、
2個分ぐらい、新しく買ったGPU2機分ぐらいを、
昼間はソーラーで補えてるのかなっていうようなぐらいは発電してます。
面白いですね。
そういうのが本当は自分で買ってきてポッてつなげてできるっていうのは、
大規模な太陽光発電のシステムとかを、
100万とか200万とか平気で行っちゃうんで、
ちゃんとした業者さんにお願いして一式やってもらうと、
そこまで行かずにとも、
僕は買ったのは7万ぐらいのセットですけど、
数万円ぐらいのやつでポッと一旦試せるっていうのは、
お手軽でいいなと思いました。
ベランダとかでも全然できそうなので、これだったら、
ちゃんと使う当てがあるのなら、
試してみるのもありなんじゃないかなっていう気がしますね。
ただ、うちの屋上の場合は手すりがあって、
その手すりの影が結構すぐにかかっちゃうんですよね。
なので、グラフ見てると影になり始めると、
結構いきなり発電量が減ってしまうので、
だいたい昼間の10時から2時ぐらいまでしか、
ちゃんと発電はできてなくて、
その後は急激に発電量が減るみたいな感じなんで、
昼の3、4時間ぐらいがフルに近い状態で、
あとは結構少なめっていう感じだったんで、
どうでしょうね。買った金額を電気代で回収するのは、
ちょっと計算してみたら5年ぐらいかなみたいな感じですけど、
地球にも優しいっていうのはありますし、
一応回収できそう。
5年で回収できるのは別に損ではないかなっていう感じなので、
とりあえず屋上に置いておこうかなっていう感じです。
簡単にパタって閉じれるタイプなんで、
別に台風とか風がやばい日とかは、
ちょっと畳んでおいたりとかもできそうなんで、
割と気軽に発電を試せるアイテムかなっていう感じでした。
サーバーとソーラーをめぐる巣ごもり生活
なんで、何の話や。
最近のちょっと、
巣にこもって自分で巣を作ってるみたいな話ですけど、
サーバーをちょこちょこ作って動かしたら、
すぐにもうフル稼働してしまって、
また新しいサーバーが欲しくなってたりとか、
その子が結構電気を食うんで、
電気ちょっと作りたいなと思って、
ソーラー発電入れてみたりとかしてますっていう、
そんな話でした。
こんな話ばっかりでいいんかな。
もうちょっと人間的な、
それこそ右脳的な話をしたかったんやけど、
今日は家にたどり着いてしまったんで、
この辺にしておこうかな。
それではさようなら。
