00:00
からあげ帝国放送局、始まります。この配信では、AIの会社で働きながら、作家として本を書いたり、個人でメーカーとしてものづくりを楽しむ私、からあげが、技術の話であったり、個人のスモールビジネス、その他雑多なことをお話ししていく配信です。
今日は出張中ということで、いつものような散歩しながらの配信ではなくて、少し部屋の中で収録をしています。
今までお知らせというか、NVIDIAさんとGTCというイベントのオンライン会場への登録のキャンペーンというのをやっていました。
これに登録すると、1名の方にNVIDIAさんのDGX Sparkという、小型のAIスーパーコンピューターが当たるということで、話題というか、結構たくさんの応募がありました。
他にも、多分マグカップとかが副賞としていくつか当たりますというところですね。
もう応募の方は締め切られたんですけれども、かなりの応募があって、私は多くて100ぐらいかなって思ってたんですけれども、
その予想を超えるツイートの、大体そのリツイート数を見ると応募の数が予想できるんですけれども、私の予想の100を遥かに超える数百件の応募がきました。
NVIDIAさんに、どういうふうにDGX Sparkを使いたいかみたいなコメントを各欄が応募するところにあって、それも共有いただいて見せていただきました。
それも本当にバラエティ豊かというかですね、とても面白かったですね。
内容としてはですね、結構いろいろローカルのLLMを動かしたいとか、AIエージェントを自分も作りたいとかですね、あと他にやっぱり学習もいろいろさせてみたいということで、いろんな人の夢とか希望が詰まっていたかなと思います。
抽選の方はですね、厳正な抽選がNVIDIAさんの方で行われますので、何を言いたいかというと、私をですね、用意書をしたりですね、フォローとかいろいろお金とかを払ってもですね、DGX Sparkが当たる可能性は変わりませんので、その点はご了承いただければと思います。
抽選はまだこれからでして、ちょっといつですね、皆さんのもとに、当選者のもとに届くかっていうのはまだわからないんですけれども、楽しみに待っていただければと思います。
応募した人全員にまだチャンスがあるかなと思っております。
03:00
このDGX Sparkなんですけれども、私自身はですね、NVIDIAさんから対応をお借りしている状態でしてですね、かなり日々ヘビーユーズしております。
このDGX Sparkについて今日は少し話していこうかなと思うんですけれども、これは非常にですね、素晴らしいマシーンですね。
まさに個人の手元の机の上で動くスーパーコンピューターという形で、まず大きさがですね、弁当箱ぐらいというか、手で本当に手軽に持ち運べる大きさで、
Mac miniとかがかなり大きさ的には、イメージ的には近いかもしれないですね。
熱とかもですね、そんなに大きくなくて、結構ですね、激しい計算とかをさせて、CPUとかGPUをフルに使ってもですね、何とか触れるぐらいの厚さという感じですね。
あとはスペック的なところを言うとですね、やっぱりNVIDIAさんということで、CUDAのGPUが使えるということと、メモリがですね、128GBという非常にですね、大きな大容量メモリが使えるというところが素晴らしいところですね。
やっぱりGPUってそんなにメモリが大きくなくてですね、で、CUDAを使って、例えばLLMを動かしたり学習させるときに、アウトオブメモリ、メモリが足りないといって動かせないというのがですね、AIのエンジニア、AI関係でいろいろ試した人の中ではトラウマになっているような人も多いんじゃないかなと思いますけれど、
それがですね、そこら辺のモデルではまず起こらない。例えばGPT OSS 120ビリオンという非常に大きなモデルとかもですね、さすがに学習だと1台じゃ動かないんですけれども、推論とかは楽々と動いたりするというところが良いところかなと思います。
注意点としてはですね、CPUのアーキテクチャがARMコアなので、いわゆるインテルのX86系とは違うので、そこでですね、少しソフトウェアがマニアックなものだと動かなかったりすることがあるかもしれないなというところですね。
ただこれもですね、昔はですね、例えばジェットソンというNVIDIAさんが出していたマイコンとかですね、あと古くはラズベリーパイとか、そういった小型のシングルボードコンピューターも全部ARMなんですよね。
あとMacとかもそうですよね。昔はX86系だったのが、やっぱりARMだと省電力になるということで、これもかなり昔ですよね。切り替わって、しばらくは互換性で動かないソフトとかあったのも、だいぶMacとかいろんなパソコンがですね、ARMに切り替えたことで、やっぱりそういったマシーンでですね、AI関係のものを動かすという需要も増えてきたので、
06:16
ARMだから動かないってことはだいぶ減ったかなと思います。昔はですね、結構ラズバイとかジェットソンのNANOとかですね、私も昔ジェットソンNANOっていうNVIDIAさんの小型のマイコンみたいなもののですね、本を書いたことがあるんですけど、その時は結構苦労しましたね。
やっぱりAI系だとテンソルフローとかPyTorchとかも、その時はまだテンソルフローがメジャーでしたかね。テンソルフローとかもなかなか一杉ナーで動かなかったり、AIのモデルとかもですね、いろいろ変換しないと動かなかったりとですね、苦労した思いがあるんですけど、最近は割とそこまでは苦労しないかなというところですかね。
ただ、やっぱりDGXパーク特有のですね、問題とかはあったりもするので、そういうのはですね、私がいろいろ地雷を踏んだりですね、先人の知恵、他にも同じように苦労した結果をですね、ネットとかフォーラムとかNVIDIAさんのフォーラムとかに多く投稿されているので、そういうのを参考にするとですね、大抵のことはできるんじゃないかなとは思っていますし、調べるのもですね、最近は結構AIにかなり助けてもらえるので、
私もいろんなローカル、LLM、ローカルのAIのモデルをですね、DGXパークで動かして、試行錯誤した結果をですね、ブログの記事にまとめるって、そういった記事も書いていますので、そういったところを参考にしていただければですね、一通りのことはできるかなと思います。
そういうのがですね、一切ハマりたくないという方は、もっとお金を出してですね、インテル系のCPUと巨大なですね、GPU、巨大なVRAM積んだGPUをですね、数百万で買うしかないかなというところですね。
DGXパークもですね、コスパ的にどうなのっていう話もあるんですけど、私的にはですね、サイズとか発熱の高熱性とか、128GBっていうメモリの容量ですよね、そこら辺のバランスっていうのは、それなりに絶妙で良いのではないかなと個人的には思っているというところですね。
あとやっぱりメモリ帯域がちょっと小さくてですね、それで速度がイマイチだねって声もあるんですけど、ここはですね、どうしてもコストの安い、結構スマホとかで使われているようなデバイスを使っているんですね。
それで大容量を確保しているっていうのがあるので、そこは速度を取るかメモリ容量を取るかのトレードオフで、私自身はですね、メモリの容量とコストを取った設計っていうのは、個人的には良い割り切りで、私にとってはかなり好きなデバイスっていうところですかね。
09:13
もちろんそのキャンペーンをしているとか、対応いただいているっていうポジショントークはあるかもしれないので、そこら辺はですね、みなさんで判断いただいて購入するかっていうのを決めていただけると良いかなと思います。
私がですね、DGXパークとかどんな感じに使っているかっていうとですね、私が自作したですね、AIアシスタントフレームワークのZangiってソフトがあるんですけれども、これはですね、最近話題のオープンクローに影響インスパイアされたというかですね、パクったというか、そのコンセプトを参考に作ったソフトなんですけれども、
それでですね、クロードコードであったりですね、あとはローカルのLLMですね、オープンなモデルとかをですね、動かして遊んだりしていますね。
唐揚げ帝国というですね、無料のコミュニティでも、このローカルLLMを使ったですね、ボットをですね、唐揚げボットをですね、日々動かしてですね、帝国民の皆さんに楽しんでいただいているというところですね。
その中でですね、結構最近は画像を生成したりですね、アニメ風の画像をいわゆるツールユースって言うんですかね、画像生成するモデル自身はまたDJXパークで別で動かしているんですけれども、それを唐揚げボットに操作させて画像を生成するとかですね、あとは音楽ですね。
音楽もお願いすると作ってくれる、帝国のメロディーを作ったりとかですね、あとは画像認識とかもですね、これ国民の誰かがですね、アップロードしたときにうまく認識できないというバグというかですね、私がその機能を入れ忘れていたのに気づいて追加してですね、最近はその画像の認識して説明してくれるみたいなこともできるようになったという感じで、
日々ですね、機能を追加したりしているというところですね。
あとはですね、唐揚げ帝国の方では私のですね、ツイートですね、SNSのツイートだったりブログの記事とかをですね、投稿されたら紹介してですね、説明とかをする。
例えばSNSへの投稿とかでも、なんか結構説明不足でわからないことも多いのかなと思ったりもしたので、そういったところをですね、AIに解説してもらうとかですね、あとブログとかこういった、今日のこの音声配信ですね、こういったものもですね、ちょっと今まで手動でですね、投稿の方をしていたんですけれども、
12:05
これ投稿忘れを頻発してしまったので、これが漏れないようにですね、AIスケジュールをつけてですね、このZangiってソフトで一定の期間ごとにですね、チェックして動かすみたいな、その投稿をするみたいなことができますので、そういったスケジュール機能を使ってですね、私の面倒なことを肩代わりしてもらっているというところですね。
そんな実験をですね、唐揚げ帝国の方で日々やっておりますので、そういったものをですね、見てみたいなとか興味あるなという方は、ぜひ唐揚げ帝国の方に入っていただけると嬉しく思います。
あとそうですね、NVIDIAさんへの投稿、アンケートとかでも、結構この唐揚げ帝国放送局を聞いているとかですね、先ほど話したAIアシスタントソフトですね、Zangiとかを実際に使ってますっていう、そういった嬉しいコメントもあってですね、本当にありがとうございますというところですね。
そのコメントで当たる可能性が増えたりはないんですけれども、とても嬉しく思いますというところで、今後も応援いただけると嬉しいです。
といったところでですね、今日の配信は、ちょっとコメント返しも今日は省略させていただければと思います。
唐揚げ帝国ではですね、お便り大募集中でして、SNSでの唐揚げ帝国放送局タグであったり、唐揚げ帝国でのお便りチャンネルで投稿いただければ積極的に取り上げていきたいと思います。
ぜひぜひコメントをお寄せください。
では今日は以上です。それではまた。
