GPT-OSSの概要と導入
明日のファクトリーオートメーションへようこそ、メンバーソニー高橋です。
クリスです。
よろしくお願いします。
よろしくお願いします。
クリスさん、何か言いたいことというか、何か話したいことがあるって聞いたんですけど。
言いたいことっていうのは、最近ね、多分、7月ぐらいかな。
GPT-OSSがちょっと発表してて、
わざわざちょっと遊んでみたんですね。
それ以前にまず、GPT-OSSは何でかというと、
皆さん、多分、Chad TVとかよく使ってるんですけど、
先生に会えて、Chad形式でいろいろ質問したら返してくるんですけれども、
こちらのGPT-OSSというのは、ちょっと低コストで、
強いなローカルAIを、ローカルでAIサービスを立てるというモデルを提供してるんですね。
その中に提供できたのは、GPT-OSS120Bと、もう1個は20Bですね。
モデルは2種類が提供してて、120Bは大体OpenAIのO4 miniと同じぐらいのことできて、
もう1個はさっきちょっと、GPT-OSS20Bは大体OpenAIのO3 miniぐらいですね。
なので、私はパソコンもそんなに強くないので、ちょっと120Bのほうを試したんですけど、
前はちょっと別の話で、個人で微小条件を作りたいという話も多分したんですけど、
したっけ?
そう聞いて初めてローカルAIを使ってたんですけど、
GPT-OSS20Bを使ってて、面白いなと思って、ちょっとこの場で紹介というか、
毎日を使った感想をちょっとしようと思います。
まず整理していいですか?クリスさん、整理していいですか?
はい、どうぞ。
まずあれですよね、クリスさん今回やってるのは、ローカル環境で動くAIモデル、
生成AIモデルを試したってことですね。
低コストとかじゃなくて、世の中でフリーで公開されてるLLMモデルがあって、
これを自分のローカル環境、いわゆる自分のパソコンの上で動かすということができる。
今回新しくOpenAI社がGPT-OSSというモデルを提供、リリースして、
これにはメモリをどれだけ使えますかというやつですね、120と20というものが出て、
クリスさんは20のほうを試したってことですね。
そうですね。
これはライセンスがパッチ2.0だから、個人で使えますよってことですね。
そう、使えますね。
ローカルAIサーバーの活用
はい、どうぞ。
これを使って、最初に皆さんも私も含めて、
自分のパソコンでローカルAIサーバーを立ち上げるのはすごい難しい範囲じゃないかと思ったんですけど、
やってみたら意外と世の中に便利なツールがたくさん提供していて、
基本はコードを一切書かずにローカルサーバー、AIサーバーを立ち上げることが、
まず、してたんですね。
それはどれくらい楽なんですか?
本当に普通のツール、
私が使っているのはLMStudioというツールですけど、
LMStudioは、
ちょっと待ってくださいね、
普通のGoogleで皆さんでLMStudioを検索していて、
ホームページをたどり着いて、
それでダウンロードボタンがあったので、
ダウンロードボタンをクリックして、
自分のWindowsだったらWindows、
MacだったらMac、LinuxだったらLinuxで、
普通のソフトウェアとして、
まずこのStudioをダウンロードして、
自分のパソコンにインストールします。
インストールしたら、
次はモデルをダウンロードします。
モデルは、さっき言ったとおり、
ChatGPTのGPT OSSの20ビートか20ビートか、
モデルをダウンロードして、
それはこのモデルをこのStudioで開くと、
これでローカルAIサーバーを立ち上げる完了というか、
Pythonパッケージで入れるとか、
それは一切なくて、
ただソフトウェアをダウンロードして、
セットアップして、
それで好きなモデルを選んで、
ジオパソコンの中に入れる。
それだけのことで、
それでローカルAIサーバーを立ち上げたということは、
私は最初にこれをやった時にすごく感動しました。
そんなに簡単にできるんだと思ってて。
そこにプロンプトをパッと打つと返ってくるってことですね。
そう、このChatGPTと同じような機能ですね。
一応問題は、このモデルは結構重くて、
量用が必要ですね。
例えば、私が使っている20ビートは12GBぐらいの大きさですね。
もう1個は確かに30、40ぐらい、もっとでかいですね。
なので、まず自分のパソコンにそれくらいの量用がないとダメですね。
あと、私のパソコンはエミリアのちょっとGBを入れるんですけど、
あれはすごいさらさら動くんですね。
自分のパソコンのリソースを使うので、
この辺のパソコンのちゃんとこのサーバーモデルとか
走るかどうかを自分に判断しなきゃいけないということがありますね。
ちなみにどういうことをやらせて、どういう結果が返ってきたんですか?
クリスさんの仕様を読み出して。
最初は小説を書こうと思って書いたんですけど、
やっぱり色の線が超えなきゃいけない、超えちゃダメな線がまだあるので。
実際、私は小説を書くのはオープンAIのGBTOSSじゃなくて、
今日本人が作ってたモデルがあるんですけど、
あれも使って小説を書いてます。
あれを書いてもいろいろ、ちょっとギリギリの線まで書けるので、
あれを使っているんですね。
このオープンAIのあれを使って、
最近やったのはCODISのコードを作成してもらったりとかやってるんですけど、
将来的には目指すところはローカルAIサーバーがあって、
その中に例えば仕事上で必要なPDFとかドキュメンティションとか全部入れて、
その中で答えも出してくれるというのが私は理想かなと思っているんですね。
これはなぜローカルに行くかというと、
たまに今年かな、4月の企画監督に行って、
5月の企画監督に行って、AIサーバーを使いたいんですけど、
でも自分のものをネットからアップするのが嫌だなと言ってて、
あれをちょっと調べて、
そういうローカルAIサーバーというものがあるんだと立ち上げて調べたら、
そういうやり方もあるんじゃないと思って、
実はこのAOMプラッシュもAPIで対応しているので、
API経由でオープンAIモデルを立ち上げて、
ローカルAIサーバーにリフェストを渡して、
答えをもらうことができるんですね。
ちなみにこれはマルチモーダルなんですか?
もう一回言いますか。
マルチモーダルなんですか?
マルチモーダル。
画像とかPDFとかそういうものって投げられるんですか?
私投げたんですけどできなかった。
基本的にはテキストだけなんですね。
テキストですね。
GPT OSSは調べたあれは、
PDFをアップしたんですけどダメだった。
ダメだったっぽいです。
あとは多分私のやり方は悪かったので、
これからちょっと別の方法で試しようと思いますね。
何話したっけ?
最後にAPI経由で答えをもらうんですね。
なぜかというと、
例えば実際チャットGPTからAPI経由して答えをもらうと、
ローカルAIサーバーの利点
お金がかかるんですね。
得というんですけど、
多分一つの単語で、単語かな?
単語の範囲でお金で看護されてるんですけど、
なのでそのときにプロトフォーム、
どういう質問かかなり考えなきゃいけないですね。
最短のトークで必要な答えが出るまでは、
これは関係ないんですけど、
ローカルAIサーバーは基本は、
自分のパソコンサーバーで全部完結できるので、
基本はそういう料金は一切いらないですね。
自分のパソコンサーバーなんだから、
レッド、
チャットGPTのところにあってないので。
そういうところは一緒に連携して、
何ができるかなと今ちょっと模索してますね。
まあ遊び程度ですけど。
それはクリスさん、これからそういうシステムを作りたいってことですか?
今のクリスさんの小説を作るっていうのは全くいらんじゃないですか、
このシステムって。
いらないです。
まあいらないですね。
チョップとか使ってもギリギリなんですけど、
まあ遊び程度でやってるんですけど。
API連携させてシステム作るみたいなことをやりたいってこと?
そう、これはやりたいです。
なるほど、楽しみにしてますね。
これは夢ありそうかなと思いますね。
多分、これ分かんないけど、
我々の今業界もある程度求めてるところにも
あるところあるかなと思いますね。
ローカルで完結できるところが
多分やっぱり欲しいんじゃないかなと思いますね。
なんかパッと情報を見てる限り
Mac miniで動くみたいな感じが聞こえてくるんで、
10万から15万ぐらいで準備できるってことですもんね、ハード。
そう、そこまで。
20Bは多分そこまでハードでなくてもすぐできるはずなので、
あれは試したいというか、
これからもいろいろ試してまた色作ろうかなと思ってるんですね。
キーチとかアプリとかアプリケーションとか
どこまでできるのかも自分は模索中ですね。
まだ初心者なので、自分も。
こういうオープンモデルって結局これからもどんどんレベル上がっていくでしょうし。
そうそうそう。
正確的な答えもどんどん出てくるので、
たぶん皆さんも分かるんですけど、
遊び部屋でも1個パソコン入れてみてどういうものなのか、
どうやって免許できるかを遊んだほうがいいかなと思いますね。
なるほど。
どう?私は思ってます。
いいと思います。
僕は手出さないでおこうかなとは思ってますけど、
クリスさんが言ってくれるってことなんで。
基本は私がやって、田中さんに報告します。
そうですね。
実際、個人でやるのか会社でやるのかみたいな話もあるじゃないですか。
あります。
会社でやったときっていっぱいレスポンスが集中したときに返せるのかみたいな話もやっぱりあるじゃないですか。
出てくる。
そういうのを考えて評価しないといけないんでしょうね。
そうですね。
やっぱり自分パソコンなので、ローカルハードウェアなのでその辺も全部含めて評価しなきゃいけないというところがあるんじゃないかなと思いますね。
このチャッチビータば、チャッチビータ任せると彼のリソースを使うので、どっちがいいのかちょっと私も分からないですね。
基本正論対応ハードウェアですね、が一番気になるんじゃないかなと思いますね。
でもやっぱり一つ利点としては、ネットワーク繋がなくていいっていうのはかなり大きな利点だと思うんですよね。
Pはパラメータですね、ビリヤンのパラメータ。
パラメータですね。
パラメータカードです。
ネットワーク繋がなくていいっていうのが一つ大きな利点だと思うんで、
例えば宇宙空間で動かしたりするみたいなときって回線の頻度が限られたりするんでとか、
あとは工場の中でネットワーク環境がないところで動かしたりするって話も当然あるでしょうし。
そうですね。
もっと軽くなるんだったら普通にCPUの横で同居してやるっていう話も当然出てくるでしょうし。
そうですよね。
何かモジュール刺して、ローカルAIモジュールバチッて刺してやる場合もあるんですよね。
だからいいか悪いか分からんですけど、そういう方向性はありますよねっていう話は当然あるよねとは思ってます。
そうですね。
実際ローカルAIじゃないんですけど、確か去年かな、2年前かな、フェニックスコンタクトさんがAIモジュール出したからなんですね。
ちょっと待ってくださいね。
メール、メール。
ちょっと番号忘れないですけど、
PSNextが隣でGoogleが一時的にTPUというものを出してきて、
TPUごめんなさいね。
TPU、Google。
ボードですね。
専用のプロセッサーですね。
あれを使ってAIのアプリケーション、推論を行うんですけれども、
フェニックスコンタクトさんもこれのモジュール式が出てきて、
PSNextのパスを導入させるやつ。
データを全部このパスを経由して、このモジュールに計算、演算させて、結果だけ返すみたいな。
それってLLMなんですか?
いやLLMじゃないですよ。小さいAIモジュールが出てくる。
大学生ですよね、たぶんONNXですよね。
将来でもそういうモジュールも出てくるんじゃないかなと思ったんですね。将来的には。
ちょっと期待はしてます。
一応出てくるんじゃないかなと思いますね。
バーチャルもそうです。
分かりました。ありがとうございます。
AIモジュールの将来性
というわけで本日はJPT OSSをクリスさんが試した結果というところで、
クリスさんは小説それでいっぱい書いてるんで、
それもそのうち公開されると思いますので、ぜひ皆さん楽しみにしてくださいということで、
本日は終了したいと思います。ありがとうございました。
ありがとうございました。
