00:00
こんにちは、AIで仕事をサボるラジオのしゅうへいです。
はい、ということで皆さん、Fableを使っておりますでしょうか。
グロックからグロック4.5っていうのが出て、僕まだちょっと使えてないんですけど、
それもなんかオーパス級でオーパス越えでなのになんかめちゃくちゃ安いとか、
いろいろね、今AIで新しいモデル開発がすごくて、
チャッピーも5.6ソルっていうのが来るとかね、
今なんかリリース間近でございますけど、
今日とかなのかな、ちょっと忘れちゃったけど、
今はすごいね、アンソロピック、クロードを作ってるアンソロピックと、
オープンAIのチャットGPT、そしてXAI、改めSpaceXAIになりましたね。
イーロンマスクの会社ですけど、SpaceXAIのグロック4.5というところで、
もう司列ですね、争いがね。
中国はなんかその最新モデルを逆にアメリカとかに使わせないように輸出しませんよと。
なので結構ローカルのね、LLM、オープンウェイトとかって言ったりしますけど、
それに関してはね、結構アリババとかね、
あとはあそこ、Rなんとかとか作ってるどこだったかちょっと忘れたけど、
なんかアリババとかね、クエンとか作ってますけど、
その辺りが結構強いので、
オープンウェイトに関してはね、Googleがジェマ4とかね、
いいものを出してくれてますから、
そういったものを僕らはオラマとか使ったりとかね、
して入れて使っていくのがまあいいんでしょうけど、
本当にこうわからないですね。先が本当に読めない。
今日はまあそういう最新モデルでもあって、
結構みんなが今ね、お金払えば使えると。
3000円から使えるというフェイブルというモデルがありますが、
そのフェイブルのモデルの唯一の欠点で言うとですね、
トークン消費が激しいんですよ。
いわゆるそのトークンっていうのはパケットみたいなもんです。
平成一桁世代は。パケ放題とか覚えてますか。
データ通信料ってあるよね。
今だとギガとかみんな言いますけど、
当時はパケットが何たらかんたらとか、
パケ放題が出たとかやってましたよね。
N504iでした。
僕が初めて買った柄系はね。
505の人が羨ましかったね。
64万ウォンでいいなみたいな。
音がいいなみたいな。
100万画素もあるんだみたいなね。
そんなことを思ってましたけど、
まあその話は一旦置いておいて。
そのフェイブルというトークンが、
フェイブルというモデルはトークン消費が激しいんですが、
僕も実際今日話すことをやったら、
かなりトークンの節約ができるようになりました。
正直もっと早くやればよかったっていうくらい。
今200ドルプランに課金してるんですけど、
それを今週、
昨日、月曜日リセットだから、
金土日曜行きないといけないんだけど、
今85%くらい使ってます。
もう一回どこから課金するか、
いわゆるサブアカウントですよね。
もう一個200ドルのプラン課金するか、
あとはクレジットを買うっていう感じですかね。
プラスアルファ、
例えば50ドル分だけ買うとかできて、
その50ドルの中でフェイブルとかが使えるようになる
みたいな感じなんですよ。
それを検討してますね。
03:01
200ドルでもフェイブル使えるんだったら、
正直安いなって感じです。
全然回収ができるので。
なんだけども、
何をやったら結構コストカットができたか、
トークンカットができたかっていうことを
今日は話していきます。
これはオープンAIじゃなかったりとも、
アンソロピック公式のアカウントから
言ってくれてることがありますので、
それに基づいて今日は解説をしたいと思います。
まずやり方としては2種類あります。
要するにトークンの消費を抑える方法は2種類あると。
それは何かというと、
アドバイザー型とプランナー型というものです。
アドバイザー型とプランナー型、
この2種類があります。
僕がやったのはアドバイザー型なので、
それについてまずは紹介をしていきたいと思います。
結論はフェイブル5、
フェイブルのモデルがありますけど、
それと後はオーパス、ソネット、ハイク、
クロードにはいろんなモデルがあります。
そのモデルで能力が変わったり、
得意な部分が変わったりとか若干するんですね。
なので複数のモデルを使わせると。
いわゆるやってはいけないことって何かというと、
フェイブルに全てをやらせるってことが
もったいないわけですよ。
コーディング性能に関しては、
フェイブルで書こうか、ソネットで書こうか、
オーパスで書こうか、
あんまこれで変わらないらしいんです。
変わらないっていうか、
すげー難しいことさせたら変わるけど、
簡単なHTMLを書くとかさ、
フェイブルにやらせるのすげーもったいないの。
ランボルギーニでコンビニ行くみたいな感じ。
車で散歩のところにランボルギーニで行くみたいな。
別にそれ軽トラでも行けるし、
なんなら歩いてもチャリでも行けるじゃんみたいな。
現地でも行けるじゃないですかみたいな。
フェイブルに関してはランボルギーニみたいな感じ。
オーパスがテスラって感じかな。
ごめんテスラで例えるけど。
ソネットがプリウスとか、
ホンダフィットとか乗用車。
すごいめちゃいいコストのやつね。
俳句がゲンチャかな。
ゲンチャか軽トラみたいな。
ホンダのスーパーカブってありましたよね。
ホンダだったっけ。
鈴木だったっけ。
ホンダかな。
スーパーカブってめっちゃ走るやつね。
リッター120キロとか走るやつ。
それが俳句みたいな感じです。
だから言うたら、
できることで言うとやっぱりそれは、
ランボルギーニできることってそんなになさそうな気がするけど、
すげー早いよね。
めちゃくちゃ早いし、
すごいエンジン積んでるわけじゃないですか。
だから全部フェイブル、
ランボルギーニにさせる必要はないっていうのが、
まずここの使い方の基本です。
やってはいけないことは全部フェイブルに任せるってことをやらない。
じゃあこのアドバイザー方とかプランナー方とか、
何か難しいことをさせるのか、
何か設定がいるのかっていうと、
そんなことはいらずにですね、
例えばプロンプト書くときに、
もうこういうふうにしてくださいって言うだけでできます。
例えば僕がやってるアドバイザー方っていうのは何か、
あ、ごめんなさい。
僕がやってるのはプランナー方だ。
そう、プランナー方です。
ごめん、間違った。
僕が使ってるのはプランナー方ですね。
まずはプランナー方から説明すると、
いわゆるオーケストラだったりします。
だからフェイブルが指揮者です。
06:00
計画立案をフェイブルがして、
タスクを分解して、
それをソネットとかに指示をするっていうことです。
もちろんこれソネットだけじゃなくて、
これアンソロピックの投稿の内容では
ソネットにやらせるってことをやってますけど、
これ別にオーパスにやらせても大丈夫。
だから指示内容としてはですね、
これ僕なんか羊さんだったかな、
Xでちょっと見かけて、
あ、めっちゃいいなっていうものがあって、
それ何かというとですね、
フェイブルは現場監督に徹すること、
作業には手を出すな、
プランニングや判断はあなたに任せるが、
実行はオーパスとソネットを使って行うこと
っていうのを僕、辞書登録してます。
これをプロンプト打つときに、
指示打つときに一緒に打ったりはしてるんですが、
それだけでもかなり変わりました。
その上で、
これ毎回毎回指示するのめんどくさいから、
僕はこれをクロードMDと言って、
クロードマークダウンファイルですね。
これは毎回何か指示があったら
それをクロードが読み込むっていうものなんですが、
その中に入れてます。
つまりフェイブルで指示を出したときは、
フェイブルが全部やるんじゃなくて、
ソネット5とか、
オーパス4.8とか、
俳句とかにやらせてくださいねということです。
これローカルのLLM使ってる、
クエンとか入れてる方だったら、
クエンにやらせることもできます、もちろん。
ただ僕も昨日やったんだけど、
ちょっと遅かった気がする。
スピードは若干違う気がしますね。
その辺り今後いろいろ試していきたいと思います。
そういったことができますよと。
これがプランナー型。
アドバイザー型って何かというと、
ソネット5が基本作業します。
だからもうフェイブル入れないってことですね。
多分そうなんだと思うんだよね。
必要なときだけフェイブルに相談して、
助言をするみたいなことができます。
この例えばアドバイザー型とプランナー型で、
どれぐらいクオリティが変わるのかっていうと、
例えば一つのタスクを全部フェイブルにやらせた場合が
100%だとしたときに質ですね、性能。
そうしたらさっきのアドバイザー型、
ソネット5が基本作業して、
必要なときだけフェイブルに相談をするって、
このアドバイザー型でいうと、
その性能差でいうと92%でした。
だから8%性能減ぐらいです。
でも全部フェイブルにやらせて100で、
ソネットに基本やらせてフェイブルに助言もらうだけで
92にいくんですよ。めちゃくちゃ良くない?
これかなりトークン節約できると思います。
フェイブル5の呼び出しは1タスク平均1回程度だったということです。
費用に関してはフェイブルだけでやった場合に比べて
約63%節約ができただったかな。
ちょっとごめんなさい。
僕は資料作ったんだけど、どっちか忘れちゃった。
たぶん63%カットできたっていうことだったと思いますけど、
詳しくは皆さんちょっと見てみてください。
もしかしたらその63%で良かったっていうことかもしれない。
いや、たぶんそんなことないと思いますね。
63%減できたっていうことだったと思います。
これがアドバイザー型ですね。
プランナー型はどうだったかというと、
これはフェイブル5が計画立案して、
ソネットとかオーパスにやらせるってことですけど、
09:00
まず性能でいうと96%。
だからフェイブルが100だった時の96なんで、
もうほぼ一緒なんだよね。
費用でいうと46%だったので、
たぶんこれはフェイブルでやった時の46%で済むってことかな。
どっちか分かんないけど、
ちょっと知らないじゃない。
詳しく知りたい方は見てみてください。
なので両方プランナー型、アドバイザー型で言えることは何かというと、
とにかくほぼフェイブルだけでやったことと性能差がない。
トークンの節約に関してもかなり削減ができてるということなんですよ。
なのでこれはやったほうがいいです。
どういうふうにしたらいいかっていうと、
さっきのプロンプトとか打って、
プランナー型かアドバイザー型どっちでもいいと思うんですけど、
それをやりたいのでちょっとプラン作ってくださいと。
これはAIとかで調べたら出てくると思います。
アンソロピックの公式のアカウントで、
プランナー型、アドバイザー型とか、
フェイブルの活用事例が出てたと思うので、
それをちょっとまとめてくださいと。
自分のところに入れたいので、
クロードMDを最適化してくださいっていうふうに言うといいです。
そこはフェイブル、最初ソネットでリサーチさせて、
本当の作業のとこだけフェイブルにさせてもいいかもしれません。
フェイブルは高数に関しては高いでいいですよ。
高い、高でいいと思います。
英語で言うとハイで十分です。
どうしても何かそれでも出力が悪かったら、
ちょっとエクストラハイとか最大とかマックスとかにするといいと思います。
僕はもうウルトラコードはほとんど使ってませんね。
使うことがない。
何かではもしかしたら入れるかもしれないけどっていうような感じですかね。
なのでぜひこのフェイブルを使ってちょっと節約したいなと。
長くなるべくフェイブルを使いたいなと。
お金をなるべく溶かしたくないなという方は、
これで試してみてください。
ということで今日も聞いただきありがとうございました。
クロードの使い方に関しては公式サイトから学習サイトがありますので、
そちらで動画無料で5本ぐらい見れますので、
よかったらそちらを見てみてください。
クロードアプリの教科書を作っておりまして、
そちらにもフェイブルを使った事例とかっていうのを、
昨日動画2本ぐらい追加したので、
まず住宅の設計をさせたのと、
あとファルっていうAPIを使って、
画像生成のフローとして、
これオススメだよっていうものをね、
クロードコードの活用事例のところに入れておりますので、
気になる方は見てみてください。
ということで今日も聞いただきありがとうございました。
この後も心地良い時間を過ごしてください。バイバイ。