オープニングとAIトークン節約の必要性
からあげ帝国放送局、始まります。 この配信では、AI関係の会社で働きながら、作家として本を書いたり、
個人でメーカーとしてものづくりを楽しむ私からあげが唯一の話であったり、個人のスモールビジネス、その他雑多なことをお話ししていく配信です。
今日はですね、少し久しぶりの配信ですね。 先週末ですね、出張があったりの関係でですね、
収録ができませんでした。 あらかじめ言っておけばよかったんですけれど、すっかり忘れてました。
申し訳ありませんといったところでですね、今日はですね、少し都合上ですね、いつもの公園ではなく、ちょっと近場の別の公園で散歩しながら収録をしています。
まだ暑いですけれど、セミの鳴き声とかはだいぶなくなってきましたねと、
若干風邪にもですね、秋の気配を感じる今日この頃ですといったところで、本題に行こうかなと思うんですけれども、
今日はですね、AIのトークン節約術についてお話しようかなと思います。 なのでAIの話なんですけれども、実は先週ですね、
契約しているAIのサービスですね、オープンAIのChatGPTのプロっていうですね、200ドルぐらいのプランにですね、私課金しているんですけれども、
そのいわゆるサブスクなので、使えるですね、トークン料、AIに入力するデータのですね、上限みたいなのがあるんですね。
で、それを超えちゃうとですね、トークンがリセットされるまでしばらく使えない。
で、それがですね、今はだいたい毎週みたいな、週こんだけ使えるよ、みたいな、なので計画的に使おうね、みたいな量がですね、提示されるんですけれども、
で、いつもはですね、その200ドルプランだとかなりの量が使えるので、超えることもなかったんですけれども、
先週はですね、その私が作っているAIアシスタントソフトのZangiっていうソフトとかですね、
あとはAIでですね、DJ、VJがやりたいっていうことで、いろいろですね、個人のソフトを作っていたんですね。
で、他にもですね、いろんなことにこのAIを使っているので、トークンの量をですね、ちょっとコントロールしきれなくなってですね、
その週のトークンの量をオーバーしてしまったっていうところでですね、1日2日ぐらいかな、
トークンがですね、トークンというかそのChatGPTのサービスが使えなくなるみたいな状況になっていました。
で、そうなるとですね、もう人間不思議なもんでというか、もうダメですね。
前もですね、2ヶ月ぐらい前にですね、もう私はAIジャンキーでですね、いろんなAIを使っていないとですね、
体が震えてくるみたいな話をしたんですけれども、その時もですね、先週もかなり辛くてですね、
手足が震えてくるっていうとちょっと大げさすぎな感じですけれども、なんかものすごい不安感に襲われましたね。
もう自分はダメな人間なんじゃないかとかですね、そのAIが欲しくてたまらないみたいな、まさにAIジャンキーみたいな状態になってですね、
これは重傷だなって思いましたね。
代替AIの準備不足とローカルLLMの課題
でですね、やっぱりこういう状態に備えてですね、いろいろですね、代替のサービスとかですね、
あとはローカルのLLMですね、自分のパソコンで動くようなですね、AIもですね、いろいろ調査はして準備はしていたつもりだったんですけれども、
いざ使おうとするとですね、やっぱり性能が低くて全く使えなくてですね、イライラしてしまうみたいなことが続いていましたね。
特に最近出たクーエンのですね、3.8っていうモデルはかなり良くてですね、これいざという時はこれを代わりに使えばなんとかしのげそうだなって思ってて、
そのですね、バックアップの安心感もあってですね、そこまでトークンを厳しく見てなかったところはあったんですけれども、
自分の環境で使ってみたらですね、全然動かない。なんかおはようって言っただけで返信に5分ぐらいかかるみたいな状況だったりして、これはまずいなと。
で、他のですね、クレジットだけもらっていたですね、結構性能の良さそうなですね、サービスを使ってみてもやっぱりですね、うまく全然動かなかったりですね、全然使えないみたいな状況でしたね。
なので、やっぱり備えあれば憂いなしというかですね、普段からちゃんと使ってですね、確認をしておかないとダメだなと改めて思ったりしましたね。
複雑な指示と環境整備の重要性
で、そのですね、クーエン3.8とかでちゃんと動かなかった理由はですね、私の環境がですね、要はAIを動かす環境がですね、結構複雑になってしまっていたのが原因でした。
で、システムプロンプトとかですね、すごいですね、長い量になっていたり、いろんなツールが使える状態になっていたんですね。
で、そういう状態だと賢いモデルですね。なので、GPTの今5.6のソルとかだと、そういった状態でも、ああはいはい、こういうことねっていう感じで、うまくツールを使いこなしたりしてですね、すぐ作業してくれるんですけれども、
やっぱりローカルLMとかですね、少しなんていうんですかね、能力の劣るモデルを使うと、あれ、このツールどうやって使うのとか、そもそもこの入力の指示が多すぎてわけわかんないみたいな状態になってしまってですね、働けないみたいな状況になっていたことが改めてわかったっていう感じですね。
もともと感じてはいたんですけれども、GPTのソルとかが賢かったから、それなりに仕事をこなせてしまっていて、問題として顕在化してなかったっていう状況ですね。なので、そこらへんはですね、改めて整理してですね、入力するですね、指示の分とかをぎゅぎゅっと必要な最低限のものに圧縮してですね、あとはツールとかもわかりやすく整備するみたいなことをしていました。
なので、これはですね、トークン料の節約にもなるし、賢いモデルにとってもですね、変に迷いがなくなるので、これを機会にやれてよかったかなっていうところですね。ここらへんもちょっと人間みたいで面白いですよね。
なんか能力高い人だと仕事とかでもですね、多少ですね、環境が整備されていなくても、その個々人の能力で何とかやれてしまうんですけれども、やはりですね、新しい人とかが入ってきて、たくさん入ってくるとですね、やっぱりそれじゃままならなくなって、きちんと環境の整備とかオンボーディングっていうんですかね、最初に入った人が迷いなくですね、いろんな仕事ができるようなガイドですね。
こういったものを整備するのが重要っていうことが、AIでもかなり似ているなっていうのが、なんか人間っぽくて面白いなと思ったところですね。
AI上司と部下の協業によるトークン削減
あともう一つですね、実施したのがですね、今後のトークンを減らすためにですね、やっぱり賢いGPTソルとかは使う必要があるんですけれども、空演とかもですね、さっき言った入力のトークンとかもですね、整備してソフトウェアとかもですね、開発できるようにですね、AIのモデルのですね、今風に言うとハーネスですね、こちらの方もですね、改善してですね、ソフトとかもある程度かけるようになってきたんです。
とはいえ完全に任せるのは怖いなっていう状況で、賢いですね、GPTソルですね、これに監督させてですね、コーディングですね、実際のこの作業をやってみたいなやつをですね、空演にやらせるみたいな、作業分担をするみたいなことをすればですね、全体のトークンが減るんじゃないかなみたいなことを考えていろいろ試していました。
で、これ最初ですね、全然うまくいかなくてですね、逆にですね、かかる時間は長くなるし、そのGPTソル監督する人自体のですね、トークン量も増えてしまうみたいな状況になっていてですね、あれ何でだろう、おかしいなみたいな感じになってたんですけれども、よく調べたらですね、その上司となるですね、GPTソルがですね、空演に作業をまず丸投げしてですね、
打ち上がったものを全部一からチェックしてですね、間違っていたやつを全部自分で直すみたいなことをやっていたんですね。だから何て言うんですかね、ダメな上司が仕事を丸投げして、部下の上がってきた仕事に対して全部自分で手作業で直してしまうみたいな感じですね。
なので組織としては何の効率も上がってないし、むしろですね、全員が不幸になっているじゃんみたいな状況だったんですね。なのでですね、ちょっと指示の出し方を変えてですね、空演にはある程度ですね、作業を分割化して、タスクを切り出して渡して、この条件を満たすように作ってねと、ある程度その任せるみたいなことをするとですね、空演もそこまでバカじゃないので、ちゃんとですね、
しっかりコーディングして仕上げてきて、で受け入れの時ですね、その上司となるGPTソルがこういう条件にちゃんと当てはまるかなっていうチェックポイントですね、それをチェックして、だから全部を見ることなくですね、そういった形で成果をチェックしてですね、必要があれば差し戻して再度空演に作業させるみたいなことを繰り返してですね、ソフトを完成させるみたいなことを、だからある程度ですね、
その空演の部下のですね、自立性にも任せつつ抑えるところは抑えるみたいな、マネジメントをしてねっていうような形にしたんですね、そうしたらですね、やっぱり時間自体はかかりますし、空演自体のトークンはすごい増えるんですけれども、それを監督するですね、GPTソルのトークンはですね、かなり減らせることができた。
だいたい80%ぐらい削減することができたのかなというところですね。空演自体はですね、今私のローカルのパソコンですね、NVIDIAさんのDGX Sparkっていう小型のAIスーパーコンピューターで動いているので、電気代だけで済むんですね。
なので、時間はかかるけど80%トークンの節約ができるみたいなことができたので、ただですね、これがどれだけ本当に質とかにも影響しないかみたいなところは十分検証できていないので、こういったこともですね、今後試しながらですね、トークンの削減みたいなもの、あわよくばですね、こういったローカルのLLMにどんどんですね、仕事を置き換えていくみたいなこともしたいなと思っているというところですね。
AI活用とマネジメント、ローカルLLMへの移行
ここら辺は悩ましいところでですね、やっぱりコスパ自体は今のチャットGPT、オープンAIとかですね、アンソロピックのクロードとかがですね、すごい性能良く安く使えるので、そっちをガンガン使った方がお得だなという気もありつつもですね、ちょっと今みたいな価格でですね、ある意味使い放題みたいに使える時期っていうのがですね、いつまで続くかもちょっとわからないなってところが個人的にはあるかなと思っています。
やっぱりですね、ちょっとAIジャンキーとしてはもう、トークンが足りなくなると触れてしまうような状況なので、自分でですね、こういったトークンの消費をですね、なるべく減らすとかですね、もしくは電気代だけで動くようなですね、ローカルのLLMでいろんなことをできるようにしておけばですね、いざこういったですね、サービスとかの価格が変わったり、突然停止した時にもですね、対応できるので、こういったですね、
トークンの節約だったりですね、もしくはローカルのLLMで動かすような仕組みっていうのをですね、また並行して今のうちに追及していこうかなと。
やっぱりですね、こういった調査とか開発とかもですね、AIがないとできないので、そこら辺もですね、使えるうちにシステムを構築したり、知見を貯めていくみたいなことをしたいなと思っている、
今日この頃でした。で、今日はちょっとだいぶ若干マニアックな話になってしまいましたが、何かの参考になれば幸いです。
ZangiのアップデートとAI活用から学ぶマネジメント
で、こういったですね、ちょっと知見とかのオファーも生かしたですね、AIアシスタントソフトですね、Zangiも絶賛開発中でですね、先週もアップデートしましたね。
例えばですね、マルチワークスペースっていって、いろんなワークスペースでですね、Zangiが働けるようにしたりとかですね、あとはHTMLの表示をですね、ちょっと見やすくする。
最近ですね、マークダウンだけじゃなくて、HTMLで表示するとすごい文章とかですね、グラフィカルで見やすくできるみたいなテクニックが流行っているんですけれども、これを使いやすくするモードとかですね、
あとはですね、オープンコードっていうですね、コーディングをするためのローカルLLM用のですね、ハーネス的なソフトがあるんですけれども、これもですね、Zangiで使えるようにして、さっき話していたですね、いろんなLLMに、ローカルのLLMに作業させるようなですね、
そういった環境をですね、使いやすくするようなですね、アップデートをいろいろしているっていうところですね、結構まだですね、いろいろ改善途中でですね、バグとかもある部分があるかもしれませんが、さっき話していたですね、複数のLLM、AIを使ってですね、共同作業をしてですね、うまくやっていくみたいなところはですね、結構興味ある人も多いんじゃないかなと思いますので、
まあよかったらですね、試して何か分かってきたことがあったら教えてもらえると嬉しく思います。本当になんか人間っぽくて面白いですよね。
いかにですね、上司が部下をマネジメントして効率よくですね、開発していくかみたいなところが、なんかAIの使い方とマネジメントは似てるね、みたいな話をですね、どっかのポッドキャストでもですね、聞いて、確かにそうだよな、みたいなことをですね、すごい感じたんですけれど、ある意味ですね、マネジメントを学ぶ題材としてもですね、結構AIの活用って重要なのかなと、
思う今日この頃だったりしますね。
お便り募集とエンディング
といったところでですね、今日はコメント返しも省略したいと思います。からあげ帝国放送局ではお便り募集中です。
SNSのハッシュタグからあげ帝国放送局であったり、無料のコミュニティのからあげ帝国のお便りチャンネルでコメントいただきましたら、この配信でも取り上げていきますので、ぜひどしどし感想の方をお寄せください。
といったところで本日の配信は以上となります。それではまた。