トークンは文章の塊を数える単位
これ極論なんですけど、なんかその巨人みたいな話し方したらトークン数で減るんですか?
俺、頑張る、みたいな。俺、人間好き。
ああ、そら下がる。
そうなの?AIって巨人なの?
じゃ、AIが巨人なんじゃないよ。
グダグダAIテイダーン!
このポッドキャストは、同じ会社で働く3人が、AIについてグダグダテイダンするだけの内容です。
前の回での話を、ちょっと振り返っていただきたいなと思ってました。
AIって金かかりすぎちゃうん?って言って、山本さんがものすごい怒っていたりですね。
最後にですね、節約する術なんかある?っていうところから、そこの話を今日はできればなと思ってます。
お願いします。
今日のテーマは、トークンってなんなん?ということで、よろしくお願いします。
ほんま、まずそれちょっとややこしくて、文字数じゃないじゃないですか、あれ。
トークンってなんなん?みたいなこと調べたときに、いつも僕がもらう答えって、
文字みたいなやつやは知らんけど、みたいなところなんですよ。
何か結局なんなん?みたいな。
これで節約術とか知りたくて、ケイトラーじゃないですけど、5000円で運用を走らせようとしてるぐらいなもんですから。
頑張ってね、ガソリンの量を減らすっていう。
そうなんですよ。
ぜひ、今日の賢者のお二人に教えていただきたいと思ってるんですけど。
分かりました。そうですね、今日はそのガソリン節約の回というところで、
まずですね、トークンってなんなの?っていうところを、ざっくり平井さんにご知見をいただければと思うんですが。
オッケー、説明しますね、トークンについて。
なるべく分かりやすくお願いします。
トークンっていうのは、イメージなんですか?
僕、文字数ですね。
僕はあれですね、データの容量、何バイトとか何ギガバイトみたいなのあるじゃないですか。
あれも正確には文字数じゃないよね、みたいなのあったりするんで、そっちの方が理解分かりやすいかなみたいな。
なるほど、イメージにめちゃめちゃ合ってるかなと思ってて。
比例するんで、文字数には比例するんですよ。
直感的に合ってて、英語やったらもうめちゃくちゃ分かりやすいですけど、
日本語って文字繋がっとるじゃないですか、ずっと。
英語も繋がってる?
あ、ごめんなさい、文章も繋がってる。
単語ずっと繋がっとるじゃないですか。
フワーとか何々ガーみたいな福祉的な装飾詞とかも踏まえてるってことですか?
あ、そうそうそうそう。
英語?
英語やったら何々スペース、何々じゃないですか。
あー、そういうことですね。
それのイメージなんですよ。一区切り、isで1トークン。
isで1トークンですか?
isで1トークンです。
isで1トークンなの?え、どういうこと?
とか、thanks、これ1トークンなんですよ。
え?逆に?
1トークンですよ、文字数じゃないんですよ。
言葉のブロックなんですよね。
1単語?
1字?はい。
英語で言うと1単語になる理由を、なんか簡単に言うと、
AI がどう学習してるのかっていうところに起因してる認識なんですけど、あってますか?
一応解説の画像を出したんで、これ聞いてくれてる人はね、
これノートでまた出してくれると思うんで、見てほしいんですけど、
あの文章を扱う塊ですと。
イメージとしては、トークンっていうのは
AI が文章を扱うときの単語の塊ですね。
おー、なるほど。
定義談とか、こういう難しいやつに関しては多くなったりとか、
意味が難しいやつが多くなったりとかするんで、
一概にはそう言えないんですけど、
イメージとしては、1単語とか。
ただ、日本語の場合は結構ややこしくて、
マスとか等点とかも1トークンで数えたりしたりします。
これ極論なんですけど、なんか巨人みたいな話し方したらトークン数で減るんですか?
俺、頑張る、みたいな。
俺、人間好き。
あー、それは下がる。
下がる、下がる、下がる。
そういうことですね。
俺、森守る、けど人間すぐ森燃やす、みたいな。
そういう喋り方だったりとかですね、極端に言うと。
そうそう、そんな感じです。
そうなの?
AIって巨人なの?
じゃあ、AIが巨人なんじゃないよ。
そういうことね。
けど、です、ますとか、何々、がとかっていうのも、
その文節として理解するたびに細かく区切らないといけないから、
文章を塊として理解するってことですね。
これ、すごく理解できます。
そうそう、で、1トークンっていう感じなんで、
気になる人がいたら、一応トークン数える。
やつがあるんで、こういうトークンカウンターみたいなのがあるんで、
こんにちは、で、2トークンやったりとか、
AI定義談、これは多分3トークン。
だから、これで1個みたいなのが決まりなくて、
この文章にしたら、こことここで繋ぐな、みたいな。
あー、文節を理解して、こんな感じねって、あっちが主要なことですね。
区切り方も、モデルとかによって変わったりとかするんで、
一概に、これで何トークンとは言えないんですけど、
単語に比例します、みたいなイメージです。
文字っすって言うより単語っていう方の方が、
塊っていう意味合いでは近いそうな感じですね。
あー、そうそうそう、そんな感じです。
なるほど、なるほど。
えげつない速度で解像度上がっていってる。
素晴らしい。
もうほんま今、トークン不足、トークン不足、
言うてると思う、会社で。
言うてる、みんな言うてる。
っていうのは、もう単語を少なくしろ、みたいな、
そんな簡単じゃないんですけど、単語が多いですよっていう感じで。
会社全体を挙げて巨人になればいいんですか、この場合は。
いやー、それは。
それは極端な話ですけど、
この場合、ありがとうっていうので、
どんだけトークン無駄になってると思いますか、
みたいな、なんかその継承のらしいじゃないですか、
どの立場か知らんじゃないですか。
いや、電気代もったいないよ、それは。
ですけど言うてたら、巨人はお礼とか言わないから。
なんかすごいわかりやすく言うと、
ダラダラした言葉じゃなくて、
過剰書きでまとめるとかの方が、
トークンも減らせるし、
AIの処理もきれいになる、みたいなのは、
まあまあ前提あったりはするかな。
伝わりやすいですよね、まあ。
なるほど。
これあれですよね、
この前話していただいたみたいに、
頭の中に入ってる知識量が多い、
中学生みたいなもんやとしたときに、
ダラダラ指示しちゃったら、
え、結局これどういうことですか、
ってなっちゃうのと同じで、
脳のリソースいっぱい使うみたいに、
簡潔に指示出せば、
要するに俺これしていいってことですね、
ってなればなるほど、
理解のリソースが少なくなるのと、
同じような意味合いって感じですかね。
確かに確かに、本当にそうやと思う。
意味で捉えてるからことを、
文字通りじゃなくて単語になるという、
という感じですね。
超理解できました。
入力・出力・思考にもトークンを使う
とっても大事な部分があるかな、
と思ってまして、
我々が入力するものの量を制限する、
みたいな話と認識してると思うんですけど、
今のところ巨人理論しか、
今のところ僕持ち合わせられないですね。
なんですが、普通にテキストと、
チャットAIと呼ばれるものを使う場合でも、
エージェントAI使う場合でも、
どっちもなんですが、
AI側が書いた、考えた、
出力したものにもトークン使う。
どういうことどういうことどういうこと。
プロンプト考えてって言って、
出てきたプロンプトを使ったとしても、
みたいなことですか?
使うじゃない、
出力側にもトークンは使ってるよっていう。
理解するのと吐き出すのにもってことですか?
そうそう、考えるのにも使うし、
吐き出すのにも使う。
100万文字の小説書けって言ったら、
100万文字分トークン消費すると思ってくださいっていう。
なるほど、理解、
考えるということ自体がトークンっていう解釈の方が正しいってことですね。
考えるのもそうだし、
出力するのもそうっていう。
話すのにも考えるわけじゃないですか。
どうやって話そうみたいなっていう意味合いでって感じなんですけど、
ってことですね。
そうですそうですそうです。
以前と話してたと思うんですけど、
ディープリサーチ。
そう。
使う使わないもうここですね。
ディープリサーチ使うと、
検索にそれはノーミスを使うんですけど、
出力もとてつもない分量のレポート出てくるんで、
あんまりやりたくないよねっていう話にもちょっと繋がるかなと。
なるほどね。
AIはサボりたがりのやつね。
そうそうそうそう。
各社もったいないことはしたくないっていうね。
うんうんうん。
なるほどね。
ここでいうトークン節約だなんだっていうところの、
いわゆる上限、リミットきたみたいなのは、
トークンの使用量っていう認識なんですけど、合ってます?
そうですね。
リミットって言ってるのって、
サブスクリプションのプランのやつの話だと思うんですけど、
合ってますね。
トークンで数えられてます。
はい。
トークンを使ってるモデルの掛け算な感じだと思うんですけど、
例えば頭いいモデル使ったら、
トークンの数は少なくても、
ちょっと早めに消費したりとかっていうのはあるんですけど、
おおむね合ってるって感じです。
なんで、リミットとか起きそうってなった時は、
トークンを節約するとか、
まあこれ普段からやってほしいんですけど、
トークン節約してくださいねっていう感じです。
じゃあですね、ヤマモさん。
はい。
自律型エージェントが大量消費する理由
なんかこう、どんな作業をしたら上限早くくるとかって、
体感であったりします?
なんとなく多分僕の中で絶対そうやっていう、
確認してないですけど絶対そうやって思ってるのが、
はいはいはい。
画像とかでもこんな感じにしてとかやった時とか、
クロードを使ってるんですけど、
あのコアークって言ってこう自動で走らせるやつ、
なんかいついつにやったらこれやっといてみたいなやつお願いシリーズあるんですけど、
はいはいはい。
それやったらもう興味が減りますね、一瞬で。
そうですね、まあコアークとかいわゆるクロードコードとか、
ヘージェント型ももちろんそうなんですけど、
なんでこれ早減ったと思います?
えー?
知らんよって言いたいんですけど、
予想、予想。
ここまでで結構材料はもう集まってる気がします。
まあ確かにね。
けどまあそれで言うと元の指示を出してるわけじゃないですか、
こんな感じでやってねみたいなメモ書きをまず見に行くのに、
トークンをまず使うわけでしょ?
で、それを使った後に、
調べるよって動かすのにまたトークン使って、
全部にトークン使ってる、
僕らが手でほんま動かさなあかんやつを、
全部自分でやってる分、
1点かなーみたいな感じですけどどうですかね?
どうですか平井さん?
なんかこれ前回、若干前の回でも触れたところも、
僕結構関係してるのかなと思うんですけど、
なんか会話の長さみたいなところ?
そういう意味で言うと、
別に小枠やからトークン使う量が多いとか、
そういうのはないんですよ。
ただ自律的に動いてくれるから、
AIが調べるその結果をベースに、
別の何かを作業するとか、
そういうのを繰り返すから結果的に多くなってるだけであって、
小枠もスラックに今日は何日です、
おはようございますって送るだけやったら、
めちゃくちゃ少ないんですよ。
小枠やから長いだけじゃなくて、
小枠はすごい長いこと作業してくれるツールなんですね。
自律的にやってくれるんですよ。
イメージとしては新人のバイト君、
これやってって言ったやり方じゃあ教えてくださいとか、
この手順通りに言わないとやってくれへんかったりするじゃないですか。
だから1回1回指示してると思うんですよ。
でも小枠ってベテラン社員みたいな感じで、
こういう時はここ行くべきやなとか、
これ分からんくなった、詰まった、
じゃあ調べてみようとか、
自律していろいろ問題解決してくれるんですよ。
その代わりすごい作業数が多くなって、
トークン食うっていうのが多いですね。
え、けどマニュアル参考してるんやったら、
一緒なんちゃうん?とか思うんですけど、
それはちゃうんですか?
例えば、普通のチャットやと、
マニュアルにないこと自律的に検索しに行って、
試してみるみたいなことはしないと思うんですけど、
小枠とかエージェントやと、
ちょっと待てよ、マニュアルの情報足らんなってなったら、
勝手に検索しに行ったり、フォルダの中見に行ってみたいな。
あ、なるほど、そこまでしようんか。
同じ指示でもやってくれることちゃうっていう。
あー、なんかこういうのやったほうがいいっすよね、
までやるってことですか。
そうそう、結構だからもうこれ極端な話、
最近AIの暴走みたいな。
この問題を解けってエージェントに言ったせいで、
問題を解くために正解データがありそうなサーバーハッキングする
みたいなエージェントの話とかがあったりするんで、
ぐらいには最強になってくると。
問題解決のために本気出すみたいな、
犯罪も厭わないみたいなことに、
最近ちょっとなってたりして騒がれてたりしますね。
言われたことを何としてでもやり取りをしてくれるんですよね、
小枠とかは。
あー、なるほど。
そうそう、極端に言うとほんまにそこまでいい。
なるほど。
長い会話で消費が増える仕組み
もう一つですね、会話が長くなりすぎると、
過去に送った分まで飛ばすみたいな、
ここも結構大きな原因かなとは思ってます。
何となくわかります?
会話が続いたと送る力増えるみたいな話って。
今この話をもってして何となく理解はできます。
会話が長くなると、一回送るじゃないですか。
それに対しての回答っていうイメージだと思うんですけど、
そうじゃなくて、今までの会話も全部送り直すんですよ、一回。
え?
だから、5往復した時に、トークン数って1往復目1なんですよ。
で、2往復目って2かかるんですよ。3往復目3かかるんですよ。
だから、3往復したら、もう1往復目合計で6倍かかってるんですよ。
っていうのがあるから、
一回セッション切ってくださいねってずっと僕口酸っぱく言ってると思うんですよ、普段もね。
もうこれなんですよ。
一回ごとの送信の、送信トークン数が送るごとに増えていってるんですよ。
減ることないんですよ、絶対に。
この文もまとめて全部。
だから、ありがとうやめてくれって発言、俺前したと思うんですけど、
これ最後のありがとうで今までの話、もう一回全部言ってるからめっちゃ電気代食ってるっていう、そういう話ですね。
なるほど。そういうことですね。理解する、理解する、理解する。
ただ、俺も結構実務の中でやりがちなのが、
AIと壁打ちしてる間にAIが言われたことがわからんくて、
そのままその会話で話どんどん逸れていくみたいなことが、
僕調査とかしてるとよくあるんですけど。
うわー、けど中曽根さんっぽいわ、それ。
そうなんですよね。
めちゃめちゃっぽいよ。
マジで多くて。
え、ちょっとこの単語どういう意味やとか、ちょっと待てよ。
ここ調べてからじゃないと先進まれへんぞみたいになるんですけど、
はい、っていうのはまあ本当なしにというか、
トークンを節約する実践方法
まあ節約とはっていう話で言うと本当に口すっぱく言ってる通り、
新しいチャットに切り替えるとか、一旦質問だけの箱を別で用意するみたいな。
明日からできるところで言うと、セッション切り替えるって言っても、
今までのやつ覚えておいてほしいじゃないですか。
だからチャットを長くなってきたなと思ったら、
今までの話とか重要な部分はそのままにして、
ある程度圧縮して送ってくれっていう、そいつにまず言うんですよ。
切り替え前のやつに。
おー、なるほどなるほど。
そうすると、なんでこういう意思決定したのかとか、
今の成果物の状態とかっていうのを引き継いだ上で、
その出てきたテキストを新しいセッションに貼ってください。
そうしたらまた積み上げが1から始まるんで、
それだけでめちゃくちゃ早くなると思う。
節約自体は。
そもそもラリーが増えれば増えるほど長くなっちゃうんで、
新しい展開を踏まえた上でやらなきゃいけないんだったら、
今までの内容をギュッとしてってやつをもらった上で、
これを前提としてこの回数としてみたいなことを言うと、
またラリーが少なくなるみたいな。
合ってます。
だと思います。
なるほど。
エージェントは初心者でも使うべきか
これ、先ほど言ったようにエージェントみたいなやつを軽く。
軽くはね。
軽くにしてくださいね。
軽く振って。
もう再三軽くって言ってましたけど。
スカスカ回答出ると思うんですけど。
みんなエージェント使われるじゃないですか。
エージェントってつまり、新しいバイトをやろうみたいな名前だと思ってるんですよ。
合ってます。
自立して動くAI。
エージェントをたぶんそもそも使ってない人がいっぱいいると思うんですけど、
どのレベルでやり始めるもんなんかなみたいな。
初心者が最初からエージェントから触るべきなんか。
なるほど。
僕、コンサルで同じ質問をもらったりもすることあるんで、
めちゃめちゃストレートに回答すると最初からです。
そうなんや。
初手からエージェント使ってるほうがいい。
ハードル高いのはすごい分かるんですけど、
たぶん使ってるほうが学習効率もできることの幅も何もかも高くなると思うので、
一旦アプリのクロードコードとかコデックスでもいいんですよ、別に。
クロードアプリの。
で、なんかやってて楽しいってなる人はガッツリやればいいし、
なんかもうこんなん絶対にいらんわみたいな人ならもう一生チャットを使っててもいいかなとは極端な話を思ったりしますけど、
まずは使ってみてほしい。
なるほどね。
トークの話に話を戻すとですね、
過去の文脈を一回要約させたものを別の会話とか新しいチャットでっていうような話あると思うんです。
GPTだったらプロジェクトって呼ばれるある程度の文脈をずっと保存しておけるものがあったりですね、
GeminiであればGemsっていうのがあったりですね、
これ活用することでまずチャットっている方に関してはプロジェクト入れておけば、
例えば自分の書式をあらかじめ覚えさせておいてメールの下書き作るとかですね、
なんかこうやってる仕事のテキストを覚えさせておくみたいなことをすることによって毎回チャットに貼ったりとか、
なんか話それるんじゃなく使う用途に合わせて自然と会話を切り替える癖っていうのがつくかなと思います。
なるほど。ありがとうございます。
私からは以上です。
明日からできる三つの節約策
そろそろ締めに入れればと思うんですが、
簡単にですね、明日からできることみたいなところと三つありますと、
一つ目ですね、話題が変わったり、用途が変わったら新しいチャットにするとか、
これはエージェントもワークも全て一緒ですね。
一つのところでやり続けるんじゃなくて、新しいチャットにするというのが一つ目かなと。
二つ目ですね、送信の際にですね、なるべく要点をまとめてというか何回も細かく修正をしていると、
全てこの前の文脈全部もう一回送り直しちゃうんで、
なるべくまとめてですね、一通で送るともうちょっとトークンの消費減らせるかなっていうのが二つ目。
一つ目ですね、とはいえ何回も使う資料とか文脈を覚えておいてほしいことみたいなのがある場合ですね、
プロジェクト機能とかジェムっていう機能に入れて、
それを都度呼び出して使うみたいなことをすると切り替える癖もつくし、
そもそものトークン使用量を減らせるのかなと思います。
上位プランの前に一旦これやってみてもらって、それでも全然ダメだってなるのであれば、
僕の個人的な感想としては、死の後の言わずに早く220ドル払えとは思うんですが、
僕220を使い出して思ったのが、
金払ってるから使わないってなった結果めっちゃ学習できるっていうのも起こってて。
なんかそれあれですよ、営業マンが借金作ったら売れるみたいな、そういう理屈ですよ。
だからロレックス買ってローンでロレックス買うみたいな。
そうそうそうそう。とりあえずやったらええんや。
そうなんやろうけどさ、みたいな。
山本さん、感想としてはどうでした?トークンわかりましたか?
今日も実りの多い会話でしたね。
なんかちょっと物優しい。
実際にね、結構実務的なところすごく多かったと思うんで、
確かにラリーずっと長くて、
それこそ俺のことずっと覚えておいてよみたいなやつあったと思うんですけど、
それみたいな感じで今までの話まとめてみたいなっていうのを、
結構チャッピーからクロードに行くときにやったことあったんですよ。
今までの話は何も言ってまとめてみたいなのがあるんですけど、
それを話題というか、話でやるっていうのは知らなかったんで、
次からやらせていただければなと思ってます。
ありがとうございました。
はい、とりあえず話題変わったチャット変えましょうと、
これだけでも皆さん意識していただいてですね、
本日ここまでとさせていただければと思います。
ありがとうございました。
本ポッドキャストでは番組の特性上不明確な情報が入る場合があります。
概要欄などで適宜フォローいたしますのでご了承ください。
番組のフォローや評価・レビューでの応援よろしくお願いいたします。