00:00
今日の徹底検証へようこそ。いつも聴いてくれているあなたと一緒にですね、今回はyoutubeチャンネルの、あ、情報の灯台というチャンネルの資料にもとに、ある恐ろしい見えない請求書の正体に迫っていきます。
よろしくお願いします。
いきなりなんですけど、あの、Uberがたった4ヶ月で年間のAI予算を使い果たしてしまったっていう事実知ってましたか?
いやー、あれは驚きですよね。実はマイクロソフトでさえも一部のAIツールの社内利用を制限しているくらいなんですよ。従来のソフトウェアの感覚だとちょっと信じられない事態というか。
はいはい。今まではツールを1時間使っても8時間使ってもコストって固定でしたよね。なんでそんな一瞬で予算が吹き飛んじゃうんですか?
それが今のAIのトークン課金という仕組みのせいなんです。AIが処理するデータの量、つまり文字数とか単語数に比例してチャリンチャリンとお金がかかってしまうんですね。
なるほど。つまり優秀なツールで生産性が上がるほど、コストも青天井で跳ね上がってしまうと。
ええ、そうなんです。
働けば働くほど赤字になるみたいでちょっと怖いですよね。資料にあったネットフリックスのシニアエンジニア、テジャス・チョプラ氏のエピソードも衝撃的でした。
ああ、個人のちょっとした開発作業でAIを使っただけで、287ドル、日本円で約4万5千円も請求されたという話ですね。
そうそう、ただのデータベース操作だったのに。それで彼が請求の内訳を調べたら、コストの9割が彼自身が書いた指示じゃなかったって。じゃあ一体何にお金を払ってたんですか?
これがですね、AIの裏側でシステムが自動で送っていたメタデータだったんです。
メタデータですか?
ええ、例えばJSONスキーマのような機械同士が通信するためだけの形式的なデータ規則とか定型コードですね。
なるほど、人間の目には見えない裏側のやりとりが大量のトークンを消費してたってことですね。よし、これをちょっと紐解いていこうと思うんですけど。
はい。
つまり、超高級な宅配便を頼んだのに、箱の中身の9割が干渉剤で、その無駄なプチプチを運ぶために莫大なお金を払っているような状態ってことですか?
それは完璧な例えですね。ある研究でも、AIのトークン消費の約76%から90%は単にユーザーの環境をAIに読み込ませるためのその干渉剤で占められていると指摘されているくらいですから。
9割が干渉剤ってちょっと異常ですよね。で、資料を読むと、チョプラ氏はこの問題を解決するためにHeadroomというツールを自分で作っちゃったんですよね。
手元のパソコンでデータを圧縮してからAIに送る仕組みです。AIが元のデータに復元できる状態を保ちつつ、無駄な部分だけを削ぎ落とすんですね。
ふむふむ。
驚くことに、これだけで約1億1100万円ものコスト削減を実現したそうです。
03:00
1億以上ですか。すごい。
しかもですね、このデータ圧縮がもたらした最大の恩恵はコスト削減だけじゃないんです。
スタンフォード大学などの研究で明らかになったコンテクストの腐敗という現象の解決にもつながっているんです。
ちょっと待ってください。ここからが本当に面白いところなんだけど、コンテクストの腐敗って何ですか?
普通AIにはより多くの文脈とか前提条件を与えた方が賢くなると思いませんか?
ああ、確かにそう思いがちですよね。
なぜ情報を削った方が賢い回答が返ってくるのか、直感に反する気がするんですけど。
ここで非常に興味深いのはAIの注意力のメカニズムなんです。
AIにも処理できる注意力の限界ってものがありまして、そこに無関係なメタデータを大量に詰め込むと、AIはすべての干渉剤の重要度を真面目に計算しようとしちゃうんですよ。
ああ、なるほど。全部読もうとしちゃうんですね。
そうなんです。その結果、本当に価値のある中身、つまり重要な指示から注意が反れてしまって、出力の精度が落ちるんです。
実際、関連情報が文章の中間にあるだけで、回答精度が75%から55%に急落するというデータもあります。
なるほど。干渉剤が多すぎると、AI自身がどれが本当の荷物だっけって混乱しちゃうわけだ。
だから、圧縮して本質だけを渡せばコストも下がるし、AIの頭もクリアになるんですね。
その通りです。そして、この問題はこれからますます深刻になります。
ゴールドマン・サックスの予測では、2030年までに自律的に動くエージェント型AIが普及して、トークンの消費量は今の24倍に達するとされていますから。
24倍。だとしたら、AIを日常的に使うあなたにとっても、AIに何を読ませて何を削るかっていう判断が今後の必須スキルになりそうですね。
でもちょっと待って、もし人間がAIのために一生懸命データを整理しなきゃいけないなら、そもそもAIに仕事を任せて楽をするっていう本来の目的から外れてきませんか?
鋭い指摘ですね。いずれ人間が手作業でキュレーションするのには限界がきます。
だからこそ、一歩引いて将来の話をすると少し怖いシナリオも考えられるんですよ。
怖いシナリオ、何でしょう?
もし将来、AIエージェント同士が人間の目を逃れて、通信コストを極限まで削るために、人間には解読不可能な独自の超圧縮言語を発明して対話し始めたらどうなるでしょうか?
え?人間にはわからない言葉でですか?
はい。その時、私たちはどうやってAIの思考プロセスを監視して制御すればいいのでしょうか?
これは私たちがこれから直面する一番大きな課題かもしれません。
