00:00
今回のテーマの深掘りですが、エラーが出たときに、とりあえず画面全体をスクショして、AIに投げることについてですね。
これすごく手軽でよくやっちゃうと思うんですけど。 よくありますよね。とりあえずそのままペーストするっていう。
はい。でも実はそれ、皆さんの大事な情報をばらまきつつ、AIのパフォーマンスまで下げている最悪の手かもしれないんです。
確かに画面全体を安易に貼ると、隣のタブの顧客名とか、たまたま出た通知のポップアップまでAIに読み込まれちゃいますからね。
そうそう。それがノイズになって、指示への集中力を削いでしまうんですよね。
なので今回のミッションは、提供された資料をもとに、7つのAIエージェントが画像をどう渡して、読んで残すのか。
その実態をひも解いて、皆さんの情報と時間を守る方法を探求していきます。
はい。よろしくお願いします。
でも不可って言っても、画像をアップロードするのは最初の1回だけじゃないんですか?
そこが大きな誤解なんですよ。
例えばクロードコードのようなシステムだと、会話の文脈を保つために、過去の履歴と一緒に画像の全バイトデータがですね、毎ターン再送されているんです。
えっ、ちょっと待ってください。もし会話が10往復したら、あの重いデスクトップ全体の画像を10回もシステムに投げつけているってことですか?
そういうことです。
それは遅延が起きるわけだ。
例えば、蛇口の水漏れを直してほしい配管口に、家を丸ごと持っていくようなものじゃないですか?
まさにその通りです。
家全体を見せられても困りますよね。
だからこそ、マヌスのようにテキストは約5000トークンという上限を設けて、画像の処理枠とシステム側で意図的に分けているツールもあります。
なるほど。重い荷物をどう裁くか、システム側もシックハックしているんですね。
だから必要な部分だけを切り抜くことが必須なんだ。
はい。さらに、アンチグラビティなんかは逆転の発想でして。
逆転ですか?
ええ。人間が重い画像を渡すんじゃなくて、AIのブラウザのサブエージェントが、自ら必要なタイミングでスクリーンショットを撮るんです。
これで合っていますか?と人間に確認を求めて、画像はシステム側にアーティファクトとして残す仕組みになっています。
それは賢いですね。人間がノイズだらけの巨大な画像を押し付けるのを最初から防いでいると。
そうなんですよ。
じゃあ、もし私たちがクロードコード以外のシステムに重い画像を何枚も渡してしまった場合って、どうやってその負荷を回避しているんですか?
勝手に画像を縮小したりするんでしょうか?
実は縮小するのではなく、テキストへの変換を行っているツールが多いんです。
テキストに変換ですか?
はい。高度なマルチモーダルモデルを毎ターン動かすのは計算コストが高すぎるので、
エルメスエージェントやオープンクローなどは補助の視覚モデルを使って、画像を一度短い要約分に変換します。
そしてメインのAIにはそのテキストだけを渡すんです。
ちょっと待ってください。
じゃあ、私がエラー箇所を丁寧に5枚スクショして送っても、メインのAIは実際のピクセルを見ていないってことですか?
03:00
ええ、アーキテクチャ上はそうなります。
さらに、オープンクローの場合、デフォルト設定では処理されるのは先頭の1枚のみなんですよ。
え、1枚だけですか?
はい。しかもたった500文字程度のテキストに変換されてしまって、残りの4枚は完全に無視されています。
うっそでしょ。じゃあ複雑なシステム構成の図解を渡しても、
青い四角が3つありますくらいに要約されて、元の図面は捨てられているようなものですね。
それじゃあ、的確な答えが返ってくるわけないですね。
だからこそ、AIにどう読まれるかを知る必要があるんです。
コーデックスやジェンスパークといったツールでも、画像は単なる証拠として扱われることが多くてですね。
なるほど。
なので、人間側が画像の右上のエラーコードを見て、というように文章で明確に指示しない限り、AIはどこに注目すべきか判断できないんです。
画像を送れば、AIが勝手に空気を読んでくれるというのは、私たちの思い込みだったんですね。
AIの視力は、私たちが思っている以上に制限されていると。
はい。ツールごとの設計の違いを理解して、ピンポイントでの切り抜きとテキストでの的確な誘導を組み合わせること。
それが結果的に、AIから最高の回答を引き出して、同時にあなたのデータを守る術になります。
いやー、今日からもうデスクトップ全体のスクショを丸投げするのはやめにします。
さて、これを聞いているあなたに一つ考えてみてほしいことがあります。
今度スクリーンショットを撮るとき、画面の端に注目してみてください。
たった一行のエラーを直すために、あなたはどんな秘密を自分が制御できないサーバーへ送信しようとしているのでしょうか。
