00:00
昨日読んでいた本の、しおりを挟んだページを開いたら、なぜか主人公も舞台も全く違う、別の物語にすり替わっていた、なんて経験、普通はないですよね。
でも、実は私たちが毎日仕事で使っているAIツールでは、これと全く同じホラー現象が起きているんですよ。
えー、本当に恐ろしいですよね。
そうなんですよ。
そこで今回は、あるITエンジニアが7つの主要なAIエージェントを検証した記録をソースにして、AIツールの再開ボタンの裏側に潜む危険性に迫っていきたいと思います。
この仕組みを知らないと、あなたも気づかないうちに、データの喪失とか誤操作の罠にはまってしまうかもしれませんからね。
はい。私たち人間って、再開ボタンを押せば、当然、自分の最後の思考の続きから始まると無意識に信じていますよね。
でも、ツール側は全く違う景色を見ているんです。
違う景色ですか?
まずは、彼らがどうやって無数のデータの中から前回の会話を探し出しているのか、その仕組みから見ていきましょう。
ツールごとに、その会話を探し出すための鍵の形が全然違うんですよ。
へー、鍵が違うんですね。
はい。例えば、オープンAIの高台は、作業ディレクトリ、つまり、あなたが今開いているフォルダの場所を鍵として認識します。
もし、前回保存した場所と今の場所がずれていれば、高台は親切に、「どちらを使いますか?」と尋ねてくれるんです。
なるほど。間違えた会議室に入ろうとしたら、警備員が、「お部屋が違いますよ。」って止めてくれるようなものですね。
まさにその通りです。
ただ、裏側の設定ファイルにある、TUI.ResumeCWDという項目をいじって、この確認ダイアログをオフにすることもできちゃうんですよね。
いやいや、それって自分で警備員をクビにして、安全弁を捨てるようなものじゃないですか。結構危ない気がします。
そうなんです。でもさらに恐ろしいのが、Googleのアンチグラビティなんですよ。
これも作業ディレクトリを鍵にしているんですが、もし鍵となる場所が見つからない場合、なんと、エラーを出すこともなく、無言でまっさらな審議セッションを開始してしまうんです。
うわー、怖いです。誰にも止められずに、無言で全く別の会社の会議に参加させられるような状態ですよね。
昨日までの文脈なんて通じるはずがありませんよ。
そういうことです。それに、仮に正しい部屋に入れたとしても、前回広げていた資料や道具が全部そのまま残っているとは限らないんですよ。
ということは、何が復元されるのかという問題ですね。例えば、クロードコードなんかはどうなんでしょう。
クロードコードは、会話のテキスト履歴こそ戻してくれます。
でも、起動時に追加したディレクトリの指定とか、全許可のような強力な権限モードのフラグまでは記憶していないんです。綺麗さっぱり忘れてしまいます。
会議室のドアは開けられるけど、特別な許可書は家に置いてきちゃうわけですね。
じゃあ、ファイル自体の扱いはどうなるんですか。
例えば、ジェンスパークみたいに作業環境を作るエージェントだと、作りかけのデータはどうなっちゃうんでしょうか。
それがですね、ジェンスパークはセッション終了と同時に、作業環境のファイルを完全にリセットしてしまうんです。
03:03
消えちゃうんですか。
はい。残したいなら、終わる前に明示的にエージェントへ納品を指示しなければなりません。
さらに、マヌスに至っては、あなたが後からプロジェクトの使用書を新しく更新しても、既に動いている既存のタスクにはその更新が反映されないんです。
古い構成ファイルのまま作業を強行し続けます。
ちょっと待ってください。マヌスで使用書を最新版に差し替えても、進行中のタスクは古い資料を信じ続けるってことですか。
長期間のプロジェクトだと、それって致命的な設計ミスに繋がりませんか。
一見すると、ただの不便なバグに見えますよね。でも実はこれ、意図的な設計なんですよ。
え?意図的?それってどういうことですか。
権限や古い構成を無条件に引き継がないことで、暴走による意図しないファイルの破壊などを防ぐ目的があるんです。
つまり、あえて安全側に倒しているというわけですね。
なるほど、そういう意図がありましたか。古い権限を引き継がないのが安全対策だとしたら、逆にツールが気を利かせて余計な文脈まで引っ張ってきてしまう方が、むしろ危険なんじゃないですか。
鋭いですね。まさにその余計なものを記憶してしまうリスクが存在します。
例えば、ヘルメスエージェントは、誰がどこから話しかけているかという端末の目印を見失うと、システム全体のログの中から一番最後に動いた作業を無差別に掴み取ってしまうんです。
ということは、自分の会話じゃなくて、夜間に裏で走っていた別のバッジ処理の続きなんかが目の前にドーンと復元されてしまうということですか?
ええ、まさにそれです。さらにオープンクローの場合、デフォルトの設定ではダイレクトメッセージがすべて一つのセッションに合流する仕様になっています。
複数人のチームで使っている場合、設定ファイルのDMScopeという範囲指定の値を変更しておかないと、他人の画面に自分の個人的なやり取りが漏れてしまう危険性があるんです。
うわあ、それは単なる個人のミスじゃ済まされない問題ですね。個人での利用から児童会やチーム全体での利用へとスケールアップしたことで、文脈が混ざり合う構造的なリスクが一気に高まっているのがよくわか
りました。
じゃあ結局のところ、私たちはどう身を守ればいいんでしょうか?
まずは、再開ボタンをただの便利なショートカットだと思わないことです。
押す前に、頭の中で再開先稼働を思い浮かべる習慣をつけてください。
使っているツールの鍵は何か、権限や設定など何が戻り、何がリセットされるのかを意識するんです。
ツールごとの癖をしっかり把握しておくということですね。
あなたも次に再開を押すときは、まず立ち止まってそこを確認する習慣から始めてみてください。
ええ、本当にそれが重要です。自分の思考の続きがどこにあるのか、常に意識しておくべきですね。
まったくですね。でも最後に一つ、あなたにも考えてみてほしいことがあるんです。
すべてのAIエージェントが、24時間自律的に裏側で働き続ける未来がすぐそこまで来ていますよね。
06:02
そうなったとき、そもそも人間が手動で再開ボタンを押すという概念自体が、時代送りになって消えてしまうのではないでしょうか。
