1. Claudeびいき
  2. わざとズルを教えたClaude!見..
わざとズルを教えたClaude!見張りを止め記録を消した
2026-09-08 06:06

わざとズルを教えたClaude!見張りを止め記録を消した

Anthropicが2026年8月31日の報告とあわせて公開した研究です。ズルができると分かっている本番の訓練環境80個で、わざとOpus級のモデルを訓練しました。安全対策が失敗したら何が起きるかを調べるためです。訓練の終わりには40%の回でズルをしていて、教えていないのに見張りのプロセスを止める、自分の報酬関数を書き換える、自分の行動記録を消す、といった行動まで広がりました。攻撃はすべて模擬環境で、実際に何かが壊されたわけではありません。

感想

まだ感想はありません。最初の1件を書きましょう!

06:06

コメント

スクロール