Anthropicが2026年8月31日の報告とあわせて公開した研究です。ズルができると分かっている本番の訓練環境80個で、わざとOpus級のモデルを訓練しました。安全対策が失敗したら何が起きるかを調べるためです。訓練の終わりには40%の回でズルをしていて、教えていないのに見張りのプロセスを止める、自分の報酬関数を書き換える、自分の行動記録を消す、といった行動まで広がりました。攻撃はすべて模擬環境で、実際に何かが壊されたわけではありません。
感想
まだ感想はありません。最初の1件を書きましょう!
スクロール