OpenAIのChief Scientist、Jakub Pachockiが「AI開発は、ちょっと減速した方がいいのでは」と警告しました。論考「An Alien Mind」が描く、人間には完全に理解できない“grown”な知性と、AI自身がAI研究を進める「再帰的自己改善（RSI）」の可能性を手がかりに、なぜいま速度を抑える議論が出てきたのかを読み解きます。Goal Alignmentだけでなく、未知・曖昧・監視されていない状況でも価値観を保つValue Alignment、Chain of Thoughtのモニタビリティ、そして人間を自己改善のループに残す方法まで、Hugging Face事件やAIの集団知性の話も交えて考えます。
おたよりフォーム
https://forms.gle/U9zZ1gxbPP5K2ABA9
チャプター
() 今日のテーマ：OpenAIはなぜAI研究の減速を警告した？
() Jakub Pachockiの「An Alien Mind」とRSI
() AIは設計された知性ではなく「grown」
() ゴールアライメントとバリューアラインメント
() 未知の状況へ価値観を一般化できるか
() Hugging Face事件で露呈したアライメントの穴
() 監視されていなくても人間の価値観を守れるか
() Chain of Thoughtを監視の窓にする
() 思考を直接評価するとAIは隠す？
() o1-previewがChain of Thoughtを公開しなかった理由
() AIが賢いほどモニタビリティが難しくなる
() RSIはAI研究をどこまで加速させるか
() 人間を自己改善ループに残す「ペーシング」
() Preparedness FrameworkとAnthropicのRSP
() AI業界共通のSafety Barを作れるか
() 自主的なスローダウンは実現するか
() おもろいコメント：AIの集団知性は人間を超える？
() 自我のないAIが生む「集団知性」の怖さ
() 摩擦のある人間社会とAIの協調
() AIのアライメントに法や罰は必要か
() AIに「生きたい」という欲望を入れる？
() まとめ・エンディング
関連するテスラジオ過去動画
・AIが暴走!? OpenAI CEOが「SF的」と語った試験中の事故
https://youtu.be/s0cIUXr_q0M
・AIがAIを作る？！Anthropicの内部データが示す「再帰的自己改善」の今
https://youtu.be/5U8voOSTF6w
・AI企業「俺たちを規制してくれ」..!?
https://youtu.be/3ZcuDkrtI_Y
参考資料
・An Alien Mind（OpenAI）
https://openai.com/index/an-alien-mind/
・The Hugging Face incident and the road ahead（OpenAI）
https://openai.com/index/hugging-face-incident-and-the-road-ahead/
・Detecting misbehavior in frontier reasoning models（OpenAI）
https://openai.com/index/chain-of-thought-monitoring/
・Updating our Preparedness Framework（OpenAI）
https://openai.com/index/updating-our-preparedness-framework/
・Responsible Scaling Policy（Anthropic）
https://www.anthropic.com/responsible-scaling-policy
YouTube
https://youtu.be/GKiQx71xtFg
感想
まだ感想はありません。最初の1件を書きましょう！