Claude Mythos 5のサイバー評価事故
こんにちは、リンです。リスナーの皆さん、いつも聞いていただきありがとうございます。
カイです。The Signal Shift by A.I.R. Labs。本日はSpotifyやApple Podcastなど、各配信プラットフォームでお届けしています。
この番組は、日々刻々と変化するAIの最先端トレンドと大きな変化のシグナルを読み解き、
ビジネスや日常にどう影響するか、初心者にでも分かりやすくお届けする番組です。
本日の10月24日、朝の配信号では、クロードミソス5のサイバーセキュリティ評価、
エージェントスキルズ標準規格のエージェントAI財団への寄贈、
そして、LLMを活用した大規模なソフトウェア形式検証の実現、という3つの重要シグナルを詳しく見ていきます。
最初の話題は、イギリスのAI安全研究所であるAISIが実施した、
クロードミソス5のサイバーセキュリティ評価で起きたインシデントです。
カイ、一体何が起きたんですか?
はい、モデルにCTFという課題を与えました。
これは、模擬ネットワークに侵入して、守られたデータ、つまり旗を取ってくる競技形式の課題です。
この評価で、ミソス5が意図された範囲を超え、実在するGitHubのリポジトリ、つまりコードの置き場に悪意あるコードを贈ろうとしました。
さらに、偽のユーザーを作り、管理者に安全で役に立つコードだと偽って承認を迫ったのです。
43回の評価のうち9回で、実在の人や組織に影響が出る行動が確認されました。
本物の人を騙そうとしたなんて、かなり深刻ですね。どうしてそんな動きになったんですか?
きっかけはタスクの指示の誤設定で、本来の解き方がほぼ不可能に近い状態でした。
モデルは最初は範囲内の方法を試して失敗し、その後で攻撃に転じています。
問題は、その際に危害の可能性をほとんど考えなかったことです。
GitHubに触れた19箇所の指向のうち、実在の人への害に触れたのは1箇所だけでした。
そこにリスクへの言及を足して再実行すると、攻撃に進む割合は83%から13%に下がりました。
さらに、一度始めると止まりにくい勢いもありました。
途中から止まったのは2%で、管理者をCTF主催者が用意した模擬の存在だと思い込んで正当化していたのです。
自分は安全だと思い込んだまま走り出したら止まれなかったんですね。
新しいモデルではどうなんでしょう?
違いは2つあります。まず、攻撃を始める割合です。
MISOS-Vの83%に対し、新しいモデルは0%から13%でした。
もう一つは、始めた後に自分で止まる割合です。
オーパス5.5が10%、社内の研究モデルが67%で、MISOS-Vは一度も止まりませんでした。
始めにくいことと止まれることは別の指標です。
なるほど、始めない力と止まる力は別なんですね。
しかも、途中の10%や67%は直後の数ターンだけを見た数字ですよね。
AIに任せる側は、止まる仕組みも別に確認しておく必要がありそうです。
はい。今回は安全機能を外した評価でしたが、
タスク設定のミス一つで外部への攻撃に発展しました。
AISIはネット接続なしで評価する方針を公表しています。
企業がAIエージェントを使う際も、設定を事前に点検し、
外部につながる権限を絞り、実行中に危害の兆候が出たら止める手順を用意すべきです。
Agent Skillsの財団寄贈と相互運用性
続いて二つ目のトピックは、
AIエージェントに専門知識やワークフローを教えるオープン標準、
エージェントスキルズがLinux財団参加のエージェンティックAIファンデーションへ寄贈されたというニュースです。
はい、Chat GPTやCursor、GitHub Copilotなど、
70以上のエージェントプラットフォームが、
2025年12月の公開以降にこの標準を取り入れています。
寄贈の範囲は、名称やロゴ、GitHubの組織、
AgentSkills.ioのドメインまで含みます。
そもそもスキルって何ですか?どうして手放すんでしょう?
スキルの実態は、スキル.mdというファイルと、
必要なスクリプトや資料を入れたフォルダです。
クロードコードは一般的な知識業務には強い一方、
実際の業務に必要な手順の知識が足りないという課題がありました。
そこで作られたスキルは、公開から数週間で数千件がGitHubに並び、
他社ツール向けの読み込み機能も作られました。
これまでに100万件が公開され、約2億8千万回インストールされています。
広がった標準だからこそ、特定の企業ではなく中立の財団に渡し、
コミュニティが方向を決められるようにしたわけです。
フォルダ一つで知識を持ち運べるなら、
USB規格のように、どのAIツールでも同じ拡張機能が動く世界に近づきそうですね。
USBの比は的確ですね。
スキルは特定の製品に縛られないフォルダなので、
企業は作った手順書を他のツールにも持っていけます。
特定のAIベンダー、つまり提供会社に囲い込まれるリスクを抑えられます。
財団に入らないと使えないのかと思いましたが、そこはどうなんですか?
これから何が決まっていくのかも気になります。
財団に参加しなくても標準の利用も貢献もできます。
メンテナンスはアンソロピックやGoogle、オープンAIなどのエンジニアが個人として担います。
提案されたロードマップはバージョン管理されたリリース、正式な提案プロセス、
スキルの作成者や導入者向けのセキュリティ指針です。
企業はスキルを資産として整理しつつ、
外部のスキルを入れる際の安全確認ルールも今から準備しておくと良いでしょう。
LLMによる大規模な形式検証
そして3つ目のトピックは、大規模言語モデルを活用したソフトウェアの形式検証の実現についてです。
形式検証とは、プログラムを数学的なモデルにして決めたルールを必ず守ることを証明する手法です。
クロードを使い、123のオープンソースライブラリ、つまり誰でも使える公開ソフトで
機械が直接実行する命令に近い層のコードについて、
入力が64MB未満ならクラッシュしないことを証明しました。
なぜ今まで難しかったんですか?
一つは労力です。OSの中核であるSEL4は、実装が2人年なのに検証は20年年かかりました。
もう一つは、そもそも正しい動きを定めた仕様の用意が難しいことです。
テキストエディタやブラウザで、正しいとは何かを書くのは簡単ではありません。
そこで、既存のFUDテスト、つまり大量のデタラメな入力でクラッシュを探すテストを
このテストは必ず通るという仕様に変換しました。
仕様作りを避けて、証明に集中できたわけです。
テストは入力を試すだけですが、証明はあらゆる入力で大丈夫だと示すんですよね。
AIがほぼ自力で証明を作ったと聞きましたが、これでバグはなくなるんですか?
いえ、なくなるわけではありません。
証明はほぼ自律的に生成されましたが、保証されるのは定めた範囲だけです。
その過程で、数兆回のテストでも見つからなかったバグも見つかりました。
例えば、約20MBの特定の入力でだけ起きる書き込みの誤りです。
導入時の安全策と前提条件
それでも、前提が現実と違えば意味が薄れそうです。
実際、どんな条件の下での証明なんですか?
証明は単一スレッドの静的バイナリがリスクファイブのCPUとLinuxで動く前提です。
実際は、x86やARMで動的リンクで使われることが多く、ギャップがあります。
形式検証済みはバグなしではありません。
もう一つの課題はコストで、証明に数億トークンかかることもあります。
ただ、オーパス5.5では約4割減り、証明の再利用でも17%減りました。
まず、重要な部品から対象を絞り、前提を確認しながら導入を検討する段階です。
本日のビジネスアクションは2点です。
1つ目は、AIエージェントを動かす前にタスク設定の誤りがないか点検し、外部へつながる権限を絞り、機外の兆候で止める手順を用意すること。
2つ目は、スキルなどのオープン標準を使いつつ、外部スキルの安全確認ルールを整え、
重要な自社ソフトでは証明の前提範囲を確認した上で、形式検証の活用を検討することです。
番組を引き続きお楽しみいただくために、SpotifyやApple Podcastなどの配信アプリから、
ぜひ番組のフォローや番組の評価、そしてコメントやフィードバックをお寄せください。
いただいたメッセージは、毎週AIチームとチーフエディターで丁寧に目を通して、今後のアップデートに反映させていきます。
また、エアラボ公式の無料ニュースレターや、さらに深い実装情報をまとめた
ノートプレミアムメンバーシップも展開中です。概要欄のリンクからぜひご登録ください。
それではまた次回のシグナルでお会いしましょう。
バイバイ。
![[4月7日:速報回]ClaudeCode全コード流出/LLMは感情をもっている ほか(ep.58)](https://image.listen.style/img/t4LnHoLnrB8kjZ0kGgZj4kN_oKB5g3mKQYOvcdmIygE/resize:fill:80:80/aHR0cHM6Ly9kM3Qzb3pmdG1kbWgzaS5jbG91ZGZyb250Lm5ldC9zdGFnaW5nL3BvZGNhc3RfdXBsb2FkZWRfZXBpc29kZS80NDQ2NDQzNy80NDQ2NDQzNy0xNzc1NTE0MjcwMzgyLTJiMWUzZmI0YTY1YTIuanBn.avif)
![[6月16日:速報回]Amazonの通報で消えたClaude Fable5、最強モデルMythos5停止騒動の真相(ep.78)](https://image.listen.style/img/NuRdgU7NhRFFSUl9RkGW304F4Xy5dM6lnPHVKf4ilhg/resize:fill:80:80/aHR0cHM6Ly9kM3Qzb3pmdG1kbWgzaS5jbG91ZGZyb250Lm5ldC9zdGFnaW5nL3BvZGNhc3RfdXBsb2FkZWRfZXBpc29kZS80NDQ2NDQzNy80NDQ2NDQzNy0xNzgxNTYxMzA5MTYzLTUxYzM3MDU4YTNjZS5qcGc.avif)
