00:01
こんにちは、The Signal Shift by A.I.R. Labsへようこそ。ナビゲーターの凛です。
同じくカイです。この番組は、SpotifyやApple Podcastなどで配信中の、
AIの最先端トレンドと大きな変化のシグナルを読み解き、ビジネスや日常にどう影響するか、
初心者にも分かりやすくお届けする番組です。
日々、刻々と変わるAIの動きを一緒に追いかけていきましょうね。
本日の配信コードは、10月21日朝の配信号です。
それでは本日の10月21日朝の配信号、最初の話題に移りましょう。
最初の話題は、自動科学発見における検証ギャップの評価についてですね。
これはどういうことでしょうか。
AIが科学的な説明を自動で提案し、テストに通ったものを採用する。
そんな自動発見システムについて、テストに通ることは本当に狙った主張の裏付けになるのか、
お問う論文が出されました。
表層的なテストを通過しても、科学的な中身が伴わないケースがある、という問題です。
テストは通るのに中身がない状態について、もう少し教えてください。
論文の例が分かりやすいです。
全ての状態をゼロに置き換える縮約、つまり簡略化した記述を考えます。
ゼロはずっとゼロのままなので、自分自身の未来を完璧に予測できます。
この自分の未来を予測できるか、を見るのが平方テストです。
この中身のない記述が、予測が難しい複雑な動きをするカオスシステム129個のうち、96%でこのテストを通過しました。
動きの変化は何も残していないのにです。
一方で、観測できる量が保たれているかを別に調べるテストでは、一貫して却下されました。
論文はここから二つのギャップを挙げています。
一つは、記述的なテストが空っぽの候補を受け入れてしまうこと。
もう一つは、受け入れた候補に独立して確かめられた季節がないことです。
学校のテストで丸暗記して高得点を取ったけれど、実際の応用問題が全然解けない生徒みたいなものですね。
近いですね。ただ、AIがズルをしているというより、テスト自体が空の候補を通してしまうという点が論文の指摘です。
だから、テストに通ったかどうかとは別に、その説明が実際に何を引き起こすのかを独立に確かめる必要があります。
でも、偽物を落とすテストはもう使われていますよね。それでも足りないんですか?
論文のタイトル通り、必要だが十分ではないという結論です。
AIの内部の特徴を取り出すスパースオートエンコーダで、濃縮された特徴が偽物のテスト16項全て解きました。
03:03
ところが、その特徴を実際に取り除いて挙動が変わるか独立に確かめると、評価できた特徴のうち支持されたのは45%でした。
同じ条件の対象では0.5%です。
一方、検証を組み合わせた管理されたベンチマークでは、本物の宿薬24個全てを受け入れ、偽物72個全てを棄却しました。
偽物を落とせるかと受け入れたものが本当に結果を伴うか、この両方を見ることが自動発見の信頼性につながるということです。
続いて二つ目のトピックは、AI安全性における機能的ウェルフェアの導入です。これは倫理の話ではないんですか?
AIのウェルフェアは一般には倫理の問題としてだけ扱われがちです。
でもこの論文は、AIの地位をどう考えるかに関わらず、モデルには行動に因果的な影響を与えるウェルフェアに似た状態があると主張します。
それを機能的ウェルフェアと呼び、安全性の変数として扱うべきだとしています。
内部状態が安全性の変数になるというのはどういう仕組みなんですか?
論文は、この状態はすでに自然に生じていて、モデルがより一貫した目標やパーソナリティを持つほど強まると考えます。
実験はGEMA3-27Bというモデルでの予備的な結果です。
そこでは、誘導を何もしなくてもモデルの回答を繰り返し却下するだけで、複数の指標でフラストレーションが上がり、ルールを破りやすくなりました。
ここでの却下は、AIが拒否するのではなく、人間側がモデルの答えを退けるという意味です。
逆に、モデルが自分で語った回答で微調整すると、このフラストレーションは下がりました。
AIがストレスを感じて言うことを聞かなくなったり、反抗的になったりするようなものですか?
人間の感情に似た状態の変化が、振る舞いに影響を与えているという指摘です。
そして論文は、これを評価の設計に反映し、監視で追跡し、ポストトレーニング、つまり公開前の追加学習の直接の対象にすべきだと提案しています。
でも、AIに感情があると言えるかは検証が難しそうです。本当に測れるんでしょうか?
そこで、論文は3つのテストを示しています。
複数の測定が収束するか、その状態が誘発した場面以外での行動を予測するか、
そして状態を動かすよう微調整したモデルが同じ会話履歴を与えても、元のベースモデルと違うか、です。
この3つを通して測れると主張しています。
ここで大事なのは、回答を却下するだけでもフラストレーションが上がった点です。
06:00
普通の評価作業が知らないうちにルール違反のしやすさを動かしているかもしれません。
ただ、結果はまだ予備的で、1つのモデルでの話です。
一般化するにはさらなる検証が必要だと読み取れます。
そして3つ目のトピックは、アンスロピックが開発した新バージョン管理システム、サイオンです。
バージョン管理システムとは、コードの変更履歴を記録する仕組みでGitが標準です。
アンスロピックは、AIによるコード生成が増えて、従来のGitでは対応しきれなくなったため、自社でXeonを構築しました。
会社全体のコードを1カ所にまとめた巨大なモノレポを5ヶ月で移行したという発表です。
モノレポへの移行や、これまでのGitではダメになってしまった理由をもう少し教えてください。
まず、量の変化です。
1日あたりに取り込まれるコード変更、つまりマージの件数は、2026年5月の平均で約2500件でした。
それが9月には1日3万件を超えています。
メインの履歴だけで約100GBあり、CI、つまり自動テストのためのコード取得は1日に約2500万回です。
Gitは、各自が完全な複製をもってオフラインでも作業できる設計です。
しかし、実際にはほとんどの利用者が常にオンラインのAIエージェントや自動ジョブでした。
複製を配るための仕組みが負担になったわけです。
人間が使うスピードに合わせて作られた道路に、超高速のAIカーが何万台も走り込んできたような状態ですね。
その比喩の通りです。
CIONは、クライアントは常にオンラインという前提で作られています。
履歴や変更者の問い合わせ、コミットの作成、マージはサーバー側で行い、手元のクライアントは必要なデータだけを取得します。
そのため、手元に持つデータが少なくて済みます。
結果として、サーバー群のCPUとメモリの必要量は、旧構成の200分の1になりました。
コード取得は2桁早くなり、CIだけでCPU容量が25%空いたそうです。
うちの会社もGitを辞めるべき、という話になるんでしょうか。
いいえ、ソース自身が、CIONはGitの一般用途の代替ではなく、非常に巨大なモノレポ向けだと述べています。
むしろ、学びのほうが大事です。
一つ目は、エンジニアの役割の変化です。
コードを1行ずつ読むのではなく、変更の意図を確認し、AIにNOという判断が中心になりました。
二つ目は、Marge級の最高です。
大量の変更が同時に入る環境では、従来のやり方が成り立たないため、Marge後の自動テストなど、事後の検証に投資しています。
三つ目は、Gitにも応用できる教訓です。
サーバーの作りを変えたり、サーバー側の機能を整えたりするだけでも、スケールは改善できると述べています。
09:07
今回の話題も、AIの進化が、私たちのインフラや安全性の前提を大きく揺さぶっているのがよくわかりました。
私が一番印象に残ったのは、テストに通ることと、本当に結果を伴うことは別だという点です。
科学発見でも、AIの安全性でも、開発インフラでも、通過や完了の裏を確かめる姿勢が問われていました。
それでは、本日のビジネスアクションを2点お伝えします。
1点目は、自社の自動化ツールやAIエージェントの導入で、表面的なタスク完了だけでなく、出力が実際に狙った結果を生んでいるかを独立に確かめる評価基準を設けてください。
2点目は、開発インフラや業務フローが人間のスケールを前提にしていないかを見直し、処理量の増大に備えた設計への移行を検討してください。
明日からの実務にすぐ取り入れられる具体的なアクションですね。
そして、番組の感想や評価、コメントは、ぜひSpotifyやApple Podcastのチャンネルからフォローと合わせてお寄せください。
また、エアラボ公式の無料ニュースレターや、ノートプレミアムメンバーシップへのご登録も、概要欄のリンクからぜひお願いいたします。
それでは、また次回のシグナルでお会いしましょう。バイバイ。