00:02
皆さん、こんにちは。The Signal Shift by A.I.R. Labs。 今週もSpotifyやApple Podcastなどで配信がスタートしましたよ。
日々変化するAIの最先端トレンドを読み解いて、ビジネスや日常にどう影響するのかを、分かりやすくお届けしていく番組です。
Kaiさん、本日は10月18日、朝の配信号ですね。
リンさん、こんにちは。
本日の10月18日、朝の配信号では3つの話題を取り上げます。
1つ目は、未知のタスクに対応するオープンワールドAIの要件を分析した論文。
2つ目は、時間が止まらない環境でAIエージェントを評価するリアルタイムベンチの論文。
3つ目は、アンソロピック社内の労働の変化と、社員と一般の人々の将来予想のギャップを扱った調査報告です。
AIが実際にどう使われ始めているのか、とても気になるテーマばかりですね。
それでは早速、最初の話題から見ていきましょう。
最初のトピックは、学術論文、オープンワールドAI、A Tale of Three Requirementsについてです。
カイさん、これは一体どのような研究なんですか?
この論文は、AIに求められる状況を2つに分けて考えています。
1つは、閉じた世界で、特定の仕事に特化した能力を求められ、データも必要なだけ集めて、順番をバラバラにシャッフルした、いわゆるIIDと呼ばれる形で使います。
もう1つが、開かれた世界で、作られたときには想定していなかったタスクを、少ない例から引き受ける汎用性が求められます。
しかも、そこで得られるデータはシャッフルされず、関連するものがまとまった形で現れます。
そのため、タスクを事前に知ることができず、その場で例から学ぶ推論時の学習が第一の要件になります。
論文はさらに、表現を豊かに保つことと、入力と出力を対応する小さなグループに揃える予測的分離を追加の要件として導いています。
でも、モデルを大きくすれば何とかなりそうな気もします。論文では実際に確かめているんですか?
はい。最大80億パラメーターまでの言語モデルで検証しています。
ここでは、どれだけ勝つかという量ではなく、その性質を備えているかという質を問うています。
結果として、要件を満たすモデルは関連するタスクのデータが増えるほど性能が上がり、満たさないモデルは逆に悪化しました。
そして、モデルを大きくしても、層の種類を織り混ぜて構成を変えても、この悪化は直らなかったと報告されています。
人間が全く新しい業務に放り出されたとき、マニュアルがなくても目の前の例から学びながら進めるようなものですね。
AIにもそういう柔軟性が求められているわけですか?
03:03
そうですね。この結果が示しているのは、少なくとも今回の検証範囲では、規模を大きくするだけでは関連タスクから学び続ける力は身につかないということです。
性能を左右するのは大きさではなく、そもそも必要な性質を備えているかどうかという見方になります。
なるほど。じゃあ、AIを選ぶときも、大きさや点数だけでなく、使いながら学べる性質があるかを見ないといけないんでしょうか?
その視点は参考になります。ただ、検証は最大80億パラメータの言語モデルでの結果で、これをそのまま実際のサービス選びに当てはめることはできません。
むしろ、読み取れるのは、関連する作業が続く場面で性能が伸びるか下がるかを、規模とは別に確かめる必要があるという点です。
続いて2つ目のトピックは、論文、The World Won't Wait. Evaluatingand Teaching Agents Under a Live Clock です。AIエージェント
の評価に関するものですね。
LLMエージェントは、考えたり外部の機能を呼び出したりするのに時間がかかります。
刻々と変わる環境では、正しい行動でも遅れれば意味がありません。
そこでこの研究は、6種類のゲームにまたがる180のタスクからなるリアルタイムベンチを作り、
推論している間もゲームが進み続ける状況で評価しました。
さらに投資という方法を提案しています。
時間が止まったゲームで、遅くても考える教師役のモデルが失敗を分析して修正を試し、再利用できる指示書を作ります。
実際のプレイ中は、教師を呼ばずに早い生徒役のモデルがその指示書に従って動きます。
時間が限られた中で、スピードと正確さをどう両立するかが課題になっているわけですね。
論文の比較がわかりやすいです。
ゲームを一時停止した場合は、GPT-6.1ソル4が早いジェブより優れていました。
ところがゲームが進み続けると、GPT-6.1ソルはジェブに負けてしまいました。
考える力が強くても、遅ければ不利になるということです。
当市では、生徒役のジェブの平均スコアが0から100の進捗尺度で13.51から24.19に上がり、6種類すべてのゲームで改善しました。
なるほど。ベテランの上司がじっくり考えて作った方針を、現場の若手スタッフがスピーディーに実践するような分業体制に似ていますね。
はい。しかもその指示書は再調整なしで、他の3つのモデルの平均スコアも改善しています。
特定のモデルだけの工夫ではない可能性が見えます。ただし、あくまでゲームでの結果です。
13.51から24.19。でも100点満点のうちの話ですよね。まだ伸びしろが大きいということでしょうか。
06:08
そう読めます。改善幅は大きい一方で、絶対的な水準はまだ高くありません。論文自身もこれを時間の流れの中で考えること、学ぶこと、動くことを分けて組み立てる方向を示す結果として位置付けています。
実際の業務にどこまで当てはまるかは、このゲームでの評価だけでは分かりません。
そして3つ目のトピックはアントロピックの調査報告、Working at the FrontierShapes Expectations for the Futureです。実際の現場で何が起きている
のでしょうか。
アンソロピックは2つの報告を出しています。1つ目は社内での雇用の変化です。この1年でジュニア職の採用の割合と技術職の社員の割合が減りました。
一方、AIエージェントが働いた時間は急増し、2026年3月にはエージェントの労働時間が社員を上回りました。
8月にはエージェントの数が社員の6倍になり、生産性も上がったとされています。
2つ目はAIが仕事や経済に与える影響についての予想を、社員と一般の米国人で比べた報告です。
最先端の現場ではすでにエージェントが人間より多く働いているんですね。
それで予想のギャップというのは具体的にどれくらいあるんですか。
例えば、2030年までにAIがノーベル賞級の発見をすると予想する人は、米国の成人で39%、社員では91%でした。
仕事の少なくとも80%をAIが代替できると予想する人は、社員の過半数に対し、米国人では5%です。
ただし、社員の2割は一般的な米国人と同程度の予想でした。
また、自分の仕事をAIがより多く担うと考える人ほど、失業の増加も大きく予想するという関係は、どちらのグループにも共通しています。
つまり、経済の見立て方は似ていて、AIの能力を実際にどれだけ体験したかが違うというのが報告の見方です。
考え方は同じでも、見えている景色が違うから予想が変わるということですね。
ちなみに、うちのような小さな会社にはどう関係してきますか。
報告は、アンスロピックのような会社は、AI導入が働き方や採用に与える影響の先行指標になり得ると述べています。
ただし、AI企業は一般の企業とは導入の仕方が違うので、あくまで参考になるという慎重な書き方です。
小さな会社でも、まず自分たちで使って体験することが予想の精度に関わるという点は共通して読み取れます。
09:04
体験の差が予想の差になるなら、使ってみる人と使わない人で将来の見え方がどんどん離れていきそうですね。
その可能性はあります。もう一つ報告で注目したいのは、加速が進むほどボトルネックは人間の注意力になるという点です。
社員がエージェントの仕事を監視する仕組みづくりにより多くの時間を使うようになったと書かれています。
作業を増やすだけでなく、見届ける手間をどう確保するかが課題になります。
今回の3つのトピック、どれも本当に考えさせられる内容でしたね。
カイさん、今日の配信から、私たちがすぐに実践できるビジネスアクションについて教えていただけますか。
ビジネスアクションは2点です。
1点目は、自社の業務の中で状況の変化に素早く対応する必要がある領域と、決まった手順を自動化する領域を切り分け、
全社では応答の速さも評価の基準に入れることです。
2点目は、最新のAIツールをチームで実際に使い、どの業務でどこまで任せられたかと、
その結果を確認する手間がどれだけかかったかを記録して、社内の見立てを揃えることです。
番組の感想やコメントは、お使いのポッドキャストアプリからのフォローや評価とともにぜひ教えてください。
次回以降も、AIエージェントが仕事の現場でどう使われていくのかといった話題を、折を見て取り上げられたらと思っています。
それでは皆さん、また次回の配信でお会いしましょう。バイバイ。