AIの点数は、試験を少し変えるだけで90%にも73%にも揺れます。それでもモデル同士の順位は長く安定し、機械学習は再現性の危機を免れてきました。ところが訓練データの見えない大規模言語モデルの時代に、その順位まで揺らぎ始めています。ハート氏の処方箋は、全員に同じ「高地トレーニング」を課すこと。目盛りが読めない時代の「比べる誠実さ」を探ります。
〇He Wants AI Benchmarking To Be a Science, Not a Dark Art（2026年10月16日）
https://www.quantamagazine.org/he-wants-ai-benchmarking-to-be-a-science-not-a-dark-art-20261016/
〇The Emerging Science of Machine Learning Benchmarks（2026年）
https://mlbenchmarks.org/
〇Do ImageNet Classifiers Generalize to ImageNet?（2019年2月13日投稿・6月12日改訂）
https://arxiv.org/abs/1902.10811
#数学の翻訳家 #数学翻訳家 #AIベンチマーク #機械学習 #モーリッツハート #Quanta #ImageNet #深層学習 #大規模言語モデル #LLM #AI評価 #テストセット #ホールドアウト法 #再現性の危機 #統計学 #ランキング #ベンチマックス #AI冬の時代 #高地トレーニング #AIの限界 #生成AI #科学コミュニケーション #数学 #AIと数学 #教養
感想
まだ感想はありません。最初の1件を書きましょう！
スクロール