新しいAIはどれがいい？自分専用のベンチマークで見分ける方法(ep.111)

しぶちょー

Co-host

【トーク内容】

新しいAIモデルが出るたびに、「生成AI、どれがいい？」と迷います。AI比較の記事やベンチマークのスコアを見ても、自分の仕事にどれだけ役立つかまでは分かりません。今回は、現役AIエンジニアのしぶちょーに、自分専用のAIベンチマークの作り方を聞きます。

しぶちょーが新モデルのたびに試すのは、「旋盤のゲームを作ってください」と一言だけ渡す旋盤ゲームベンチです。条件は、自分の専門分野であること、30分ほどで回せること、結果が一目で分かること。有名な「自転車に乗るペリカンのSVG」が引退しつつある話、同じお題を3〜5回走らせる理由、性能が落ちる「ナーフ」の見え方を経て、最後は「いいベンチはいつか死ぬ」という話まで。

後半は、AI素人のかねりんが自分のベンチを探します。なかでも話が膨らんだのは、かねりんの声が欠けた伝説の回（ep.31）をAIに面白く補完させるお題と、人間より面白い対話をAIができたらMC引退を考える「引退ベンチマーク」。途中の脱線では、ビデオポッドキャストに意味はあるのか、しぶちょーのショートがインスタで3〜4万再生された話もしています。

【目次】

オープニング／しぶちょーの旋盤ゲームベンチ・月10万円ベンチ

脱線：ビデオポッドキャストに意味はある？

ショートがインスタで3〜4万再生／動画は動画に振り切る

切り貼りベンチ／定量より定性でいい／ペリカンベンチ引退

本題：自分流AIベンチマークを作る5つの視点

固定課題と派生・採点は3〜5回／いいベンチはいつか死ぬ

かねりんのベンチ探し／工場シミュレーター・名古屋弁・刑事

伝説の欠損回をAIに補完させる／引退ベンチマーク案

まとめ：公式スコアはお勉強、自作ベンチは自分の物差し／エンディング

アフタートーク

【今回の放送回に関連するリンク】

▼本編で話した伝説の回（ep.31）

https://ochitsuki-ai.com/episodes/ep-031

【今回の要チェックキーワード】

ベンチマーク：AIモデルの性能を、同じお題で測って比べるためのテスト。

定量評価・定性評価：数字で測る評価と、見た目や手応えで判断する評価。自作のベンチは定性でもよい。

LMアリーナ：2つのAIの回答を人が見比べて投票し、順位をつけるサイト。

旋盤（せんばん）：金属を回しながら削る工作機械。しぶちょーの自作ベンチのお題。

SVG：線や図形を式で描く画像形式（ベクター形式）。拡大しても粗くならない。

ペリカンベンチマーク：自転車に乗るペリカンのSVGを描かせる有名なベンチ。差が出にくくなり、番組では「ほぼ引退」と紹介。

固定課題とシャドウ課題：毎回同じお題と、表に出さない秘密のお題。お題への最適化を見抜くために両方を持つ。

ナーフ：提供中のAIの性能が、公開時より下がること。ゲーム用語から。

TTS：文字を音声に変える技術（Text to Speech）。

インセプションのトーテム：映画『インセプション』で、夢か現実かを確かめるために自分だけが持つ小道具。

—----------------------------

【番組の概要】

日々のAIトピックを、現役のAIエンジニアがやさしく解説する対談番組。AIニュースに驚き疲れたあなたに、おちつきを提供します。AIニュースの、驚くポイント、驚かなくても良いポイントがわかります。

★ご感想やコメントは、番組公式ハッシュタグをつけてX（旧Twitter）でポストしていただけるとありがたいです。

【番組公式Webサイト】※お便りはこちらから

https://ochitsuki-ai.com/

【番組公式ツール】

・おちつきAI RAG

https://ochitsuki-airag.com/

【おちつきAI【切り抜き】】

・Spotify

https://open.spotify.com/show/1ZDi70pwl9jQaLGD9mIDPq

・Apple Podcasts

https://podcasts.apple.com/jp/podcast/id6814639855

【番組公式ハッシュタグ】

#おちつきAI

【番組公式X】

https://x.com/ochitsuki_AI

【コミュニティの案内】実践型の有料コミュニティで、みんなでAIを触っておちつこう！https://rooom.listen.style/p/ochitsuki-ai?tab=membership⁠

【パーソナリティ(MC)】

▼しぶちょー

・AIエンジニア

・技術士(機械部門)

「大手機械メーカーでAI開発の最前線を担う現役エンジニア。AI（ディープラーニング）の実装スキルを証明する「E資格」を保有。機械（ハードウェア）への高度な知見も有し、双方の専門性を掛け合わせ『AIの社会実装』に貢献する。情報発信活動にも精力的に取り組み、ブログ・音声配信(Podcast/Voicy)・SNSなどで幅広く活躍。単なる技術解説でなく、行動変容を伴う情報発信を信条とする。その姿勢が評価され、2025年UJA科学広報賞審査員特別賞を受賞。著書に『集まれ設計１年生はじめての締結設計』（日刊工業新聞社）。岐阜県テクノプラザものづくり支援センター広報大使、生成AI EXPO in 東海共同代表も務める。」

https://x.com/sibucho_labo

https://voicy.jp/channel/3963

▼金田勇太（かねりん）

・KANERIN Podcast Studios 代表

・一般社団法人地方WEB3連携協会理事

「刑事司法実務の最前線で多数の犯罪捜査を指揮。2017年から暗号資産業界へ参入。数々のグローバルプロジェクトに参画しコンサルティング、情報分析・アドバイザリー業務を提供。コンサートライブ配信業、音声配信業、テックメディア創業等を経て、ポッドキャストレーベル兼プロダクション「KANERIN Podcast Studios」を創業。多様なパートナーと共に、未来へつなぐ声の原典を共創している。」

https://x.com/kanerinx

https://voicy.jp/channel/2534

【制作】

番組演出（トーク・BGM・効果音）：Aviv Haruta

カバーアートデザイン：UTA

プロデューサー：金田勇太（かねりん）

制作：KANERIN Podcast Studios

著作：株式会社KANERIN

https://kanerin.co.jp

感想

まだ感想はありません。最初の1件を書きましょう！

サマリー

しぶちょーと、かねりんが自分専用のAIベンチマークの作り方を話します。しぶちょーは「旋盤のゲームを作ってください」という短い課題で、機械の表現、ゲーム性、バグの有無などを評価してきましたが、性能差が出にくくなり、新しい課題が必要になっています。公式ベンチマークは数字で比較できる一方、実際の仕事への適合度とはずれるため、自分の専門領域や将来任せたい仕事に近い課題を持つことが重要だと説明します。良いベンチマークには、段階的に評価できること、結果が見た目で分かること、30分程度で試せること、固定課題と秘密の派生課題を用意することなどの条件があります。有名になった課題はAIが最適化してしまうため、複数回試して偶然の結果や性能低下「ナーフ」を見分ける必要もあります。脱線では、ビデオポッドキャストの手間や、インスタグラムでショート動画が3〜4万再生された経験から、動画に振り切った設計について話します。後半では、かねりんが刑事シミュレーションや名古屋弁などを候補にしつつ、自分の音声が欠けた過去回をAIに補完させ、面白い対話や動画を作れるか測る案を考えます。人間より面白い対話ができたらMC引退を考える「引退ベンチマーク」では、再現性よりも文脈に合った面白さや、専門家を唸らせる発想を評価します。公式スコアがAIの勉強の結果だとすれば、自作ベンチマークは自分の業務との距離を測る物差しであり、良いベンチマークもいつか頭打ちになるので作り替え続けるものだとまとめます。

自作AIベンチマークの狙いと旋盤ゲーム