自作AIベンチマークの狙いと旋盤ゲーム
おちつきAI
AIエンジニアのしぶちょーです。 AI素人のかねりんです。この番組は、日々のAIニュースで驚き疲れたあなたに、ゆっくりじっくり、AIを学んで、落ち着いていただくビデオポッドキャストです。
はい、ということで本日は深掘り回となっております。一つのテーマについて深掘っていきたいと思います。というわけで今日のテーマはこちら。
自分なりのAIベンチマークテストを作ろう!でございます。
はいはい、いつもいっとるやつだね。
そうですね。
作りたい作りたいと思いつつ
作ってないでしょ。
作ってません。
いて自分なりの指標を持っておく というのは結構大事なんですよ
落ち着きのためにねなので今日は そんな自分なりのAIベンチマーク
テストってどういう効果がある のかなみたいなとことか結構世の中
にあるベンチマークテストの話を 公式のベンチというよりはオリジナル
ベンチとして公開されてるもの がどんなものがあるのかっていう
のをちょっといろいろと今日は 紹介して自分なりのベンチマーク
テストどういう視点で作ってい けばいいのかを分かるようなそんな
番組をしたいと思います最終的な 目標はカネリンオリジナルベンチ
を完成させるっていうところまで 行きたいよね
いいね毎回なんかさ羨ましかったん だよねなんか支部長が毎回ねちゃんと
自分のやつでちゃんと毎回ベンチマーク して正しく驚いている姿を見て
ましたから
正しくかどうかは微妙なところ はあるんだけど
微妙なの
ちょっと自分のベンチマークを 紹介すると僕が毎回やってるのは
1000番ゲームベンチマークテスト っていう自分なりのやつをやって
いて
マニアックだね
マニアックなんですよ1000番っていう 機械
そもそも1000番がね
金属をぐるぐる回して加工する っていう工作機械があるんだけど
それをテーマにしたゲームをhtml ベースのゲームを作るということ
をAIにやらせるっていうことを 毎回やっていて結局マニアック
なんだよまず1000番っていうもの がすごくマニアックなのと1000番
って加工物をぐるぐる回して削 っていくということなんで削り
カスがちゃんとモーションとして 出るかとかちゃんと削って形状
が変わっていくかとかあとゲーム なんでどういうパラメーターで
どういうゲーム性を持たせてる かみたいないろんな視点で評価
ができるような
なるほどねだからめっちゃざっくり 渡してんの
めっちゃざっくり渡してる1000番 のゲームを作ってくださいで
そんだけかい
うん基本はそんだけ
あそんなんでいいの
うん
なんかめちゃめちゃ凝ったプロンプト 作んなきゃいけないかと思ってた
あのねある程度固定した部分はあった ほうがいいんだけど俺の場合も
1000番のゲームを作ってください で一言
うんそれで毎回測ってんの
それで毎回測ってる
どの程度のものが出てくるか
そうでその差を見ながらこんな こんなことができるようになった
なみたいな
なるほどね
1年前はもう点でダメだったんだ けど今はもうねこのベンチマーク
もだんだん機能しなくなってる ぐらいには頭打ちになってる
なるほどねもうみんな普通にでき ちゃうってこと
そう普通にできちゃうしもうなんか クオリティの高いものがだいぶ
できてしまう
なるほどね
だからねベンチっていつか死んで しまうんですよ必ずその上限がき
てだから新しく作り変えなきゃ いけないんだけどそもそも自分
なりのベンチマーク作る意味とか 作るんだったらどういう視点で
作ったほうがいいかみたいなものは 今日ちょっと情報まとめてきた
ので
ちょっとあいいの考えた
あ早い
月10万円稼いできてください
それ別のやつで送って月10万円 稼いできてくださいベンチマーク
テスト
うんなんかそれ稼いできたらおー みたいな
確かに
なんか絶妙じゃない10万円って
絶妙だけど
どうやって稼いでくるのかなって なんかすげえ逆出そうな気すんだ
けど
それを計画立てさせるのはいい かもね
うん実行まで全部自分でやって みたいな
実行までやっちゃうとあのね結局 30分ぐらいで試せるやつがいいベンチ
マークなのよ
あーそうなんだ
そう1週間とか2週間とか結果出る のかかるとそのファクターが結構
あるじゃんいろいろそのモデル が良かったのか何が良かったのか
分かんなくなっちゃうから
なるほどねしかもポン出しでって とかポイント
ポン出しというか同じ条件で試せ れば別にポン出しじゃなくても
いいんだけど
時間がかかりすぎちゃだめ
そうあまり時間がかかるとベンチ マークとしてそのいろいろさモデル
比較したかったりとかじゃあエフォート ごとに比較したいよねってなった
時に
あーそうっすか
並べられなくなっちゃう
いろいろやりたいんだよ
うん
なるほどねあんまりコストかからず 差が出るものがいいね
そう差が出るものかつできれば われわれみたいな立場だったら
おもてなしにできるやつがいい そのビジュアル的に見せられる
やつの方が好ましいよね
分かりやすいやつね
そう10万円稼いでくださいもいい し10万円稼いできてくれたら一番
いいんだけど多分稼いできてくれない じゃん
そうだねしかもなんかビジュアル 的によく分かんない
よく分かんない何万円稼いできました とかどう失敗しましたみたいな
表現しにくいから30分以内に出て きてビジュアル的にアピールできる
やつの方がいろいろ合理性が高い というか
そうだねちょっと作り単位から もうその答えだけちょうだい
いやかぼり会なんで毎回前提を かぼり会でじらしなのよじらし
もう結論から言いません
バカがどんどん露呈していく番組 だからなーこりゃ
結論から言いなすもうじわじわ じわじわもう
でも早速勉強になったそういう 考え方するんだって勉強になった
あそう
30分ぐらいでとかそうかそうか そうだよな
ベンチパークはやっぱねすぐ測 れないといけないし
まああんまりね別にすぐってわけ じゃないけど
でもAIの発信してる身としては 1日かかるのはちょっとねと
それだけでもうトークン使い切 っちゃいそうだよね
そうそうそうなるべくすぐ試せて 自分なりの視点が入ってた方が
良くて
で自分の専門領域の方が良いわけ でしょそれ
あ良い
要は
分かんないもんね
俺の原稿見てる?完全に
そう書いてあるですなるべく専門 領域が
ちゃんと覚えてるから前にもそれ って言ってたじゃん
そう
あ言ってたオッケーそれ俺が 忘れてるわ
うんなんかやっぱり自分の専門 領域じゃないとなんだろうな
細かいところAが分かんないところ 分かってないと良いか悪いか評価
できないっていう
あそうそうそう
だからさそれで言うともう俺の 専門領域何刑事のゲーム?パクリ
ゲーム?とかさ
誰が犯人かみたいな取り締わり ゲームみたいなね
そうそう
それ面白いよね
なんか面白いかもしれないけど なんだかなーって思ったり
でそれでピンとこないからなんか 作れねーなーって思ってたのよ
あーなるほどね
うん
支部長みたいに分かりやすいなんか 専門領域ってないからさ
そうねビジュアルで分かる専門 領域がある方が結構いいよねっていう
のはあってなんかやっぱりその 専門家じゃないと分かんないとか
気になる部分っていろいろある のよね
そうだろうね何でも
前さサイエントークのレンさん とかと話したときは生成AIが生成
する遺伝子の向き遺伝子のねじり の向きの検察をレンさんはやって
て
DNAのあれ
DNA螺旋なんか反対あれってさ必ず 右巻きしかないみたいなどっちか
忘れちゃったけど
あーそうなんだ
巻き方が決まってるんだって
うん
だけどAI的にさ結構逆も出てくん のよ遺伝子の画像生成してって
やるとさなんかこう右巻き左巻 きみたいな両方出てくるみたいな
でその科学系の書籍出してる出版社 さんもやっぱその遺伝子の巻き方
はすごい気にしていて逆だと正しくない から
ありえないわけだよね前回で
そう存在しないからなんかそれ 必ずこう正しく正しい巻き方に
するみたいなやつをやってたり してそういうさ微妙な我々だと
なんか気にならないところでも 専門家の視点で見るとこう違う
よねってのがあったりして
うんあるよねそれで言うとほんと 刑事ドラマでなんかちょこちょこ
違って気持ち悪いなみたいなこと でしょ
そうそう現実とは違うよねみたいな
そういうのがいろいろあるんだ
そう製造業とかものづくりにおいて もあるしそういう細かな文脈を
ちゃんとどこまで把握してるか みたいな
はいはいはい
っていうのも結構ベンチのテスト として有効になってくるかなっていう
感じはするから
なるほどだからみんなこれ今日 聞いてくれてる人は自分の専門
領域とか思い浮かべながら聞く と良い
聞くと良いと思います
私の僕私の専門そんな支部長みたい なないよって多分みんな思ってる
よこれ半分ぐらい
いやいやもうなんでもいいんですよ 自分だって仕事をしてるってことは
何かしらの専門的なことをしてる わけじゃない
顔芸とか俺専門領域顔芸かも
知らないなんて顔芸やってるほど なんか顔芸のイメージないけどね
金井って
ビデオポッドキャストとショート動画への脱線
いやそうかもうちょっとビデオ そうだ最近支部長にビデオの価値
を感じないとか言われたからちょっと 顔芸いっぱいやって
いや別にそれは別に落ち着けAI というよりは自分のねやってる
ポップキャラクターのほうで
自分のか
なんかこれ意味あんのかなと思って
そうかそうかそれはやっぱり数字 的に現れないなって労力にあって
ないなって
減ってく減ってく
減ってく
最近さめっちゃ減ってる
それはだって動画じゃなかったら もっと減ってるかもしんないん
じゃない
分散は分散しちゃうんだよな
youtubeに流れるし
あーそういうこと
ポッドキャスト側がどんどん減 っていってるし
みんなyoutubeで見るってこと
youtubeで見てる人もいるけど
ポッドキャスト側が減ってって youtubeに映ってる
ちょっとyoutubeに映ってるねっていう のはあるけど
いいんじゃないのでもそれ
いやでもねやっぱ何だろう
金井が前ビデオポッドキャスト の定義の話してたけど
うんうん
なんかビデオで完結
じゃあ音声で完結とは前提でっていう
そうだね
やっぱねビデオにちょっと振った youtube likeの動画を少し出すと
はいはい
露骨に減るね
ポッドキャストの数字は
減るって何もう離れちゃってる
離れちゃってる
だからまあその回はいいかなって 聞かれないとか
その回だけパスか
パス
でまた戻ってくるのが次
俺もビデオ手間かかるからさ
だったらもうビデオじゃなくても いいんじゃねえかぐらいの説は
あるのよ
いいねいいね
ビデオいいな
でも手間かかる
なんかもうこんだけaiでねあんた 多分aiで全部編集でしょ
それこの前も話したけど
俺アップロードの手間だけの話 をしてた
その手間は
だってビデオにすることによって 俺は図書館に行かないとビデオ
ポッドキャストアップロードできない から
多分その悩み方してる人はあんまり ないよね
いやめんどくせえんだって本当に さ
9時までにさ
9時にしまっちゃうから
それがしんどいわ
9時までにアップロードしてって
めんどくさと思って
いじってあげれれば一番いいんだ けどさ
8時間かかりますって言ったのに 途中でエラーになって終わって
たりするから
きついねそれは
それで再生数が別にバク伸びする わけでもなく
プラットフォームの恩恵を切って は受けれるというかね
アップルポッドキャストとかだと おすすめでみたいな感じで
表示されたりはしたけど
ずっと支部長おすすめに出てない あの上のとこ
なんかすごくね出してくれてたり
ずっと支部長いると思う
もういないんじゃないかなと思う けど
もういない
なんかあれはビデオやってたから っていうのもあるし
そこの恩恵はあるけど
なんかちょっと手間かかんなあ っていうのがあって
アップロードのね
そうアップルぐらい今のとこ恩恵 は
アップルああそうだね
はいっていう話し取れたけど
っていうのもあって
勉強になりますね
はい見てビデオは落ち着きAIは なんかね見てますっていう人いる
から結構
よかったよかった落ち着きAIは まあまあまあ音だけで完結して
れば害はないと思ってるんで
一応
対談のポッドキャストはいいと思う 顔が映っててその表情みたいな
やつが
うんうん
一人喋りはさ本当にさ
そうだね
これはねビデオの意味を感じないん だけどやらざるを得ないっていう
その虚無みたいな
やめたらやめたら
そうちょっとねでも考えてる
やめてめっちゃ戻ってきたら面白い
そう意味あるかなと思って
ボイシーもやってるじゃん
うん
ボイシーめっちゃ楽だよね
ボイシー楽なのよやっぱ
アップポチってね
ポチってやるだけでいいしなんか ね画像動画にするがゆえに頼って
しまう動画側に頼ってしまう部分 があるから
うん頼るって何を
なんで表現というかなんか身振り 手振りで表現できるじゃん例えば
こういうこのぐらいのものが
あーそうやって言っちゃうんだ
って言っちゃうのよやっぱ動画 があるからちょっともう音より
も画像を頼りにする話術になる 部分がやっぱあって動画がある
ってことで
確かにね
そこはねやっぱそこを意識して 言語を書いてきやまあいいっちゃ
いいんだけど
うんうん
じゃあもう動画いらなくねっていう そのなんか
そうかものづくり系だと見せる ものもあるから
本来ね見せたほうが
そっちに寄っちゃうよね
うん一番いいとは思うし
動画見てる人だけなんですけど とか言いながらなんか出すのなんか
毎回忍びないよね
そう出して
聞いてるほう多分イラつくもん ね
そうなんか分かんないわつって
何も言わずに出したほうがいい かもね
だからもう何もそうなんかそういう 音声でちゃんと完結させる方に
もうちょっとちゃんとやろうっていう のは思ったのと
なるほどなるほど
全然ここまでベンチマークと関係 ない話になるけど
ちょっと脱線してるけどいや面白い 話だ
いや最近思ったのはさもう動画に 振るんだったら動画に振り切っちゃ
った方がやっぱ伸びんなって思 って
なるほどもうyoutube動画として
最近youtube動画出したのよ何本 か
でそれショート動画にして出したん だけどさ
なんかインスタでめっちゃ伸びて
ショートでね
ショートで
うんうん
でなんかそうそのポッドキャスト ショートも最近出してたけど
微妙に伸びてなかったんだけど それなんか3万再生4万再生ぽん
っていって
おーすごいね
インスタのフォロワーなんか500人 600人どーんって増えてみたいな
えーすごいじゃん
なんかその影響を受けてその周り の落ち着きaiのあのショート動画
もなんか引っ張られて50006000とか 回ってたから
おーそれに引っ張られたんだ
あそう
なるほどね
うんそこにそうで共有俺のアカウント でも共有してるじゃんそのバズった
動画の前後はやっぱ引っ張られる のでどうしても
あじゃあちゃんと共同投稿してる 意味あるんだね
そう
ちゃんとね
だからなんかそういう技はある なって思った
うーん
だから動画は動画ライクで作らない と
バズるように
もうねやっぱ
うんうん
あものすごい話でも結構いくん やなと思って
うーん
ちぎって
なるほどね
ちぎって投げしてたけど最近
もうyoutuberになるのかpodcastで なるのかっていう
だからそのショートに合わせた コンテンツを作り
それで伸ばし周りのpodcastも一緒 に引っ張るみたいな
うん
って感じなんだろうなと思って
なるほど
だからさあれじゃんその
それなんかもうどういう動画だった のそのバズったやつは
バズったやつは剣頭の動画でそれ 案件もらってる動画なんだけど
なんか見たそれ
図面をさこう見ながらマニアック だよなんかこの部品の形がどう
のこうのみたいなこと
いやマニアックだったああこんなん やるんだって思って
そうそれのあれって大体ショート 動画に展開できるようにセクション
分けてたんだけど動画作る時点 で
はいはいそこを意識しながら
そうそうそう
なるほど
でそのセクションごとにちぎった やつをまた投稿したら
うん
やっぱそこにいろいろコメントとか ついてダーンってこう伸びた
はいはいはいはい
すごいですね
うん
すごいですね
それに引っ張られて周りの落ち 継ぎ合いとかも伸びてたから
うん
なんかそういう戦略いるなと思 った
うんうん
しなんか
そっから知ってもらう動線
そうしかもさあれじゃんあのあれ 永良AIとかのさ
うん
ぐすたくさんとかもさ
はいはい
なんかいろいろショート動画出してる じゃん
出してるね
なんか赤ちゃんのコンサルみたいな やつとか面白いんだけどサメちゃん
ああいうまぁあそこまでやりきる とは言わんけど
うん
やっぱその
ちゃんとショート動画作ってる もんね
そう
ぐすたくさんはね
そう
もともとあれ好きで
そのねプラットフォームに属した 自分の属性のコンテンツをちゃん
と投げてそこで認知とっていく みたいな技も
ポッドキャストの知名度を上げて く上でもいるかなってちょっと
思ったね
うんうん
てかあれねちゃんとそのコンテンツ をショート用に作ればまぁそこそ
こ伸びたなっていうのがあった から
なるほど
うんなんかそうやって引っ張り 上げることができればなと思って
おりますという感じでね
ありがとうございます
はい
なるほどね
はいっていう
じゃあ個人のポッドキャストは もう動画撮るならyoutubeで撮って
ショートでバズルの狙いで企画 してくってことやね
そうねやっぱショート展開できる ような設計もいるかなと思って
ちょっとねいろいろだからもう 一人喋りのポッドキャスト横じゃ
なくて縦に撮ればいいんじゃない かと思ってて
あーはいはい最初からショート 用
最初からショート用にもうビデオ は縦ですみたいなどうせ意味ない
と思ってるんだったらビデオ縦 で横の空洞はもうなんか何かで
埋めてショートに展開したときに ちゃんとその形になるようにむしろ
そのぐらい振り切ってもいいかな と思ったな
ショート用に
うん
なるほどねインスタ用にね
はいもうそのぐらい最初から 縦撮りですみたいな
あーはいはいはい
はいというなんで
ただいま帰ってきました本編 本編に帰ってきました
おかわりおかわりおかわり突然 始まる最近のお悩みシリーズ
ってことね
お悩みシリーズってございました はい
あーなるほど
今日は皆さんのお悩みを解決する ためにベンチマークのお話をしている
と
ショート動画用に毎回撮らなきゃ いけなくなりそうだね
そうだね
本編2個撮ってその後ショート用の やついくよみたいな
カネリンがなんかやればいいん じゃないそのなんか赤ちゃんの
コンサル赤ちゃんの
そういうことか
AI
一人でね
AI活用赤ちゃんみたいな
一人そういうことだねそういうこと だね
全く違う能力とスキルとあれを 求められるなこれ
何屋さんかわからなくなってくん だよね強いよねでもねあれもこれ
もやれてね
いやまだやりきる
いやでもね本当そういう最近そういう 視点でねショート動画めっちゃ
見てるの
なるほど勉強してんだ
そうなんか
だから切り抜きとかじゃなくて ってことだねもう
そうなんかそう
それ用のコンテンツ
それ用のコンテンツのショートが そうそこでなんか能力なく伸ばせる
やつがあればと思ったけどやっぱ 伸びてるショートは面白いわ
面白いね
ちゃんと面白いストーリー
普通に見ちゃうもんね
普通に見ちゃう難しいと思いました だからそういう人にならない限り
ちょっとポッドキャストを伸ばして いくかというね
そうだねまぁついでのショート だもんね
ついでのショートだね
なんていうかビデオポッドキャスト 切り抜きはさ
うんそれもねいいと思うよいいと思 うんだけどなんかやっぱ自力になって
くるよねどうしても
まあなんか労力かかんないんで っていうところでありではあるけど
そうそう
もうちょっとなんかね切り抜き ところ面白いシーンもうちょっと
あったと思うけどこんなに伸び ませんかっていう全く面白くない
ですかっていう気持ちにもなって くる
じゃあ多分だからプラットフォーム 側にai量産コンテンツとしてちょっと
マークされたりするんだろうね きっと
そういうことか
うん
切り抜きですよね
低品質なチャンネルみたいな
そうそうそうそう
なんかでもこの間tiktok今日見た けどなんかあなたの動画は高品質
なのでレコメンドされましたみたいな なんか出てきたよ
あそんなの出てくるの
そんなの出てきたわー高品質だ ってやったみたいな
いやあんまり言うこと
チーム長の切り抜きのやつだけど 俺らの
あそうなんだね
俺落ち着けaiのショート
落ち着けaiのね
ショートがね地味に出てってる けど
制限は受けてないってことでいい かなきっとね
だと思うけどね
ちょっと一人のなんか作ろうかな 踊って
そうだね踊らないといけないし ね
そうだね確かに5人いればした 側へのプラットフォームごとの
最適化されたコンテンツが一番 強いのはそうだろうな
そうtiktokはねもうなんか別にそこ 狙わなきゃいいかなと思うけど
インスタは割と戦場としてあり かもなって思うね
つってもインスタを別に狙って いくわけじゃないんだけどね
snsもねどこまで流行りに乗って 限られた時間で何をやるかって
ことだね
そうだね
優先度付け
なんか本末転倒にならんように しなきゃなんだけどね
優先度付けは大事でございます という足でございます
そういうsnsが嫌でたどり着く島 なはずなんだけどね
そうだよホットキャストは
逆流聖食堂宴だから
聖食堂宴
逆流聖食堂宴
逆流聖食堂宴はい
逆流してみんな荒れちゃってる でしょなんかもうわーって
そういうことねもうここにね
snsの方にこっちに収まったのに また吐き戻して食堂荒れてるよ
みたいな
そうなんだよねエンゲージメント みたいなものとは無縁の世界の
ためにホットキャストに来たはず なのにホットキャストを伸ばす
ためにまたそういう世界に行かな ければならないという矛盾
そうなのよだからまあaiあるから ギリこのオートで組んで勝手に
ばら撒いてまあよしとしましょう みたいな
AIでもうちょっとナイズできれば いいんだよなプラットフォーム
ナイズできればそれが一番いい よね
そう思いますねそのために何か はしないっていうやったら伸びるん
だろうけどやんないっていう
新たに何かしないけどai側で考慮 してくれることがあればそういう
視点を入れてってもいいかもね なんかないのインスタスキル
みたいな
作るって作った方がいいよね多分 ねそれってね
あそうそうそうインスタのなんか 流行ってる動画をパクらせてその
要素を抽出してこういう観点で 抽出してこんな感じで動画作って
みたいな
いいねいいねだからちょっと浮 かんだわ
浮かんだ
なんかあれだねもうさ言葉全部 一字ずつ切り取ってなんか字さ
くっつけてなんか面白いこと言わせる みたいなさもうなんか訳わかんない
昔のねニコニコとか流行ってた 無理やり言わせるみたいななんか
無理やり言わせるみたいな
無理やり言わせるみたいな
大好きだよしぶちょー大好きみたいな 僕もだよかねりんみたいな
分かんないけど
分かるめちゃくちゃ分かる
分かる切り抜いて切り抜いてそういう のがバツったりするかもしれない
確かに
そういうのをちょっとふざけて
ボイスクローンで作れよって思う けど
これボイスクローンっぽいけど 実物で作ってますみたいな
いいよねそれ
アナログな感じで
アナログな感じいいよねおじさん ほいほいだと思うよすごいそれ
ね
おじさんほいほいか懐かしいなって
懐かしいと
そういうところにね
フラッシュ黄金時代の感じがする みたいな
あーなるほどね
そうそうそう
なんかそうやって遊んでいくぐらい がいいかもしれないね
確かにね
なんか真面目に取り組むことじゃない 気がするんだよなSNSの
そうね
遊び心は必要な気がした
遊び心は必要
このまま切り抜いてて何も考え ずに放置でってつまんないもん
ね
そうなんだよね伸びないじゃん
伸びないというか
手間をかけずに
そう手間をかけずにだからそういう 意味でのベンチマークをやっても
いいかもしれないね
いいねいいね
SNS
こんだけ取ってるからさ何でも 言わせられると思ってるよ俺多分
私部長に何でも言わせられると思 うんで
もうそうだねIAを書きかけること 全部言ってない文字ないと思う
多分
ないよねだから膨大なデータを 読んでこいと
うん
でつなぎ合わせてちょっと作れ って多分いっぱいできるじゃん
大好きだよシリーズが
なんかボイスクローン作るより よっぽど面白いよね
確かに
手動ボイスクローンやってみて
手動ボイスクローンベンチマーク ありかもね
ベンチマークの話返ってきたこれ
そういうなんかこのメッセージ をこの動画の中から作れみたいな
でショート動画でバズる形拾って いって
いいね
投稿させるみたいなそれはありだ と思うよ
強迫分みたいに切り張りするんだ よねなんかね
だってもうベンチとして使う材料 はたくさんあって
そこは基本固定じゃない増えて はいくけどでやることは明確
アウトプットは明確でしょあとは あなたの好きにやってください
っていうのでいろんなモデルに やらせたらこうなりますみたいな
いいね
いい
いいね
それはカネリンのクリエイター の視点として評価できるじゃん
そうだね
投稿した後のリザルトとしても なんかスコアで評価できるから
いろんな指標があっていいかもしれない そのベンチマーク
それが流行るかもしれないちょっと 流行らせたいよねなんか
みんなAI使って同じことやり始める
それいいと思う
でもデータがめっちゃある人しか できないから頑張ってみんなPodcast
やってた人ができるベンチマーク
いやめちゃくちゃいい
いいねこれ
そう
ちょっとやってみる
定性評価とペリカンベンチマークの限界
これはねだから結局そうなんですよ
ベンチマークって自分で定量的に 判断しなくていいの定制的に
定制的何ですかそれ
定量定制
定量定制定量っていうのは数字で 測れるもの
数字
確実にスコアいくつみたいな感じで 出る定量評価定制的っていうのは
すごいここが良くなったねとか 感覚で判断するようなもの
感覚エモいねみたいな
そう主要のベンチマークってさ
いろいろこの新しいモデルが出る たびにこのスコアがフェイブル
を超えましたとかベンチマーク テストの結果出るわけじゃん
数字で
そう数字で出るじゃん
でも数字で出ないやつもある
LMアリーナとかさ人間がどっち が好きかみたいな投票形式ではあるんだけど
あとは基本的にこう用意された ベンチマークでこれがどのくらい
できるかっていうのを試すのが 主要のベンチマークスコアなんだけど
それと結局ベンチマークのテスト の内容に特化してしまって何が
そういうのかよく分かんないよね っていうのが今のベンチマーク
の問題あと法はしてるからある 程度90点を95点とかに上げていく
ようなそういうテストになりがち なのよね我々はそれを見ても正直
ピンとこないと
実際使うときのあれに即してない ってこと
そう即してないし自分の実タスク でどれくらい性能が上がったのか
をあんまりこう一般的なベンチ からだと収集することができない
とだから自分ベンチみたいなやつ を一個持っておくといいよねっていう
話なんだよね
で
自分だけの指標
そう自分だけの指標で結局ね自分 ベンチみたいなやつも有名なやつ
はいくつかあるのよ
あそう
うんで一番代表的なのがペリカン ベンチ
ペリカン
自転車に乗るペリカンのsvgを 生成せよっていう
画像
動画
動画
svg形式の動画っていうのが
svg
生成できるんだけど
はい
svg形式の
svgってなんすか
svgは画像を全部そのなんていう のかな
これ何略だったかな
ベクター
ベクターベクター形式なのよだから 全部座標とそのコードで表せる
のね
荒くならない線で表してんだけど
線とか面で表してるから
点じゃなくて
そうアップした時とかまあもう 全部その解像度が荒くならない
それの動画版ってこと
そうsvgの動画っていうのがあるん だけど
それを作れるんだけどそれをなんか ペリカンがなんか自転車こいで
走ってるみたいなベンチマーク っていうか動画を作らせるっていう
ベンチマークが結構昔からあって
それ結構わかりやすいんだ
そうでこれが結構何故か優秀で 2024年ぐらいからやられてるんだけど
そのAIの実力と比例してどんどん どんどん性能が上がっていくの
よ性能というかクオリティーが 上がっていったのね
なんか意外と適当に最初やって たんだけど割とAIの性能に対して
相関が取れていったというのが 結構あって
なるほど
こっちがこんなペリカンのこんな 感じのリアルになりましたみたいな
わかりやすかったのこれね
こういうベンチマークが結構いい よねと
ペリカンなんだね
ペリカン
なんかウサギがとかじゃないんだね
ペリカンだね多分あんまりない やつの方がいいんじゃない
ウサギが自転車乗ってるってなんか ありそうじゃん
アニメでありそう
ペリカンが自転車乗ってるって 見たことない
確かにペリカンベンチ出てきたの
そうペリカンベンチマーク
なるほどね
結構有名だね
でもこれもねほぼほぼ引退宣言 をしていて実は
もうダメ
もうねやっぱ頭打ちというかあんまり 違いがなくなってきたよねっていう
のがあって一応まだ新しいモデル が出ると試されるんだけど
だんだんその性能に対する相関 が取れなくなってきたぐらい
すごくもう頭打ちになってきた よっていう風には言われている
どれ使っても一緒って感じ
そうそうもう良くて良すぎて
もうちょっと難しいのじゃない と測れない
そうだからベンチマークってやっぱ ある程度いったらもう一回作り
直さなきゃいけなかったり新しい のをちょっと自分で試さなきゃ
いけなかったりするからそういう 意味でなんか自分
俺もね1000番ベンチマークもそろそろ ちょっと頭打ちだなって思ってる
から
頭打ちなんだ
うんなんか違いが出なくなって きたんだ
えー
趣味好みの好みの問題はあるけど あんまりこのなんだろう趣向
というかゲームの性能とか体験 価値として上か下かじゃなくてただ
種類が違うよねっていう感じになって きたからちょっとねそう作り直さなきゃ
なと思っておりますと
なるほどね
自分流ベンチマークの設計条件
ではいここからじゃあ本題ですね カネリンが自分流ベンチマーク
を作る上で必要なことというお話 でございます
作れるのかな
さっき言ったように一言でいい のよなんだけどまず当然ですけど
テストなんで何を見て判断をする かっていうのはある程度決めておく
必要があるとこのモデルで何を 評価するかみたいなものを先に
こう考えて作らなければならない よねと評価しやすいようなアウトプット
を出させるということが必要になって きます
見た目訂正的でもいいってこと ね
そうだから例えば1000番のベンチマーク テストでどういう設計になってる
かというとまず1000番っていう機械 がちゃんと表現されてますかと
表現の軸もあるで遊ぶときのゲーム 性の軸もあるじゃないでバグがない
かっていう軸もあって意外とね この遊んでちゃんと遊べるかみたい
なでクリアした後にゲーム性として 次に行くのかみたいなそれで終わり
なのかとかあとどれだけリアル の1000番を表してるかみたいないろんな
評価軸があっていろいろ試せる のね見るだけじゃなくて遊んで
みるみたいな
なるほど遊べるの実際
遊べる実際遊んでとか公開したり できるからそういう評価軸がある
もののほうが好ましいですとで かつ条件としてはやっぱめき聞き
がきくと自分が専門家として細かい 違いを言語ができる領域のほう
がいい
自分の専門領域ね
そうでかつこれは可能であれば だけどいつか任せたい仕事の縮小
版であることが好ましいと
将来任せてみたいな
そうそう例えば動画をずっと作り たいなったら動画を作りたいから
なんかペリカンベンチマークやる とか将来的に
言葉を自由自在に言わせたい
そうだったらそれのそれは将来的に ポッドキャストでAI活用をいろいろ
進めていきたいんだみたいな自分の コンテンツ作り作りたいなっていう
意味でのベンチマークだったら さっきの支部長大好きカネリン
ラブラブベンチマーク
ありだよね
それありだと思う
そういうTTSじゃないんですと
そう
そんな時代は来ません
いやいや来ませんはやばいな
切り張りの時代
切り張りの時代どんな気持ちよく 切り張りできるかみたいなね
どれくらいのデータ量が集まったら もうなめらかに何でも言えるよう
になるのかみたいな
そうねどういうチューニングをしたら
10年分ですみたいなかもしんないけど
いいね切り張りベンチマーク
切り張り職人
あとはさっきも言ったけど整理すると
自分の専門領域に近い方がいいし やりたい実務に近い方がいいし
実務
あと難易度が段階的に評価できる 方がいいと
難易度
だったら俺の旋盤ゲームだったら
ゲームとしてどういうところまでできる 一応起動はできるし
絵として主軸みたいなのが回るし 工具当てれるしみたいな
削れるしみたいな色んなところがあるんだけど どこまでできるかみたいな
ここはうまくできないなみたいな 段階的に評価できる
表現は合ってるし合ってるけど
ちょっとゲームとして遊ぶときに ここにエラーがあるよねみたいな
とか難易度として段階的に評価できる ようなものがいいかなって感じ
なめらかにだから切り抜きだったら なめらかに喋れないよねみたいな
一応作れたけどみたいな 言葉は間違えるねみたいなさ
段階評価が可能なタスクの方が好ましい
ゼロか100かじゃなくて
ゼロか100かじゃなくてできたできないじゃなくて
できるできないの中にここまでできたよねっていう
ランクが尽きれるようなもの
あとは結果が一目で分かって共有できる これさっき言ったね
アウトプットとして動画とか目に見えるものがある方が
比較もさせやすいし並べたときにコレクション性もあっていいよねと
ベンチもやりやすくなるしねやりたくなるし
ペリカンとか一番最多の例よね
SNSにも投稿しやすいし
そうね
ビジュアルはコレクション性
そうあとは30分以内に回せるさっきも言ったけど
手間が大きいとやっぱ新しいモデルのために回せなくなるし
条件をちょっと変えてやろうと思ったときも結構難しいので
なるべく手間のかからない30分くらいで回せてすぐポンと出てくるやつが好ましいよと
なるほど
ということで設計していくといいよねと
絶対的な正解ないんだけど
こういう5つの視点を持って自分なりのベンチマークを作るといいと
ただ頭打ちには必ずなるので
頭打ちになったらまた変えていくようなものができるといいと
作り変えるわけね
そう
あと一応ね
固定課題と
固定課題いつもやる同じベンチマークと派生を作れる風にしてた方がいいと
派生
類似問題
どんな派生
例えば俺は1000番のゲームを作れっていう風にやってるけど
1000番以外の交差機械もあるからフライス版のゲームを作れとか
ボール版のゲームを作れみたいな
っていうので
ちょっと違うやつね
ちょっと違うやつをやって結果を見るみたいな
車に乗ったペリカンを作れみたいな
そうそうペリカンだったらね一輪車に乗ってるでもいいしみたいな
カネリンのさっきのやつだったら落ち着きAIじゃなくて
落ち着き地方創生でやってみるとか
違うデータを使ってやるとかでもいいと思う
っていうかこの派生が作れるやつの方が課題としては
いろいろと展開できていいよねっていう話はあるらしいです
なるほどです
はい
いっぱい作らなあかんね
そう
それ派生も全部回すの
派生もそうだね回して違いが出なかったらもう回してやっていく
とかの方がいいと
でなぜそのシャドウというか
それはシャドウっていうんだけど
固定課題と秘密課題がいるかというと
もともとペリカンベンチマークで話題になったんだけど
なんか急にペリカンベンチマークめっちゃできるようになったんだよね
なんかペリカンベンチマーク有名になりすぎて
ペリカン最適化されたんじゃないか説があってた
AIのLLMの中に取り込まれてしまったと
学習されちゃった
そう
なるほどねうまくできるようにね
だからペリカンに最適化されたのではないかという論章を確かめるために
ペリカンじゃないものに移し替えるみたいなね
でこの実証も行われたと
なるほど
結構有名になるとね最適化されたりするのよ
いかんねやっぱりあれだねインセプションのトーテムは自分だけのものにしとかないと
わかんないそれ
そんな感じだな
どんな感じ
夢かどうかを判定する自分だけの形のオリジナルの何かがあるんだけど
映画?それはインセプションは何?
インセプションっていう映画の話
それは他の人に触らせちゃダメなのよ
その形自分しか知ってないといけないくて
他の人が知っちゃうと他の人の夢の中に自分が入っているのかどうか
わからなくなっちゃうみたいなそういう設定で
これもちょっとあれだなと思って
みんな知ってると機能しなくなる
機能しなくなるみたいなね
自分だけが知っていなきゃいけないって秘密の質問みたいなね
第2第3のみんながやりすぎて
じゃああれだね切り張り職人なんてすぐにみんな真似しちゃって機能しなくなっちゃうかもしれないね
そうねだからもうどうした方がいいんだろうね
ちょっと切り張りよりもよりこう切り張りをしながら
なんか最終的なアウトプットを出させるみたいな方がいいのかな
うんうんそうね切り張りだけだとね
ちょっと複雑すぎるかもしれないタスクがね
切り張りで誰かを泣かせてくださいみたいな
確かに
ビジュアルがないな
そうビジュアルが大事ですよ
でまぁスコアとしては何を評価するかっていうと
当然できたかできないかとかどれくらいできたかっていうのもそうなんだけど
まぁどれくらい取っておくんだったらどれくらい時間かかったかとか
あとはもうコストトークンどれくらい消費したかとか
まぁ自分的なあとレベルの評価だよね
ちゃんとできたかとかUI UX良かったかみたいな点数の評価をしてあげると
自分なりのそこはもう定性的に自分の感覚としてこのぐらいだよねっていう数字でいいんだけど
そうすると前のモデルと比べてこういうふうにここが良くなったなみたいなやつが
自分なりに掴めるようになるよねという感じかな
あとは1回で判定しないのは大事で
そうなの
偶然良かった場合もあるから
何回かやっぱ3回から5回ぐらい走らせた方がいいんじゃないかなと思う
同じタイミングで立て続けにでいいの?
同じテキストなんかではダメだよね
会話のセッションは分けてもらわないといけないけど
なんかそれでよくナーフされたのがバレるわかるわけ?
ナーフもわかる
ちょっと1週間前と全然違うけど
そうそうそう同じことやっても明らかに性能が落ちるみたいな
それよくあるよね
自分なりのベンチマーク持ってる人が1週間後に同じことやってた
モデル公開されたのと全然性能が違いますみたいな
Xで出回ってるねそれ
そうだね最近は3Dモデル作らせるみたいなやつが結構流行ってて
それでナーフされたとかっていう話があるけど
そういうなんか指標を自分なりの指標1個持っておくと
その違いもわかるから同じことやったはずなのに違うなみたいな
でもそれも4,5回やってないとさ
何回かやったうちの偶然いいのが出た可能性もあるじゃない
だから複数回やっておくっていうのはやっぱ大事かなっていう
なるほどね
じゃあ都市伝説じゃないんだねナーフされるって性能下がるって
都市伝説じゃないよもう露骨だよ
じゃあもうあれだね
モンパス5.5もいわゆるあれ?こんなんだっけみたいな
公開されてる頃にはもうナーフされてる
ナーフされてる可能性あるよ
最初の頃に重要なやつをやらせなきゃいけないってことだね
だんだんバカになっていくのが最近のAI会話の流れだからね
なるほどね
何にしようかなって思いながら聞いてるけど
これにしようっていう感じではないんだけど
とにかくそういういいベンチマークっていうのはいつか死ぬんで
ペリカンもねもう実質あまりもう使われなくなったというか
比較にはもう使えないよねっていう風に言われてると
ペリカンの後継者いないの?
ペリカンの後継者まだいないね
そうなんだ
なので
みんないろいろやってんだもんな
みんな自分なりのものを持ってるし
それがね必ずしもAIの性能を測れるかっていったら測れないんだけど
基本的にはその比較相対評価としてね
1個持っておくと
落ち着きのためになるかなと思いますので
なんか皆さんも自分なりのAIベンチマーク作っておくといいんじゃないかなというお勧め回でございますね
かねりんのベンチマーク探し
なので今日はカネリンのベンチマークを最終的には見つけていきたいと
見つけられないよ
見つけていきましょう
見つけようか
あるかな
あるかな
でもねほら新しいモデルが出るたびに
これ何がすごいんだろうみたいな
落ち着きたいよ
落ち着きたいでしょ
やっぱねベンチマーク持っておくといいっすよ
ベンチマークな
俺も今探してるけどねもうね
旋盤ゲームじゃもうなんか差つかないなと思ったから
そうかでも工作機械系でしょしうちの場合は
製造業系でいいかなと思ってるけど
工場シミュレーターとか作ろうかなと思ってやったんだけどさ
渋すぎて
ビジュアル的に分かりづらいから
やっぱ工作機械のゲームか
もうちょっと複雑な工作機械のゲームかどうしようかなって感じかな
ビジュアル的に分かりやすいのがそもそも無理なんじゃないの
飽和しちゃって
だいぶ飽和してるね
マニアックなものだったら結構微妙なのよね
情報が少ないものとか
情報が少ないものを選べばいいってことか
マニアックな
マニアックな情報が少ないものかつ意外と違いがあるもの
むず
むずいね
自分がそれを判定できるものだね
超むずいじゃん
そもそも超ニッチな領域で専門家じゃなきゃダメだよね
それか自分が好きなニッチな領域があるんだったらそれでもいいと思うけど
超ニッチ領域
名古屋弁
名古屋弁
そんな刑事シミュレーションゲームしかないじゃん
刑事シミュレーションで
世の中に出回ってないニッチ情報
いいんじゃない刑事シミュレーション
でもすごいドラマに引っ張られそうだよね情報として
そうだよねそうだよね
みんなバンバン銃撃っちゃう
ビジュアル的にちょっとあれだよな
どこがビジュアル
そうだね
こないださ
なんか出してたじゃんそういえばXでさ
なんか家宅捜索自分の部屋に入ったら
警察に押収されましたのなんか
証拠品並べて写真撮るシーンみたいなやつをみんな出してたよ
出してたね流行ってた俺も乗っかったけど
絶妙になんかぽいぽいけど違うな
でもあれ結構並べるよね警察の人一生懸命
並べるよねそういう社会的反響の大きい事件は
どやーみたいなね
だよねなんか下着泥棒のやつとかもさ
なんか色ごとにパンツ並べて
なんかそこまでやるんだみたいな話題になってたよ
なんかね
これ見逃しだねそれね
インパクトあるもんね
なんかあれだっけ何百着とか盗んでたやつのさ
ブラジャーブラジャーで色ごとに分けてなんかちゃんと
体育館みたいなとこに並べて
すごいな下着マニアの
すごいなと警察もこれどういう気持ちで並べたんやろうねみたいな話題になってた
いろんな気持ちがあるだろうね
いろんな気持ちがあるね
途中からもなんかねちゃんと綺麗に並べることが目的になって
そういう熱が入ってきたんだろうなっていうぐらいピシッと
綺麗に並べてたけど
変なスイッチ入んなきゃいけないけどねそんな
コレクション魂みたいなね
難しいね
そう自分とカネリの専門性ケージか
Web3のなんかビジュアル的なワルハースの面倒くさいのかないのか
ビジュアルがないもんな
難しいですね
やっぱポッドキャストじゃない
対談ですか
対談
対談芸術になっているかどうか
対談芸術を生み出せ
生み出せるか
喋らせなきゃいけないよねそれ
それぞれDTSの性能になっちゃうからな
だいぶ狭まるわけ
狭まっちゃうよね
やっぱそのAIの中だけでできることの方が
画像映像までって感じ
映像も映像でやっぱその
SVGの動画とかってコーディングで書いてるから
コーディング能力を試してるようなもんだよね
コードを書くからさSVGの
そういうことですか
だからクロードでも試せるのよ
そうなんだ画像作れるんだSVGの
SVGだったらクロードってできるから
ベリカンベンジマークとかも別にクロードでできるんだよね
動画もできるしそういう意味では
そういうところが結構大事かなと思う
すっげー難しい夏休みの宿題みたいだなこれ
夏休みの宿題で考えてきてねーみたいな課題じゃないこれ
そうね自分なりのベンチマークを考えましょうみたいな
いろいろ試してね
この配信の中でポンと浮かぶようなものじゃないぞこれ
まあそうね
でも一個持っとくと本当にいいとは思うから
別に今日浮かばなくてもなんかやればいいと思うし
逆に今からAIと相談してもいいんじゃないと思ったね
そうだね俺の全てを知ってるだろうお前
お前ちょっとなんかこうベリカンベンチマークみたいなやつで
AIの仕様を測れる
試されるやつがねテスト作ったとてって感じだけど
聞いてみるとかなり専門性を発揮するには
これがいいんじゃないでしょうかみたいな
ことを言ってくれる可能性もあるからね
いいね
突っ込もう
突っ込んでみてくださいね
指定してられてるよねなんか
自分で問題考えさせて自分で解かせる
解かせるみたいなね
セクションを分ければもう別人だと思ってるからねでもね
意外とでも過去のねあれも覚えてるからな
覚えてるんだ
こういうことやりましたこういうこと言いましたよねみたいな
そういう意味ではね俺の旋盤ベンチマークテスト
結構うまくできてるなと思ってて
そうだよねそれを捨てて次のレベルって難しいね
そうなんだよね
SVG動画旋盤動画作らせようかなと思ったけど
それも前やってて結構できるんだよね
なんでそれそんな能力上がっちゃったのそれ
学習されたのなんか
何がどの
その旋盤ベンチマークの性能めっちゃ上がるのってさ
なんで上がんのそれ賢いから
シンプルに賢くなったんだろうね
知らなくてもできちゃうってこと
欠損した音声をAIに補完させる課題
そうで最近もう一個やってるのは
おもちゃの旋盤設計ベンチマークテストもやってるけど
CADを使わせておもちゃの旋盤っていうものがもしあった時に
どういうものを作りますか設計してくださいって
実際にCADを使って設計させるみたいな
なんか5分くらいの音源渡してこれで
面白い番組作れみたいなそういうのでもいいのかな
それでもいいと思うよ
ビジュアル的にむずいよね
動画になる
動画も別に作らせたらいいんだけど
SVGで動画作って
この音声使って面白い番組を作ってくださいみたいな
それでいいと思うそういうのでもいいと思う
それかあれだよね伝説の
俺の配信がない回あるじゃん
これを面白い番組にしてくださいみたいな
それいいかもね
歯抜け音源
歯抜けを面白くしてくれって
それいいじゃん
ちょっとビジュアルないけど
あの回の美術とかも全部含めて
それは公開できるよねポッドキャストならではというか
いいと思う
オムパス5.5これですって言って
ポイって置いといて
みんなどう?みたいな
ありありあり
あり?長いけど
長いね一部にしなきゃいけないけどちょっとね
ちょっとわかりやすいところを5分ぐらい切り抜いて
それも選ばせればいいかな
一番5分の
でも比較できた方がいいから
同じ範囲の方がいいと思う
なるほど
でその範囲を相方の音源がなくなったものを保管し
ちゃんとビデオポッドキャストに復元できるかみたいな
でビジュアルも?
ビジュアルも
SVGで
SVGでも
結構コードだね
コード
でも音声が入ってきちゃうから微妙なのか?
いや別にいいんじゃないそれは
それはちょっと文字起こしのツールとして
何かしら与えないといけないかもしれないけど
毎回音声は同じものを使わせての条件でやる?
そうだね保管するどうセリフを保管するのかは
それも全部自分で考えながら
どのモデル使うかも
モデルによって全然ストーリーが違うというか
モデルによっては切り張りを持ってくるかもしれないってことだよね
何を許容するかによるけど
そこも全部考えた方がいいのかな
考えさせた方が
考えさせた方がいい
ふわっと
アウトプットとして保管された
5分ぐらいのビデオポッドキャストを出してくださいみたいな
その手があったかみたいなやつ持ってきたら面白い
そうそう
それはカネリンが最終的にやりたいことというかね
ポッドキャストで何かしらAI使いたいよねみたいな性能を測るのにも使えてるし
ベンチマークとしてはいい
我々の番組の文脈を知ってる人にとっても楽しめるし
そうですね
うんいいんじゃないかな
あの回っていうのはやっぱりねみんなの中で
あの回は遊べるね
あの回は遊べますよ
あの回は遊べるね
なかなか失敗しないから失敗はお宝だよね
あそうねあれはいい回だと思うね
必死に俺は自分のミスを正当化してますけど
あの回って何月に上がったっけあれ
あれは冬だった気がするね
もうすぐ1年経つもしかして
もうちょっと経てば
もうすぐ1年経つかなちょっと見てみようか
あの回皆さん知らない人はね
あの僕が録音機材トラブルで
支部長の声しか入ってない回があるんですよ
金しかいない回だね
概要欄に概要欄に入れときますけど
もう結構前だな
ちょっと待てよ
ネウロ様の話をしてたやつだよね
そうそうそうそう
AIチューバーの
あありました収録日
2026年1月5日
あ1月だ1月だなあれ
新年一発目
新年一発目か
そう正月ボケかましてたんですかね
31話
あー
じゃあまだまだちょっと先だね
マナス買収
グロックの暴走
ネウロ様の回だね
グロック暴走何かあったっけ
まあなんかいろいろあったな
エッチな文脈かな
まあまあそうだね
でもそれは
面白いのかな
ベンチバークとして成立するそれ
するんじゃない
長いかなめっちゃ
30分ぐらいで終わんないのかな
5分とかだったら
終わるかな
少なくともチャットベースでは終わらんけど
うんうん
なんかプロンプトを作っとけば
別にいいと思うけどね
うんうんうん
なるほどね
総合ベンチマーク
素材も元々指定してここです
あと使えるものはこれですまで指定するのか
そうだね
いいのか別にほっとけば
どこまで勝手に何をするのかも含めて
性能の一部かな
そうだね
使える素材まではちょっと指定しないと
アウトプットがばらけるからあれだけど
俺はこれで何を測れるんだろうか
声の感じは関係ないよね
TTS何を使うかで
そうだね
どういう
まずカネリンの
カネリンが俺のセリフを持ってきて
その間のカネリンのセリフを保管する
文章生成能力でしょ
文章生成能力だよね主に
文脈保管能力みたいな
はいはいはい
あとはそれに合わせた動画描写能力
動画の描写能力と
その2つか主に
あとはビデオポッドキャストとして
コンテンツとして成り立たせるために
BGMとかね
BGMか
そこにこうなんだろう
テロップを入れたりとかさ
はいはいはいはい
この辺の性能じゃない
動画
動画
動画性能
タイトルセンス
BGMセンス
概要欄もじゃあどんな感じで書いてくるのかみたいな
そうそうそうそう
それはまあ本当業務で使いたい最終着地点だよな
そういうものの性能を測って
このモデルだとこのぐらいしかできなかったけど
だから今のモデルで
バリバリできちゃうよねみたいな
ものだとこれから先のモデルの性能が測れなくなるから
そのくらい難しくしといた方がいいんじゃないと思って
フェイブル5でも
フェイブル5.1でもなんか満足したアウトプットは出なかったけどなぐらいのさ
まあまあまあまあ聞けなくはないわ
ぐらいの
バラツキがあるようなものでいいと思うけどね
そうやったらたぶんすぐできるし
5パターン作れって言ったらたぶん5個回ってくるから
なるほど
1分ぐらいの尺がいいかな
動画として
1分だとでもあの
短い
ショート動画作らせる
ショート動画
分かんないから1分じゃ会話ない
そうそう会話のアレが分かんないから
俺の喋ってるとこ1分切り抜かれて終わっちゃうよ
そうですか
5分10分か
ロストしたやつは1回諦めて
シンプルにショート動画を作らせる能力を測るみたいなやつでもいいと思うけど
そりゃそうやったら面白くないかもしれないけどね
そうだね
引退ベンチマークとAIの対話力
なんかそうだね
対話で人間の対話より面白い対話
AIできるかみたいなところは
気にしてる指標なのよ
だったらもう人間同士じゃなくていいじゃんになるからさ
それを測る指標にもなるか
補完させる能力
そうね別に
そういう意味だったら失った会議じゃなくても
毎回俺の音源しかないやつとかカネリの音源しかないやつで
代わりの支部長をやらせたりとか代わりのカネリをやらせたりして
面白いかどうか測るみたいな
AIカネリの話すカネリみたいな
そうだね
自分のことだから自分の専門家だからちょうどいいんだろうな
そうだねどれだけ自分を再現できるかみたいな
俺だったらこんなこと言わないみたいな
カネリの再現性か
再現性なのか面白さ優先なのか
どういうコメントを残すか
誰に寄せろっていうより面白さ優先の方がいいよね
そうだねカネリの代替をするんじゃなくて
この文脈だったらこういう言葉がいいんじゃないかと思ってるような
歌を入れて
超えられたら俺はMC引退を考えるってことだよね
ある意味かなわないなってなったら
引退するためのベンチマークだ
引退ベンチマーク
ちょっとやってみようこれ
カネリの音声は別にTTS作っておき
そこに入る
文脈のことを補完し
動画を作らせるみたいな
そうだね
俺を唸らせてください
カネリの視点的にいやこれは全然ダメだねみたいな
あーこれちょっと鋭いこと言ってきたねみたいな
っていう度合いを測ると面白いんじゃない
そうですね
トレーニングに使えそうだよね
自分のトレーニングを言うなし
俺これ視点なかったなみたいなやつもあると思うんで
そういう意味でやっぱ専門性によっているのはいいんじゃないベンチマークが
そうね
自分の今の関心事だからね
そうね
いいじゃんちょっと良い気がする
SVGの動画でねどういうものが書けるのかわかんないけど
シンプルなやつだよね多分
まあそうだね
SVGの動画にこだわる必要もないけど
シンプルじゃなくてめっちゃすげーのとかできるのそれ
コーディングがすごくなったら
いやでもあれよペリカンの自転車乗ってるやつめっちゃすごいよ
じゃあそれも含めて
SVGの動画がいいのかな
長尺の動画はできないかもしれないけどSVGだと
そう5分とか
どういうところができるか
基本繰り返しみたいな短い時間の
ジフ動画みたいな
そうジフみたいな感じだよね
はいはいはい
カネリンのベンチマークがカネリンのベンチマークになるってことね
そうだね
自分とを超えてくるかみたいな
という感じですね
それだね
とりあえずできたの
良かったなんか警察ゲームとかじゃなくて
役に立つというか自分がやってることに近い方がいいし
今日この話を聞いて
分かんねえ俺は何を作ろうって思ってる人は
ペリカンベンチマークを派生させていけばいいと思う
自分の好きなものに
自分の好きな生き物とか乗り物に
変えるみたいなことで
よりマニアックなものでやっていけばいいんじゃないかなと思いますね
片つむりがスクーターに乗っているみたいな
そうね
カブトムシがスケボーに乗っているみたいな
そういうのがいいと思う
キモい動画になりそう
そういうものですごくいいと思います
自作ベンチは自分の物差し
公式の
新しいモデルが公開される度に公開されるベンチマークってのは
あくまでもAIのテスト結果
勉強の結果って感じだから
スコアのやつね
自己流のベンチってのは
AIと自分の距離を測るような
そういうもの差しかなって
自分の業務で日々使うことに関連してるから意味あるんだよね
そうだね
1個自分の定義があるから
自分なりにどのくらい性能が上がったかっていうのは
体感できるってことかな
選べるよね
こっちのほうが調子いいからスコアは向こうがいいらしいけど
こっちのほうがこれだけできるってことは
こっちのほうがいいかなみたいな
選択もできるので
自分がやらせたいタスクに近いほうがいいんだよね
はい
今日の結論はそんな感じでございます
長さ的にも
長さ優秀よ
60から90に収めるっていう
そんな感じで皆さんも自分のAIベンチマーク作ってみてください
こんなの作ったよとかこんなことできたよっていうのと
こういうのいいよっていうのがあったらぜひお便りとかで
いただけるといいんじゃないかなと
どんなの作ったみたいなの知りたいな
別にSNSで投稿していただいてもいいので
お便りでもいいし
よろしくお願いいたします
こんな感じで深掘り会やってきましたけども
この深掘り会は1つのテーマについて深掘りをする会となっておりますが
毎週火曜日は1週間のAIトピックを紹介する
速報会というものもやっておりますのでぜひともこちらも聞いていただければと思います
番組方式ハッシュタグは
シャープ落ち着きAIひらがなで落ち着きアルファベットでAIです
はいあとね最近
あれですよ
切り抜きチャンネル始めましたので
よろしくお願いしますね
概要欄にリンク置いておきましたけど
基本的に1個
何かについて話してるパートがあるじゃん
それを15分前後ぐらいで
切り抜きの良いところで切ったやつを
テーマごとに毎日1本出してるって感じなので
気になるテーマのところ復習がてら聞いてもらう
みたいな感じでもいいんじゃないかなと
そういう目論みです
意外とみんな登録しない
みんな本編まるまる聞きたい?そんなに
聞いてくれてるからなのかな
細切れいらねえよみたいな
細切れは導入としているからね
これを聞いてる人はいらねえよなのかもしれない
ここまで聞いてる人はね聞いてるもんね全部
聞いてるもんね
告知する場所間違えてるんだけど
最初に告知をしないといけないんだね
確かに冒頭で告知するべきでしたね
そうだねいろいろ間違えてましたね
ぜひとも応援していただけると嬉しいです
別に聞かなくてもいいんでフォローと高評価
高評価いただけるとありがたいです
この番組をぜひとも評価の方よろしくお願いします
はいお願いします
ということで
いいですかね
また一週間落ち着いて過ごしていきましょう
おつかれさまでした
アフタートーク：おもちゃの旋盤設計
長年の夢だった
自作ベンチができてよかったですね
また来週以降
試したことがあれば教えてください
そうだねうまいこといくのかな
ちょっと変数が多い
もうちょっとシンプルにしたほうがいいかもしれない
一番理想はチャットで試せるやつ
なんだよね本当はね
いろんな他の素材使わずにってこと
そうなんだけど最近は俺もさっき言ったように
設計ベンチマークテストみたいなものやってるから
世の中にないもの
おもちゃの旋盤を
というものを設計させるみたいな
1から0からこんなものがあったらどういうものになる
っていうのを設計させて動画まで
SNS投稿用の動画まで作らせるっていうのを一個のベンチマークにしてるから
自分の今作ってるやつも渡さずに
渡さずに世の中に存在しないから
もしもそういうものがあったらあなたならどう作りますかっていうのと
設計とあとコンセプトを全部動画にして
SNS用の投稿ショートにまとめろみたいな
90秒くらいの動画にまとめさせて
それを評価しようとして使ってるって感じしてるけど
それもいいよ結構
それすごいねなんか自分のアイデアよりめっちゃいいの出てくるかもしれない
出てきた
なるほどねって
で取り入れたりするのここ使えるな
取り入れたいなと思ってるとここ何箇所かある
そういう感じになるから
また渋調ベンチマークも楽しみにしてます
いくつかまた作っていきますんで
というわけでこんな感じでございます
お疲れ様でーす