00:01
はい、ということで最近、引っ張りだこですね。
川崎さんもなんか、たくさんポッドキャストも出られて、Xのフォロワーも増えられて、なんかすごいフィーバー状態だと思うんですけど、
なんかこう、DMとかなんかそういう連絡とかもたくさん来てるんですか?
そうですね。僕、TwitterX、もうすぐ20年ぐらいアカウント作ってから経つんですけど、この1週間で約2倍になったんで、この20年は何だったのかみたいな気持ちにちょっとなってるところです。
DMもいろいろいただいてるんですけど、ちょっと電話ご返事できなくてすみません。
まあそうっすよね。なので、いや僕が連絡した時もすでにもう何件か連絡が来てるとかいうのがあったので、まあそうだろうなぁと思ってはいました。
いやでも、そうか、20年。20年っていうことは、もう出来立て、まだ英語のUIしかなかった頃からやってるみたいな感じなんですか?
そうだったと思いますね。2006年?ちゃんと読みましょうか、今。2006年の4月とかじゃなかったか。あ、違うね。2007年の4月か。
なるほど。
2006年ぐらいですよね、Twitterロンジってね、確かに。
そうっすね。僕いつぐらいなんだろうな。僕はなんか2007年?8年?7年の11月組とかかな。まあちょっと川崎さんよりかは遅い気がするな。
まあ見ましょうか。7年の11月って書いてるから、ちょうど半年ぐらい差ですね。
なんか多分ちょっとブームがあったんだよな、この辺り。
まあ日本でなんか少し早々、ブログ界隈とかで当時の2000年代の出話題になったタイミングじゃないですか。
そうですね。まあそういう感じで、ということでですね、始めていこうと思うんですけど、
ということでこの番組は趣味でOSSをやっているモダという番組で、OSS作家のソンムーンがゲストを交えながら趣味や仕事についてお話しするポッドキャストです。
ということで今日のゲストは川崎さん、かわしーさんです。よろしくお願いします。
よろしくお願いします。川崎です。
はい、じゃあ川崎さん自己紹介をお願いできますでしょうか。
はい、今インターネット上ではkawsyっていうアカウントをよく使ってるんですが、
今ですね、前職のCTOを4年くらい前に退任してからですね、ちょっと引退してたんですけど、
一応今一人会社をやってまして、すごく今風に言うとワンパーソンカンパニーってやつですね。
そこで自由研究したり個人開発したりしながら、スタートアップ中心にいろんな経営課題の解決、
ソフトウェアプロダクトの周辺課題を中心に支援させていただいてます。そんな感じです。
03:08
はい、よろしくお願いします。そうですね、そういう最近の活動みたいなのもお伺いしていければなと思ってるんですが、
とりあえず今日お呼びしたのはイスコンですよね。
そうですね、運が良く優勝してしまったので、ちょっといろいろお呼びいただいてお話しさせていただいている、
今日この頃です。
いやそうですね、最近もう無人ハーネスで優勝したっていうので、一躍業界では時の人となってるという感じですね。
なんかその謎のAI使いが現れたみたいになってるっていうのを、他の人からDMから、昔からの友人から聞きました。
確かに、なんかこう、あんまり、もともとたぶん川崎さんがめちゃくちゃ表に出てきてたタイプではないっていうのと、
最近ちょっとそういう技術コミュニティとかにも出てきてたわけではないから、
実はあんまり知らない人も結構いるんだなっていう感じが、なんていうか、しましたっていう感じですね。
そうですよね、もともと全職でCQやってた頃とか、やっぱりいろんなコミュニティとお付き合いさせていただいてましたし、
あ、それじゃない、Sonoさんにもなんかいろいろご協力いただいたことあったと思うんですけど、そういう繋がりとかもあったんで。
あれですけど、今は別に特にそのXで発信する理由というかモチベーションは特にはないので、ゆっくり自分の時間を過ごしてたら、低不条だったんですけど。
そうですよね。
そういうままでですね。
いやなんか、僕も今年も出てて、まあ一応出てて、普通にモテメンさんと神なしのトリクルースさんと毎年組んでるんですけど、3人で組んで、
まあなんか、12万、13万点ぐらいで、125位とかそれぐらいだったんですけど、まああんまり、そう、ノープランで行って楽しんで帰ったっていう感じだったんですけど、
いやなんか、もうその、当日の朝にもう川崎さんのツイートが目に入ったんですよ。
準備しておきましたみたいなやつですよね。
そうです、なんか、もう今日は無人のハーネスを組んだんで立ち上げるだけですみたいなのを拝見して、なんかやっとるなと思って、
そう、それでなんか今日議会しして22時間ぐらいのところで、そのスコアボード見たら、なんかタイピングベアーズっていうチームが50万点ぐらいのスコアを叩き出してて、
そう、それでなんか、これどこのチームだろうって思って、そのチームのメンバーを調べたら、もう川崎さん、かわしって書いてあったんで、すごいなーって。
06:11
僕までその時、そのスコア知らなかったです。
いや本当、なんか、もう本当に、ちゃんとできたんだなっていうのと、だからもうその時に思ったこととしては、これその最終的なその確認ミスとか、そういうなんていうか、最終チェックで、スコアは出てるけど最終チ
ェックで失敗するパターンとか。
まあありますよね、整合性が取れてないとか、保存されてないとか。
そう、しない限りはもう勝ち目がないなっていうのを、なんかその時点で思ったっていうのがありましたね。
そうですね、まあなんか、どっかのブログとかでも、これでも話したかもしれないですけど、AI時代にやるべきことをやろうと思っていて、子育ては人間がやるべきことの一つだと思って。
子育てというか、子供と過ごすみたいなの、それができるように準備して、一応優勝しましたっていうまで家族は参加してることを知らなかったので、気づかないでくれてありがとうと思いつつ。
すごい、そこまで徹底してたんですね。
知りました。一応知らなかったっぽいです。
すごいな。うちはもう家族は知ってくれてたというか、まあもう今日はやはりこもってるからっていう感じでしたけどね。
今回、AI利用化っていうレギュレーションがあったから、そういうハーネスを作り始めたみたいなことをいろんなところでお話しされてますけど、
元々そういうふうに考えてたのかとか、そういうAI利用化っていうレギュレーションを見て感じたことみたいなのってありました?
そうですね。まず、AI利用化じゃなかったら参加していなかったので、参加できてよかったなっていうのは実現あって、
10年ぐらい前に、ちょっと11年とか9年とかちょっと前後かもしれないですけど、3回ぐらい出てたことあるんですよね。
その後、いろいろ忙しくなっちゃって参加できてなかったんですけど、
久しぶりの開催で、AI使っていいんだったら自分も参加できるなっていうのと、
どうせやるなら、もちろんその子供と過ごしたいみたいな、いつも通りに過ごしたいみたいなのもあるし、
極端なやつどこまでいけるのかを試すっていうことの方にすごい価値を感じていたので、
全部自律して、完全自律で動くし、さっき話にあったような再起動試験、推進で落ちないようにするみたいなところ、
09:01
スコアよりもどっちかっていうと、ちゃんと最後まで走り切って点を出して終えるっていう方を重視して、
そんな形を組んでましたね。レギュレーションについてどう思ったかみたいなところで言うと、
これは議論のあるところですよね。人間として参加していてつまんなくなったっていう気持ちは当然理解できるし、
全然違うゲームに。本当に優勝を目指すんだったら全然違うゲームになっちゃったなと思うので。
一方で、結構イスコムって現場思考というか、現実世界の問題をより解こうとしてるみたいなところもあると思っていて、
今コーディングエージェントをAI使わないで開発してる人なんてもうほぼいないはずなので、
そういう意味ではやっぱりどんだけ作文側が大変になろうとも、世の中に合わせて室内側も準備してきているっていうところが
イスコムらしいなとも思いました。
そうですよね。そこは完全に同意で、やっぱり現場思考っていうのが今いい言葉だったなって思うんですけど、
やっぱり普段の仕事で使ってる道具でそのまま戦うみたいなのがイスコムの競技性であると思うので、
なんかそこで普段と違うパソコン使ってください、違う道具使ってくださいって言われたったら結構今日覚めというか、
そういう競技ではないよねっていうところがあるので、そうするともうAIは切り離すことができないものなので、
僕らの仕事からすると。そうすると禁止っていうのはできないだろうなって思ってたので、なかなか今回は運営苦慮したんだろうなっていうのを思ったりしました。
大変だったと思います。偽のエージェントAMDで間接プロンプトインジェクションしようとするとか、なんか苦肉の策だっただろうなと思いました。
あの辺はむしろ作文側も楽しんで問題を作ってた部分ではあるんだろうなという感じは。
まあでも結局今回に関しては、そういうコーディングエージェントが一般化してからの初めてのイスコンだったと思うので、一発目だったと思うんで、
まあいろいろあったと思うんですけど、結局やっぱり実力がある人が勝ったなっていうのはすごい思ってるし、
まあこれまでも結局そうだったなっていうのは、なんか思ってるところではありますね。
しかも結局ものすごい準備とかされたわけじゃないですか、し、なんかすごいドメイン知識とかそういうのをしっかり持った上でそういったところに取り組んだから、
普通にちゃんと抜きん出て勝ったみたいな感じで良かったなっていうのは思ってますね。
周りからちょっとどう思われてるかみたいなのがね、心配した要素でもあったので。
12:02
まあこの辺ちょっと難しいですよね。なんかこれちょっと表現が難しいんですけど、まあなんかこう、川崎さんで良かったなっていう部分はちょっとありますね。
いやちょっとこれは表現が難しいんで、やめておきますというか。
まあまあまあまあすごい極端な話、割とあんまり競技にリスペクトがない人が同じようなことで仮に勝ったとして、そしたらどうなってたかみたいなところもあるだろうし、
逆にでもそういう人だと勝てなかったんじゃないかなというそういう願望みたいなのもあるみたいなそういうところですかね。
一応人間として参加してたことがあるし、新人研修でISCOもやって、学習教材として使わせていただいたこともあるので。
そうですよね。なのでそう、それはそうだと思います。
なんかそうですね、何の話をしていこうかなと思うんですけど、今回結構やっぱりそういう無人ハーネスとか自動ハーネス組んでくるチーム結構あるんじゃないかなって僕は思ってたんですけど、
なんか思ったよりかは多くなかったなっていうところと、いや、ただ結局その後のレポート見てたらそれなりにいたのかなという感じがしていて、その辺を結構川崎さんが事前にちょっと軽くまとめてくださっているんです
けれども、
なんかこの辺り、他のチームのアプローチとして面白いなって思ったものとかあったりしましたか。
そうですね、まずそのどのくらい他のチームもやってくるかみたいなので言うと、自分もなんか10組ぐらいは同じアプローチでやってくるところいるかなっていう事前予想だったんですよね、なんとなくのイメージで。
すごいひどい人多くしかいなかったっていう気もするんですけど、自分仕事もしてたんですけどね、他の仕事も。
それはともかくとして、完全無人で本当にパソコンの前にずっといませんでしたみたいな人はいなかったんですけど、ほぼ無人みたいなところで言うと上位だと6位、12位、13位、38位のあたりがちょっと感想記を読
む限りでは、
おおむね無人みたいな感じのチームでした。もう少し下の方にもいっぱいいるかもしれないですけど。
で、割とそうですね、ディスコードの参加者のディスコードとかにも書いたんですけど、読み方わかんないな、6位のこれかまちゅうのサバチームさんですかね、プラスさんのチームとかの構成は、自分もちょっと同じ
15:04
ようにやろうかなって考えていたような構成だったので、
これもしかしたら、ポッドキャストのページからリンク貼っていただくと皆さんも参考になるかもしれないですけど、めちゃくちゃしっかり組んでるんですよね。マルチエージェント構成で、ベンチマークを常に一個ずつ
しか回せないじゃないですか。
ベンチマーク回す君がいて、いすきゅうっていうベンチマークを回す君がいて、そいつにいろんなエージェントがベンチマーク回してくださいっていうキューイングをしていって、いすきゅう君がビルドしてデプロイしてベ
ンチを回して結果を判定して、
これ多分プルリクエストベースでやってるんで、メインにマージするかどうかとかまで、そこの司令塔じゃないですね、キューイングベンチマーク回す君が判断してやってくれて、この実装担当だったり方針担当だったり
するエージェントがいたりとか、
あとベンチマーク中のいろんなメトリックス、いろんなリソースのグラフ、CPUとかメモリとかネットワーク帯域とかディスカイオとかその辺を全部収集してアクセスログエラログ全部出して、また次に回すみたいな。
めちゃくちゃガッツリしっかり組んでいたので、特にマルチエージェント構成、自分も途中で組んだんですけど、これも結果があんまり出なかったので引き返したんですよ、引き返したというか一回捨ててるんです
よね。
その路線でめちゃくちゃちゃんと組むとこうなるんだなっていう、それとも6位ってやっぱ上位の方だと思うんで、これが一番自分としては興味深く結論を召させていただきます。
そうですよね、このチームすごい。大体やっぱ45万点ぐらいのところで結構団子になってるっていうか、2位から6位ぐらいまではそれぐらいの点数で、川崎さんのところだけ60万超えみたいな感じですね、スコア的
には。
そっかそっか、2位から7位ぐらいまでが大体40万点、45万前後。
で、この6位のチームはそうですね、ベストスコア50数万点みたいなのを出してたのがあるんで、みたいなことは書いてますね。
いや、ワンチャン2位だったんですね。
そう。
ほんとだ、51万点いってる。
たしかにもうそういう、なんかこの辺の構成、準備編みたいなところでも、川崎さんも当日編のブログは書かれてるけど、準備編のところも一応その初行ができたみたいなのを先はツイートを拝見しました。
ちょっと時系列順に、ちょっともう少し整理してしたやつはまた別途何か発表すると思うんですけど、
一旦まずちょっとプレリクエスト1週3ヶ月分あるんで、時系列順に並べたやつをちょっと出そうかなと、準備中です。
18:07
今後ポッドキャストが出る頃には出てるかもしれない。
そうですね、そう。なんかちょっとその、それをこう読みながらお話できるかなと思ったんですが、ちょっとそれはギリギリ間に合わなかったかな。
ギリギリ間に合わなかった。そうなんですよ。
でもなんか軽くあの差分のところを拝見させていただくと、なんかやっぱり作り込む、作り込んだところもあったけど結構そのチェック、品質チェックみたいなところの方をかなり重要視したみたいなこと書いてました
が、それって合ってますかね。
品質チェック、まあ評価ですね。
評価、評価か。
評価。そう、まああの、結局コンペの性質としてはなんか機械学習コンペ的な性質だったと思ってて、評価どんだけ回して実験するかみたいな感じの取り組み方だったんですよね。
すごいやる気のあったタイミングだったからと、1日で大体3回回せるじゃないですか。8時間ずつ朝実行を開始して、午後はご飯食べてた後お風呂入る前に1回やって、で朝早く起きてますって感じで3回ぐらい回せる
ので、その結果を見ながらちょっとずつ修正していくみたいな。
MLopsとかもっと大切だなと思っていて、この実験どの状態でやったのかよくわからないみたいな。実験を進めてる間にも修正を加えてるから、どのバージョンでどの結果が出て、どれとどれを比べてどうなってるんだ
っけみたいな感じがちょっと。
すごい簡易的な仕組みでやってたので、GitHub一周に前回からのサーブも書き込んでおくみたいな。ハーネスの変更も書き込んでおいて、例えばプルリクエストとか一周とかに次の実験で試すことみたいなのを自然
言語で書いてあるやつを全部ピックアップしてきて検証するみたいな仕組みでやってたので、すごい厳密じゃないですけど。
じゃあ結構もうそういうプルリクとか一周とかのメッセージベースでやってて、なんか特別な仕組みみたいなのは使ったりはされなかったんですか。
結果を全部その1個のHTMLのレポートに、これはスクショまで時間をどこでも出してないな、まとめてどのハーネスでどの問題を解いて、スコアはいくつで、あと問題別にその問題を解いた実験結果が全部一覧でグラフ
で表示されていて、時系列で何分に何分ぐらいのスコアが達成されていて、
かつ特定のその実行、評価実行、ランって呼んでるんですけど評価ランを選ぶと、その評価ランでコンテキストの推移がどうで、サブエージェントがどのタイミングでどう使われて、サブエージェントのコンテキストはどの
ぐらいで、みたいなのが一応見れるようにレポートを、本当にスタティックなHTMLを書く仕組みを作っておいて、それを見ながら回してました。
21:00
なんか別の回でもそういうログとかちゃんとレポート読むのが大事だみたいな、人間がダマログ見るのが大事だみたいなことを川崎さんおっしゃってたと思うんですけど、やっぱりそういうのを読んでなんかフィードバック
を返すみたいなのをされてたんですかっていうのと、そのフィードバックの返し方とかも一周とかだったっていう感じなんですか。
そうですね、なんかこれも本当に他に言ってたかもしれないですけど、コーディングエージェントの気持ちを理解するのが大切だったと思ってて、どんなこと、どういう時どんなことやってるかを、全部本当に全部は見て
ないですけど、
行って、これでも気をつけないとずっと楽しくてずっと見続けちゃうんで、他の仕事ができなくなっちゃうんで危ないんですけど、重要なところはじっと見て、何してんのかなーっていうのを見ながら、こんなことやってる
なーと思ったら、それをやらないようにしていくっていう感じなんですけど、結構難しいのが、もうなんかこれは、もしかしたら今でもできるかもしれないし、もうちょっと基盤モデルが進化したらできるかもしれない
んですけど、
自然言語で書かれているいろんなインストラクションをエージェントに直接修正される、全部何もこっちが介入せずにやると、なんかどんどんどんどんワドボックな、時には矛盾したルールがこう追加されてってしまうん
ですよね。
今でも皆さん多分エージェントスキルの変更とかって、時代をエージェントにやらせて、人によってはちゃんと評価サイクル回してる人とかもいると思うんですけど、なんか目的的に全体感なしに振り返りをさせて、これを
起きないようにしてっていうと、単純になんかそれをやらないでください、みたいなルールだけがただただ追加される自然言語で、
あと大切なので3カ所でやらないでください、禁止です、みたいな書いてくる、みたいな修正が入っちゃって、逆にその状態で実行すると良い挙動も失われていってしまうので、その辺のあんまりできる限りルール追加し
ないけど挙動を強制するみたいなのをやってましたね。
そうですよね。なんかやっぱ最近LLAも賢くなってきたから、ガチガチにルールで縛るっていうよりかは、なんか自由に発想させるみたいな方が、結構そのパワーを発揮してくれるなーみたいなのは、まあ思ったりは
してますね。
なのでそう、足したくなるんだけど、まああんまり足さないっていう感じですね。一番作り込んでいたやつとかは、人間と同じようなISCONの取り組み方をさせようと頑張りすぎたんですよね。
GitのこういうタイミングでGitのコミットしますとか、各種設定ファイル、ミドルウェアの設定ファイルだったり、システムコントロールの状態とかも全部Git管理して、それを中心にデプロイする仕組み、プレス
24:01
ホルダー全部作って、それを使ってくださいみたいにしてたんですけど、
なんかそんなことやらなくても、ちゃんと今のモデルは動いてくれるので、自由にやらせたほうが良かったなっていう。
そうですね。まあマネジメントと同じだなっていう。なんかもう今の若い人たち別に部下持たなくても、マネジメント学べるからお得だなっていう感じがしたりはしていますね。
ただやっぱり明確なゴールとかがあるから、なんかうまく動いてくれたっていうのがあったと思っているのと、あとやっぱり今回なんかそのベンチがガンガン回るような、参加者がこぞってベンチをガンガン回すみたいな
感じだったのに、ほとんどノートラブルだったっていうのがめちゃくちゃすごかったなっていうのと、
なんか過去のイスコンとかだと、やっぱりそのベンチが回りすぎてちょっと不安定になったりとか、ちょっと一時的に運営側のシステムがダウンしてしまうとか、それこそ競技時間を変更するみたいな、そういうトラブルが
あったこともあったんですけど、
なんか今回そういうトラブルがほとんどなかったのも、自動化エージェントに利した部分じゃなかったのかなと思っていて、なんかその辺どう思うかっていうのと、逆にそういうトラブルがあった場合の対応みたいな
ところって、なんか作り込んだりとかしてたりしたんですか。
そうですね、だからおっしゃる通りでちょっとラッキーだった面もやっぱりあったなと思っていて、これ準備してたけど、いや準備というか構想はあったけど、ちょっともう途中でめんどくさくなってやらなかったこと、
準備段階でやらなかったことで、
ベンチマーカーのキューイングがめっちゃ詰まるみたいなシチュエーションを意図的に作ってやるとか、あと何だっけな、これもやらなかったんですけど、他のチームのスコアを仮想的に表示させて、負けていたらもっと頑
張らせるとか、
そういう圧倒的に思いついてない手があるはずなので、圧倒的に負けていたらゼロベースで考えるとかそういうアイデアもあったんですけど、ちょっと後半だんだん飽きてきてた時期があったので、そこまではやらなかった
んですけど、とかはありましたね。
あと、運営からの質問できて、クラリフィケーションしてくれるじゃないですか、あそこの画面はポータルからアクセスできてたので、エージェントを勝手に見つけて勝手に読んでましたね、今回。
ああ、勝手に読んでたんだ、はいはいはい、なるほど。そうか、やっぱそこも自由にやらせたほうがいいっていうのと、そうなんですよね、昔はなんかあの辺ってディスコードでサポートみたいな、個別サポート
みたいな感じだったけど、最近はもうあの画面がよくできてるから、もうそのポータル上でちゃんと読めるっていうか、そういう運営側のちゃんと作り込みみたいなところが、
27:08
逆にやっぱこう、エージェントリリした部分があるなーっていうのは、たとえばなんか、そうですね、競技時間が変更になりましたみたいなのが、仮にディスコードとかでアナウンス、ディスコードなりどっかでアナウンス
されてても、エージェント気づかなかった可能性とかありますもんね、でも逆に今だったらちゃんとポータル上でしっかりアナウンスされるから、ちゃんと気づくでしょうみたいなのがありそうですね。
いやそう言うとディスコードの通知を送るっていう、あの一瞬は終わったんですけど、それもなんか途中でめんどくさくなって、実はアナウンスはいろいろ準備したとはいつつ途中で、いやその通知の内容を全部送るべきか
どうかとかちょっと悩ましいなとかなんか、それを評価するのが、この10年間参加してなかったせいでなんかどんな感じの連絡がどう来るんだっけとかも忘れちゃってたので、
作りなかったっていうのは正しいかもしれないですけど、仮想的なその当日の状況。
確かに10年前と比べるとめちゃくちゃ進化してますからね、運営側の仕組みみたいなところが。
なんかそんな感じがすごいしました。
まあそれでもなんかちゃんと自動化できるだろうって思って作り切ったのがすごいなーっていうところではありますね。
まあそうですね、これまあなんかそこが出なかったとしても、あるいはなんか当日に何か事故が起きて失敗したとしても、まあそれはそれでそのそういう結果で面白いと思ったので。
実験としての価値があるっていう感じですかね。
そうか、リーダーボードを読むみたいなことはさせてなかったんですね。
えっと、メース的にはさせてなかったんですけど、でもなんか記録が残ってて、あのブラウザコントロールを後で見ると、
なんかなんだっけな、この時点での任意は何点ですみたいなのがなんか書いてあったから、なんか読んでたっぽいんですよね。参考にしたかどうかはわかんないけど。
なるほどなー、いやすごいなやっぱり。
そう、なんか僕なんかは、そうですね、もうエージェントは当然使ってましたけど、ブラウザコントロールとか渡してなかったから、もうなんかそういったことは全然してくれませんでしたね。
あの普段使いのブラウザ渡すのはちょっとよくないと思ったので、プレイライトのセッション1個、永続化させたやつを用意して、
そう、事前のポータルログインまでは僕やったんですよ。エージェントの起動とポータルログインをやって、そのセッションの情報が競技エージェントを起動するツール経由で、
競技エージェントのクロードコードのセッションに渡されて、ブラウザをアクセスするツールはなんか用意されていて、そうですよね、なんかインストラクションにお使い方がちょっと書いてあるみたいな。
なるほど、そうか。じゃあまあそこに入れちゃえば、あとはもうエージェントのやりたい放題っていう感じですね。
30:01
でもそう、ちゃんとなんか他チームのスコアとかを、今回結局断トツだったからあんまり関係なかったかもしれないんですけど、川崎さんのチームは。
でもそう、他チームのスコアを意識させるのは大事だなっていうのは僕も競技をしていて思いましたね。
なんか結局、他のチームのスコアとかが出てこないと、割となんか僕らの使い方もあるんですけど、割となんかその局所在的な、ちまちました改善しか出してこないんで、
なんかもう今トップは60万点なんで、ちょっと根本解決、そこに追いつくようなドラスティックな改善を考えてくださいみたいな。
なんかそんなことを。
丸投げする。ゴールコマンド使って。
そう。そういうのやったりしてましたね。
なんかそういう、結構他のところでもお話してるように、まずイスコン自体がちゃんと明確なゴールがあるみたいなところとか、
あとベンチマークみたいな、ベンチマーカーがすごい綺麗に動くから、そのやったことの確からしさみたいなのを確認しやすいっていうところが、たぶん、構想した部分っていうか、もともと理した部分があると思っている
のと、
あとなので結構薄いハーネス、明確なゴールと薄いハーネスみたいなところに落ち着いたっていう話だと思っています。
で、ただなんか僕そこで思ったのは、結構その薄いハーネスにしてしまうと、エージェントがどこまで何をやらかすかわからない危険性みたいなのがあるんじゃないかと思っていて、
例えば、やっぱり不正みたいな、結構危ないことをし始めるんじゃないかとか、他チームの妨害みたいなのをするみたいなこともありえるんじゃないかなっていうのを思ったんですけど、そのあたりって何か気をつけたり
とか禁止したりとかそういうのってあったりしましたか。
えっと、なんか基本はやっぱりその、アスロティックが優秀だったっていう話がいっぱいあると思うんですけど、彼らのファン、おそらくそのポストトレーニングでそれなりのアライメントをしてきてくれているので、
っていうのと、反則みたいな話を言うと、これ別に書いたからどうだっていう話はありますけど、一応そのレギュレーションは重視すると。レギュレーション、当日マニュアルを読んで、これの違反はしない。
これはあとスコアにも聞いたっぽいですけどね、最初にちゃんとレギュレーションと、特に当日マニュアルをスコアのルールを読ませた、読んでから取り組ませたっていうのがなんか差がついた要因のような、一つのような
気もしてるんですけど、なんかそんぐらいですかね。
33:07
だからわかんないですけど、本当にあんまり安全対策がされていない、ちょっと安全対策っていう言葉正しくないかもしれないけど、オープンウェイトのモデルとかを適当に使って、適当なコーディングエージェントを自
分で作ったりなんだりしてると、なんかもうちょっと危ないこととかもあったかもしれないですね。
たしかにそうですね、レギュレーションの方に立ち読む妨害みたいなことしないことみたいなこと、ちゃんと公式の方のレギュレーションに書かれてますからね、そういったのをちゃんと読んでくれたんじゃないかっていう
話。
そういう時は守るのかどうかそれは別に何の強制力もある話ではないですけど、決定的な。あと何だっけな、反則とはまたちょっと違うかもしれないけど、さっきもちょっと話題になった整合性が取れてない再起動試験、追
試で落ちるみたいな話やっぱりあると思っていて、
ベンチマーカーは通ってるけど人間が見るとなんか全然ダメでしたみたいなことって一応あり得るなと思ってたので、そこはその評価環境で追試も自動化していて、おそらく人間がこう確かめてたであろうということを自動
化して、
それに実際なんかその途中でそれ作ったんですけど、途中までの結果で追試で落ちてるケースってあったんですよね、後から確かめたら。それはやってよかったですね。それに合わせてユーザーハーデンスのインストラク
ションの側にもこういう追試というのはこういうことをやるので、最後人間が見てもうおかしくない結果にちゃんとなるようにしてくださいって。
ちょっともうちょっとちゃんと書いてますけど、なんか趣旨としてはそういう感じのことを入れて、あとなんか終盤で出てくるプロンプトにもなんかそういうことを書いてあるのかな。
なるほどなるほど。確かにそういう、そこで落ちたら元も子もないですからねっていうのと、大きな変更するとそこがぶっ壊れるみたいなことはあり得るので、確かに後半にも入れるのはメイクセンスな感じがしますね。
ズルもそうですよね。なんかベンチマーカーだけどう入れてないかみたいなのが作れちゃうんだと。
確かに。結構そういうなんか表示を守ってベンチマーカーを騙すというか、そういうのもこれまでの競技としてもあったので、そのあたりのバランスとか判断は難しそうな感じはしますね。
ただ多分そんなことしなくても普通に成功法でなんかスコアが出るような感じになったというか、てかそういう変なワークアラウンドハックで抜きんでるよりも普通にやれることを全部やりきるみたいな感じに、勝負として
36:08
はなってるんだろうなっていう感じはしますね。
なるほど。確かにちゃんとレギュレーションを読むのは大事なんだよな。人間も読まないがちっていうのと、僕もなんか一回読まずに、多分もう10年前ぐらいですけど、やらかしたことがあったんで、今回そうですね、ス
コアは多分その仮想ヨーロッパリージョンとUSリージョンを使った方が高いみたいなのもあったから、そういったところをちゃんと理解するのが大事みたいなのが。
なんか1.5倍だし、マシンスペックもいいし、新しいCPUの命令セットも使えるし。
ああ、そうだったんだ。
そうなんですよ、なんかあの、社の計算が早い、なんだっけ、社ニューインストラクションみたいななんか、いやここなんか全然知らなくて、エージェントが書いてくれた当日編で何やったかっていうやつの下書き読
んで、最近はそういうインストラクションセットがあるんだ、みたいな感じだったんですけど。
そうなんだ。
そうなんです。
なるほどな、面白い。
5年ぐらい前のCPUからあるらしいですよ。
へえ、そうなんだ、まあそりゃそうか、そこちゃんと専用の何かを持たせた方が、もう普通にそういうハッシュ計算みたいなの山のように走ってますからね、現代的なコンピューターの上では。
全く知らなかったですよね。
ああでもこれに気づけたのは、そうか、これもちょっと準備ですね、あの、1週間ぐらい前に事前の確認でクラウドフォーメーションでこうスタック立てて、検証しておいてくださいみたいな、そうしないとサポート外にな
りますよみたいな上からのアナウンスあったと思うんですけど、
あれの段階、あれをやって、あのインスタンスタイプの想定がある程度ついたので、えっと、かつなんかいろんなインスタンスタイプが混ざってる可能性が高いっていうことが分かったので、もっともっとしてたんだ
けど、インスタンスタイプごとのスペックをちゃんと調べることっていうのが多分序盤に入ってたはず。
なるほど、確かにそう、今回結構台数が多かったので、ちょっと普段と構成が違ったんですよね。なので、構成が違うなって思ったし、それでもちゃんと対応できたのは確かにすごいなっていうのを今思いました。普段は
これまで例年3台であることが多かったんですけど、今年は4台でかつルーターっていうちょっとよくわかんないやつもいるみたいな、そういう感じで。
めちゃくちゃ面白いですよね。
いやーすご、すごかった。
過去問の中にね、評価セットに入れてた過去問で、10の本線かな、5台ぐらいあって、それもなんか新スペック違うのが混ざってるみたいな問題が1回だけあったんですよね。なのでそれは評価セットに入れてたので、
39:06
なんか一応ある程度動くこと自体は分かってました。
なるほど、確かにそういう問題もあった気がしますね。そうかー、なるほどね。
そうそう、その評価セットにどの問題を入れるかも、なんか一応悩んで、同じようなのばっかり入ってもうしょうがないんで、なんかバラエティに富むようにした記憶がありましたね。
全部メモリに載せられないような問題ってのは絶対必要だと思ったりし、全部ねメモリに載せるとかも今一瞬、それこそ一瞬出てきちゃうから、絶対それでは解けないであろう問題が来るっていうことぐらいはなんとなく想
像がつくじゃないですか。
そうですね。
なので、なんかそうじゃない問題を探したし、あ、そうそう作ったんですよね。あ、そうこれもあのツイッターにも書いたんですけど誰もなんかやってなかったですね、問題作って。
そう、問題。
そう、いやわかんないですちょっとね、ゲームやり込みすぎたかもしれないですけど、まああの方針、やっぱりこの時代が変わったので、問題、作文の方針が過去の延長線上にはないことはまあそうだろうなと思ったので、
一応何かしら大きくは変えてくるだろうと思って一応問題作ってきたって感じです。
いやーほんとすごい、予想問題を作るみたいな、もうほんとに。
全然外しましたけどね、大外れでしたけど内容して。
まあまあまあ。
いやーでもなんかそう、僕もそういう、なんかそう確かにね、僕は数日前になんかセットログとセットロックは似てるみたいなツイートをしてたんで、ある意味ね、似たような話でしたけど。
で、まあちょっと前半もそろそろちょっと終わりそうな、まあ締めていこうかなと思うんですけど、なんかまあ結構川崎さんが今気にされてることとして、そのあたりの仕組みとか、そういうエージェントハーネスみたいな
ものを公開するかどうかみたいなの迷われてるみたいなこと書かれてますけど、この辺ってなんかどういうお話ですか。
まあそうなんですよね。これはもうぜひご意見を伺いたい。このね、OSSっていう入ってるポッドキャストだからなおさらそうなんですけど、フラット、ニュートラル寄りなんですけど、どちらかというと、まあでも公
開しない方がいいのかなっていうふうに今回のエージェント自体そのものは思ってて、
なんかこれ公開してそれをそのまま来年、まあ来年以降もしあるかどうかもしれんわからないと思うんですけど、開催された時にそのまま使う人がなんかいっぱい現れてもどうなんだろう、なんか誰のためにもなら
ない、その参加者も楽しくないかもしれないし、あの学習公開みたいなのも少ないかもしれないし、運営はただただ作文が大変になったりするだけだし、みたいな気もしていてですね。
なんかそういうことを考えると直接的に作ったエージェントのことを公開することの価値、社会的価値あんまりないような気がしていて、なんかしない方がいいかなとちょっと思っているみたいなところと、まああと1年後
42:16
のモデル当然その3歳区3世代か4世代分ぐらい前に進んでるはずなので、なんかそのままやっても一番いいスコアになるわけじゃないと思うので、そういう意味でもあんまり価値はない気もするし、
一方でまあなんかその今回どういう考え方で作ったのか、どういう過程を経てたのかみたいなところは、あの知見として意義があるところだと思うので、それはまあこのポップキャストとかも含めてブログとかも含めて公開
しているし、もう少し書いてないことがあるんで、それも今回この後公開していこうと思ってるんですけど、そういう形がいいかなと思ってるんですけど、
見たい人がいっぱいいること自体わかってるんですけど、どっちがいいのかなってちょっと悩んでるっていう感じです。
そこ難しいですよね。まあなんか僕はやっぱまあスタンスもあって公開した方がいいんじゃないかなっていうのは思っている立場ではあるんですけど、なんか例えばイスコンって昔その、まあ昔はなんか結構そんなこう洗
練されてなかったんで、その運営側のベンチマーカーとかも公開されてなかったんですよね。
競技終わった後も。でもなんかその辺もだいたい終わった後、その公開するような流れになってきたみたいなところがあったりするっていうのがまず一つあるのと、あとなんかもうその今回ってまあみんななんかAI使
ってくるってことはわかってただろうし、なんかそのなんだろうな、こうもしかしたら全自動AIで勝負がついちゃうかもしれないっていうのはなんとなく思ってたけど、
なんかまさかこんな綺麗にそのパンドラの箱が開くとはあんまり思ってなかった人が多かった気はするんですよね。でももう結構開いちゃったから、開いちゃったこと前提で考えるしかなくなったっていうのがあるし、
なんか結局、川崎さんが公開しようがしまいが、次イスコンがあったら絶対全自動ハーネスを組んでくる人ってたくさん出てくる。っていうか基本的に優勝を狙うチームはもうそうするしかなくなった。
っていうのは思っているので、そういう意味では逆にもうまあ何らかの形で公開するなり、運営に情報提供するなりかわかんないですけど、そういう形にして、そこがある意味ベースっていうかベンチマークになる。今回の
川崎さんのやつがベンチマークになるし、ある意味そういうこう、
なんかまあ全自動をどこまで防ぐかっていう話はあるんですけど、なんかまあ防がなくてはいいと思うんですけど。
まあ防ぐ必要はないとは思いますけど、ゼロベースで皆さんがゼロからいろんなものを組んだ方が面白いんじゃないかという感じかもしれないですね。
45:09
なるほど。なんか結局、当日に人間が何もしなくていいっていう状態を作りきる勝負になるっていうところに競技性がすごい変化してしまったかもしれないって思っているので、そこを当日人間が開催させるような要素をも
たらすような何かを
そのイスコングウェイが入れたいと思うかどうかみたいなのはあるのかなっていうのと、そのためにじゃあ今のなんていうか、そういう全自動ハーネスの状況を見て、なんかこういった工夫ができるかもとか、そういうなん
ていうか、攻略側の参考、情報を見て参考にするみたいなのはやっぱりできるのかなっていうのは思ったりはするっていう感じですかね。
なんかその、多分来年同じことを自分がやってもしょうがないと思っているので、どっちかというとまあそのテストプレーを協力するとか、スパイクともやった方がいいのかもしれないとか思ってました。
まあ確かにそれはそうかもしれないですね。
少なくともこのレベルはとっておいてきますよっていうのが情報としては私できるので。
なんかでも難しいですよね。難しいというか、なんかもう最初にお話したように、この回の冒頭で話をしたように、結局そのなんていうか、現場志向の競技だから、もうエージェント使わないっていうのはあり得ない
と思っているし、
ただもうそれ前提にしちゃうと、人間が解けない問題っていうのを作ってしまう可能性はあって、でも今回結構人間が、あんまりエージェント使わないで頑張ったチームとかも結構それなりにいて、結構そこは驚きに値する
なっていうところではあったんですけど、
だからなんか結構そこは難しいなっていう。あとなんか今回僕普通に参加してて楽しかったんですよね。なんか人間としてわちゃわちゃやってて楽しいっていうのはあったし、なんかそういう、なんかこう普通に人として参
加してどんどんスコアが上がっていくのが面白いとか、なんかそういう余地がどう残せるのかみたいなとこは難しいポイントだなって思ってますね。
そうですよね。楽しみ方と、なんていうんですかね、学習機会としてどう使うかは本当人それぞれだと思うので、それぞれの目的に合った楽しみ方がやっぱできるといいですよね。運営としてこう、スコアを人間オンリ
ー部門とAIなり部門で分けるかとか、また別の判断かもしれないですけど。
そうですね。ただそこはなんか分けづらい競技の特性として分けづらいよなっていうのは思ってはいるっていう感じですね。
48:05
ちょうど昨日か一昨日ぐらいまでやってたアットコーダーさんのヒューリスティックス部門、最適化アルゴリズムみたいな部門があるんですけど、10日間ぐらいやってて、多分初めてだと思うんですけど、そのヒューマン
オンリーとビズAI部門に分けて同じ問題なんだけど、ランキングは自己申告で分けますっていうのをやられてましたね。
なるほど、そうですよね。アットコーダーさん結構そこはかなりルールをちゃんと決めてやられてるイメージがありますし、まあそういう競技性、もともとそういう競技性だから割とそこがやりやすいのかなって思ったりは
してますけどね。
何せ元の話に戻すと、川崎さんが公開しようがしまいが、もうこの流れっていうのは止められないし、逆にオープンにすることで良くなる部分もあるのかなっていうのと、あとこういうのってオープンにすることでゲーム
としては攻略が進みすぎるっていう、コンテンツ消費が早くなるっていう部分もあると思うんですけど、
ただもうなんか今回の結果で、もうなんていうか、ちょっとやっぱフェーズが変わったのはやっぱ間違いないんで、そこはもうなんていうか、川崎さんが公開しようがしまいが、流れとしては変わらないだろうなっていう
のと、
なのでそういう意味では、公開したほうがみんな嬉しいから、公開はしてほしいかなっていうのは個人的な感想です。
ちょっともう少しいろんな方の意見も聞いてみます。ありがとうございます。
はい、ありがとうございます。前半50分ぐらい話したんで、後半はもうちょっと最近、川崎さんお久しぶりなので、いつこんな話を、ちょっとするかもしれませんが、ちょっと最近取り組んでる話とかをお伺いできれば
なと思います。ということで一旦切ります。ありがとうございます。
ありがとうございました。
趣味でOSSをやっているものだ、は感想やお便りをお待ちしています。
ハッシュタグOSS4FANでツイッターやブルースカイに投稿していただくか、お便りフォーム、https://oss4.fan/.voiceからお寄せください。
RSS、Listen、Spotifyなどでの購読もよろしくお願いします。
番組を応援されたい方は、コードックでのチップも受け付けていますので、番組ホームページからの支援をぜひご検討ください。
次回もお楽しみに。
