00:02
おだしょー こんにちは、AI駆動開発部の日常
へようこそ。このポッドキャスト は日々AI駆動開発を行う企業課の
山本とエンジニアの阿部がAI駆動 開発のリアルを緩く語り合う番組
です。本日もよろしくお願いします。 山本 はい、よろしくお願いします。
おだしょー お願いします。今日はレビュー
関連、AI駆動開発やるってなると AIにレビューさせていくっていう
ところも結構必要。人間の目でレビュー していくのは正直限界がすぐ
来るっていうところがあるので、 レビューもAIにさせたほうがいい
よねと。レビューもAIにさせる ということはそのレビューに対する
対応みたいなところもAIにやら せないと結局人がボトルネック
になってそのレビュー待ちでレビュー を人がやるんだったらレビュー
待ちで止まっちゃうしせっかく 勢いついてるから逆にレビュー
の解消も人がやってるとそのせい で止まっちゃうしみたいな感じ
で、結局感じが悪いみたいな感じ になるからレビューをAIにさせる
っていうことは結構重要。AI駆動 開発においては重要なのかなという
ふうに思ってます。特に僕とか多少 の開発知識はあるにしてもいわゆる
非エンジニアの人間が開発をする ようになってそのときの品質担保
っていうところでもやはりセキュリティ レビューもそうだしコードベース
上のレビューみたいなところも そうだし様々なレビューを逆に
もらわないと厳しいみたいなのが ちょっとあるのかなと思っていて
ちょっとその中で最近Code Rabbitっていう サービスを導入したんでそこの
話とかあといろいろレビューを AIにやらすことになったことで
出てきた課題をどういうふうに 解決したのかみたいなそのあたり
の話ができたらなというふうに 思っておりますのでよろしくお願いします
はいよろしくお願いします
はいちょっと本題に入る前になんです けど阿部ちゃん的に普段いろんな
Code X、Devin、Cloud、あとはCode Rabbit とかそれぞれからレビューが返って
きてると思うんやけど名にする と思うんやけど実際にこのレビュー
どうなのかみたいなどんくらい 妥当なものくるのかとかあんの
かなその辺からちょっと聞けたら いいのかなと思ってAIレビュー
どんなもんみたいな
確かに最近割ともう妥当性の検証 自体AIに任せててもうあんまり
03:02
見てないっていうのは若干あり つもなんですけどなんかその中でも
やっぱチラッと斜め読みはするん ですよなんか最後こう妥当性チェック
して手元にそのレビュー来た後に 手元のCode Xで妥当性を検証する
フローを組んでるのでそのレポート 結果を斜め読みするとまず確実
に以前もお話ししてたかもしれない ですけども確実に的確な指摘入れて
くるのやっぱCode Xがピカイチ なんですよね
おだしょー なるほど
彼の指摘はもうほぼ100で対応しなきゃ いけないぐらい本当に周りに外す
ことはもちろんあるんですけど あとは指摘がきつすぎるみたいな
話もあったりするんですけどもう 彼の言ってることはだいたい正しい
みたいな感じです
おだしょー なるほど
おだしょー ちょっとデビンが最近 導入したばっかりなんでまだ僕の
中で肌感がしっかりつかめてないん ですけどもデビンもまあ正しい
ことは言ってるんですけどデビン はこう書いたらっていうサジスト
も一緒に投げてくれるんですよ Code のサジスト
おだしょー うんうんうんうん
おだしょー あれがちょっとなんか僕的には
そんなにいやこの書き方だとちょっと 違うかなみたいなところもあった
りして逆にこう確かに言ってる ことは分かるんだけどまあ結局
自分で直すみたいなまあ手元の Code Xにやらせるみたいなことが多
かったりします
おだしょー あーデビンの
おだしょー そうデビンのサジストかな
おだしょー はいはいはいはい
おだしょー あとまあね残るはコードラビット
とクロードコードのまあクロード のデビューなんだけどまあコードラビット
はね結構いい感じに指摘はして くれますであのとにかく数が多いん
ですよコードラビットの指摘は 結構な数を打ってくる
おだしょー あーそうだね確かにへーって言った
けどそうだもんそうだもん
おだしょー 結構な数を送ってたまになんです
けどほんとすごいときはなんか 15件とか20件ぐらい一気にこうデビュー
返して
おだしょー うんうんやばいよねやばいよね
っていうか
おだしょー うんまあ僕らのこれちょっと話
逸れちゃうけど設定としてかなり 積極的にデビューを返すようにっていう
設定をまあしてるっていうのは もちろんあるのでまあそれぐらい
になってくれるのはありがたいん ですけどもまあそのうちのまあ
7まあ67割ぐらいは対応しておいた ほうがいいって感じでで残る2
3割ぐらいはたまに外してるときも あるしまあなんかまあやりすぎ
かなみたいなそこまではやらなくて いいかなみたいなものも含まれてる
06:03
ような感覚ででえークロードか あのクロードの指摘はまあ話半分
ぐらいで聞いてればいいかなみたいな 感覚でなんか言ってるなーと思いつつ
たまに本当にいいこと言ってたり するんでまあ無視もできないみたいな
これ何なんだろうねなんかよく わかんないプロンプトのせいなの
かなと思いつつなんかちょっと 漁ってな方向だったり関係ない
話持ち出しだったりしたりして うんうんなんか話半分ぐらいで
いいかなみたいな
おだしょー わかるわかるクロード 別にもうレビューいらないんじゃ
ねって思っちゃうもんねちょっと だけ
山本 そういう話もしてるもんね なんかクロード外すレビュアから
みたいな
おだしょー そうそうそう
山本 あとちょっとこれ補足なんですけど 僕たちのチーム上では使ってないん
だけどあのGitHub Copilotもまあレビュー を返してくれるんですよでこれは
プロプランに入っているユーザー とかがCopilotレビュアとして召喚
できるっていうのもありまして 僕はGitHubのプロプランに月額
400円か800円ぐらいかなって入ってる んで一応召喚はできるんですよ
ただこれこの子は多分優秀だとは 思うんですけどなんかそのCopilot
側でなんか事前に何だろうプロンプト の設定とかをしてあげる必要が
あってただちょっと僕それめんど くさいなっていうのがなんか他で
結構しっかりやってるからめんど くさいなと思ってるんであんまり
やってなくてただ試しにこうどん ぐらいの性能出るのかなと思って
やってみるとやっぱりプロンプト がちゃんと設定されてないから
かなんかいまいちなレビューっていう ような感じが多くてなんかせっかく
僕プロプランに入ってるんだったら 必ずレビュー返してもらおうかな
と思いつつもなんかもうこれ以上 レビューいっぱい返ってきても
止まるなっていうの使ってない っていう感じ
うんなるほどなるほどまあ そうだね多分俺も概ねコーデックス
は絶対必須Code Rabbitはもうすごい いっぱい言ってくれるから逆に
安心感はあるしかもなんかCode Rabbit のレビューをコーデックスとかに
妥当性チェックさせたらそんな 別になんかねたまにもちろんある
けど妥当性ありませんみたいな けどほとんどそんななんか妥当性
もないような指摘をバンバンして くるイメージはないからその辺
が一番重要なレビュアーだなっていう ふうに思って
そうそうだねコアなレビュアー としてはこの二人なのかなっていう
09:01
感じだね
うんうんちょっとDevinはね最近 入ったばっかだからなんかあん
まり僕の中でイメージはないんですけど Code RabbitのちなみにCode Rabbit
のさあのあれは提案みたいなのは
いいかどうかみたいな
そうそうそう
いや僕ね正直もうCode Rabbit とかね細かく見てないんですよ
彼の言ってることはある程度信用 しようかなっていうところでプロジェクト
自体もそんなぐちゃぐちゃに上が ってる状況じゃないから言ってる
ことはきっと正しいんだろうな みたいなところで僕が確認してる
と結局ブロックしちゃう人間が 解体するとブロックしちゃうん
うんうん
もう見ないで指摘されたら どんどん取り込むっていう方針
して
うんうんまああくまでもコーデックス
にレビューの妥当性をチェック した上で取り込んでいくみたいな
感じだね
そうだね
うんなんかけどそこのバランス って難しいよねそのなんか俺なんか
基本的に逆に俺はあのまあちょっと 今回阿部ちゃんが整備してくれた
んでもうあんまり見ることなく なるかなって思ってんねんけど
レビューのその妥当性とか含めて たまに仕様の食い違いがあった
りするんですよね
うんまあたまにあるね
うんまあけどなんだろう最終 的なまあ動作チェックはするわけ
じゃんだからそこで抑えるみたいな 感じになってくんのかなやっぱり
うん今のところはそう最終 的な動作チェックとかあとは
P2Eテストも今GitHub Actions上で 動作するようになってるからそこ
で抑える前提のもとそのレビュー の返答というかレビュー対応に
関しては自動化していくが一番 パフォーマンスとパフォーマンス
が出るのかなみたいな気持ちも あるただ一方で僕自身やってて
もなんかレビューがあまりにも ラリー多すぎるなっていうとき
とかは特にこれ当然だけど危険な シグナルだと捉えていてやっぱり
要件が正しくAIが理解できてない が故になんか間違った修正をして
しまって指摘されて戻すんだけど 戻し方も中途半端でみたいななんか
報酬を繰り広げてるときもたまに あるんですよだから一定なんか
ラリーしてたりしたら様子を見て 介入するとかはやっぱりするし
あと斜め読みレベルではあるんですけど 全体の対応終わったときにどんな
12:01
修正したんだろうなみたいな読んで おかしいときはやっぱりたまに
あるのでそんな感じで全部のレビュー を妥当性チェックしてどのレビュア
からのレビューが妥当だったか どうかっていうのを僕はあまり
チェックせずに最終的な成果物 として正しそうに実装されていれば
一旦それでよしっていうような 感じで見ているので細かくはどの
レビュアの指摘がすごい良かった 良くなかったみたいなのは今トラッキング
できてない状態逆にちょっとそこ はやってみたいなと思ってて今
妥当性の検証この後また詳しく 話せたらなとは思うんだけどレビュー
が来たら妥当性チェックみたいな のをしてどのレビュアから来た
レビューが妥当かどうかっていう のを一覧で最後レポート出して
くれるような仕組み作ってるじゃない ですかあれをちゃんと記録して
どのレビュアのどの指摘が正し かった正しくなかったみたいな
メトリックスみたいなのを積み上げて いくとよりチューニングがしやす
くなっていったりしないのかな と思って例えばそれをデータベース
とかに蓄積していけばCodeRabbit の指摘でこういうのがミスの指摘
になりやすいとかだったらプロンプト 調整しようとかCodeRabbit結構肌
クロード外す確率かなり最近高 くなったよねってなったらレビュア
から外れてもらおうなのかもう ちょっとプロンプト調整しよう
みたいな話とかがもうちょっと 定量的なのができそうな基盤が
今できつつあるかなと思ってる のでそういうのをちょっとやって
いけたらなとは思ってるよね
おだしょー そうするときに 今日知り合いの人と話してて
その文脈っていうのかな 文脈 がユーザーストーリーみたいな
形で仕様の変えりみたいなのに 気づけるような仕組みは欲しい
よね 例えばこれ打刻がシフト管理 みたいなところでいうと打刻っていう
機能は開始時間と退金時間を記録 するために必要なのにそれを阻害
するコードが埋め込まれたみたいな 例えばみたいになったときに人間
からしたらっていうか 僕たちから したら当たり前の話じゃん いや
いやそんなことは今更みたいな 感覚なんだけど AIが気づかない
15:04
みたいなことが結構あって
おだしょー まああるよね コンテキスト がおそらく不足している 僕らが
当たり前としている情報を当たり 前として共有できていないとき
とかによく起こるかなみたいな イメージがあって
おだしょー それもそうだし 例えば 今 特定の機能は用意されてない
のに特定の機能をオンにする機能 があるよってドキュメントに記載
しちゃうみたいな そういうのって 関連性のあるものを引っ張って
来れるはずじゃん だからこの 文脈において このコードの文脈
において何が必要なのかっていう のを これは阿部ちゃんの話につながる
けど ちゃんと引けてない コンテキスト が渡せてない けども 俺らの手が
介入しなくなるって前提に立った ときに コンテキストをわざわざ
渡すじゃなくて 自分でやっぱ取れる ようにしてあげないといけない
みたいな
おだしょー そうだね 連想的に なのか分からない
おだしょー そう 連想ゲーム的に それを今日話してたら 小説と一緒
だなみたいな 小説とか 一番初めに 作ったキャラ設定があって それが
多分今だったらAIに 例えば5冊分 ぐらいまとめさせると 最後のほう
には全然違うキャラじゃんみたいな とか このキャラ設定のこのキャラ
がこんな発言するわけないじゃん とかもそうだし 例えば推理小説
で この庭にいるはずがないのに なぜかいるような設定になって
たみたいなとか 前後文脈が破綻 するみたいなことが起きて 多分
小説を作るのは結構難しいと思う よね 今のAIだと
おだしょー はいはいはいはいはい
おだしょー そう それは記憶保持 というか ストーリー記憶が難しい
から AIっていうのは
おだしょー 確かに 直前の情報をもとに どんどん小説とかを組み上げ
ちゃって どんどん実情報が乖離 していくみたいなね
おだしょー そうみたいな 究極論 コードと小説って一緒だなと思
って
おだしょー 確かに なるほどね
おだしょー そう ニューザーストーリー っていうのが 小説のその1個の
物語なんだけど その物語っていう のが幾重にも重なっていって それ
は初めに設定されたキャラ設定 というか システムでいうところ
の システムそのものの前提設定 が破綻してる状態のときに 仕様
の乖離みたいなのがあるみたいな そういう前後関係が引けるような
18:02
仕組みを整える必要があるのかな っていう
おだしょー なるほどね 多分 ユーザー の 例えばだけど ユーザーのキャラ
設定みたいなのを事前にそもそも コンテキストとして定義ある程度
この人がどういう ユーザーストーリー っていうと アジャイル開発的に
多分 出てくる文脈なんだけど こういうときにどういうふうに
操作するか 連想しながら 例えば ドキュメントの更新をしてもらう
と この人が その人の思考をトレース するように操作したりするから
もしかしたら連想的にもうちょっと 出せるものが出てくるみたいな
大平 そうそう そうそう
おだしょー イメージなんかな
大平 みたいなのを DBに保存する とか ラグ化するみたいなのかもしれない
けど して整備していくみたいな のが ただ そうするとゴミみたいな
情報も多くなるから その辺の制御 みたいなのが難しくなっていく
けど もうちょっと多分 AIに世界の あり方を認知させるみたいな仕組み
が必要なんだろうなみたいな 当たり前の法則というか
おだしょー そうだね
大平 みたいなことをちょっと最近 話しててっていうのがあった ちょっと
脱線しすぎて 本題にまだ入って ないんやけど とりあえず そんな
感じで 今 Code Rabbitとかも入れ始めて CodeX CodeRabbit Cloud あとDevian
の4社にレビューをしてもらって もうレビューが爆量に返ってくる
特にCodeRabbitもマジで爆量返して くれる けど 言ってることが正しい
ことも多いから 無限にはできない とか 無視できないから 全部対応
しないといけない 阿部ちゃんとか だと そこの妥当性みたいなのを
目見で見て判断できるかもしれない けど 僕とかだと余計見ても別に
どっちかどうか判断がつかない みたいな 判断つくものももちろん
あるけど みたいなのがある中で CodeXに妥当性をチェックしてもらう
みたいなことをして そこに人の 手を介入させてると 結構 無駄
が多いなっていうところがあるん で それで阿部ちゃんが整備して
くれたんよね レビューをどう裁く かみたいな そこの話もできたら
いいのかなって思って あとね あれだよね そもそも爆量来てる
レビューの数を ぜひに 山内ちゃん のこないだのやつとか 何件ぐらい
来てたのか 話してほしいなって 思ってたけど
何件ぐらい来てたっけ やばかった よね 多分 多いのがちょっとどれ
21:07
か でも そうだな 普通にコメント 数で言うと 375とかになるんですよ
ね
おだしょー あるでしょ 山内さんと AIの会話だけででしょ
おだしょー そう しかも 1個のプレ リクエストで 1回の開発がでかい
っていうのもあるけど にしても って感じやね コミット数の積み上げ
が100とかになるんですよね やり取り をしてると つらい 本当につらい
山内 つらいよね そのときのプレ リクエストの単位で言うと だいたい
1万2000行ぐらいの増減のあるような 変更で そこに対して指摘がめちゃ
めちゃきて 375件のコメントと それに対応するために 80回ぐらい
コミットを繰り返すみたいな 修正 を繰り返すみたいなことをやって
たんだよね きっと これは
おだしょー うん そう つらかった
山内 なんか これ 普段開発してる エンジニアからしてみれば 正直
こんなレビュー返されるような プレリクを作ってるのかっていう
ふうな疑いも逆に出てくると思 うんですよ こんな指摘箇所がある
ような穴の多いPRだったんかみたいな 多分 みんな聞いてるときに思う
と思うんですけど 僕 やってる中で 感じるのは そうでもないんだよな
みたいな ちゃんとローカルで開発 してるはずなのに 死ぬほど指摘
くるんだよなみたいな
おだしょー だから 人間からこない 指摘がくそくる
みたいな感じだよね
山内 いや まさにそうなんですよ やっぱり これはAIの特性でもあるん
ですけど 絶対にエラーを回避したい っていうのが根底にはあって これ
なんか最近 AIの学習ロジック的には とにかくスコア上げる方向に学習
させられてるから エラーが起きる っていうのは致命的に点数が下がる
ので すべてのケースをカバーしよう とするので どうしても そのいつら
にレビューさせると とにかくもう 十箱の隅をつつくようなレビュー
が返ってくるっていう こんぐらい には膨れ上がるんだよっていう
のは ぜひとも皆さんに共有したい なとは思いつつも
おだしょー AI駆動という点に立った とき
山内 そう そう そう そう じゃあ これを対応するって もう人間
からしてみたら地獄みたいな話 で 山内は実際横で見てて 辛そう
にしてる
山内 うん いや 辛い しかも一応 俺 目通してるからね 一応
24:04
おだしょー うん そうだよね
山内 なんか仕様的にやばいのが あるか たまに
おだしょー うん うん うん しかも あるよね で 修正はもちろん
AIがやってくれるけど プッシュ して もう一回修正してから テスト
回ってレビュー返ってきてまで なんか 生事故10分ぐらい待ったり
することもあるから なんかフィードバック が
山内 うん うん うん まあ 他の作業 するけど 何かね 切り替えがね
マインドの
おだしょー 残ってるしね じゃあ レビュー返ってきたかなって
確認しに行って 返ってきてるから じゃあ また妥当性のチェックを
回してみたいなフローを 何かこう 人間が行き来するみたいなのが
今までだったよね
山内 そう しかも AIにお願いしたら さあ すぐさあ やってくれるのに
さあ 俺が忘れてたりとかしたら それだけ時間ロスなんよね
おだしょー いや 本当にそうだよね なんか 忘れちゃって1時間後に
あ そういえば変身 何かレビュー 来てんだったみたいなさ
山内 うん うん
おだしょー 普通にロスってしまう 時間のロスを生んでしまって 人間
がね どうしてもボトルネックにな ってるなっていうところが やっぱり
あったかなあ これは僕も なんか もう本当に半日を放置しちゃった
とかよくあったんで そこを今回 改善したっていう話かな
山内 うん うん
おだしょー で 何かまあ
山内 その前提でね
おだしょー うん
おだしょー そう そうだね そう いった前提があって 改善を今回
やったんですけど 何かもともと やってた妥当性の検証みたいな
ので言うと スラッシュコマンド 今はスキルに統合されていたり
するんですけど スラッシュコマンド を僕らは使って レビューが来た
後に プロリクエスト上のレビュー 内容 各項目が何が妥当で 何が
妥当じゃないか 対応するべきか 対応するべきじゃないかっていう
のを AIに自己判断してもらって 対応 すべきものに関しては対応して
もらって テスト回してプッシュ するみたいなのを もともと用意
していたんですけど 結構 このワンセット 終わったら 結局 またさっき話して
いたように 見に行ってとか レビュー がまた返ってきてないかっていう
のを 人間がどうしてもチェック しなきゃいけないような状態だったん
ですが 今回改善したのは主に二つ かな まず一つ目が 来ているレビュー
を それこそ 375コメントぐらい 来てたら 対応したものと対応しない
ものがもう分かんなくなるし それを AIにどこまで対応していて
どこまで対応していませんですか っていうのを していないですか
っていうのを APIで叩いたりして チェック してもらうにあまりにも
コンテキスト量が多すぎるっていう 問題が起きてたんですよ 実際 山
27:00
ちゃんも起きてたと思うんだけど それで コメント全部取得するだけ
でコンパクト走るみたいな状況 が発生していたんですけど そこ
をまず改善するために レビュー の収集に関しては もう完全にプログラム
で行うように変えました GitHubの プロリクエストって GHコマンド
っていうCLIを使ったりだとか あとは APIを経由して GHコマンド
で単純にツールとして取得できる のと APIを叩いてデータを取得する
っていう 二つの取得方法があるん ですけど それは割ともう決定論
的に こういう取得の仕方をすれば こういうデータが返ってくるっていう
のは もう一時に固まってるので そこはスクリプト化して 未解決
のレビューだけ 判定できるような 状況を作ったほうがいいかなっていう
ので そういうのを作りました スクリプト自体が 例えばだけど
Goで書いたり あとはTypeScriptで 書いて CLIツールとして配布する
っていうのをまず最初に考えたん ですよ 例えばNPXでレビューチェック
みたいなコマンド ラインツール 作ってやるみたいな方針で 最初
考えてたし それが普通かなって 思ったんだけど GitHubを操作する
AIが操作させるために CLIっていう GHコマンドを使ったりするんですけど
このGHコマンドが面白いことに 拡張できるっていう機能を提供
していて これ GitHubが提供している コマンドラインツールなんですけど
GHスペースエクステンションっていう ふうに打つと 拡張機能としてユーザー
が作ったいろんな拡張ツールを 呼び出すことができるんです じゃあ
ってなったら 既にそんなことやってる 人たちいるだろうなと思って AIとか
から来てる大量のレビューをまとめる みたいな 拡張機能として提供
されてるんだったら世の中にある なと思って 探したんですけど これ
が意外となくて
おだしょー そうなんだ
りなたむ そう なかった 一応 PRのレビューを取得するぐらい
とかだったらあるんですけど 結局 それがレビューもいくつかのパターン
が実はこれあって これもすごい コミって話になっちゃうんですけど
GitHubにできるレビューのコメント って 普通のコメント イシューコメント
っていうコメントと あとはスレッド っていうレビューの中にスレッド
として スラックのスレッドみたいな イメージしてもらえたらいいんです
30:01
けど レビューの項目があって そこに 一件一件連ねるように コート
して連ねるようにレビューを指摘 していくみたいなコメントの仕方
と あとはレビューっていうコメント が3軸あって それを全部総合的に
取ってきて 1個のデータソースとして 取得できるようなものがなかったん
ですよ これができないと なかなか 一元的にこのレビュー項目は対応
してないとかっていうのを 一覧 でマッピングすることって結構
難しいっていうふうに思ったので 自分で拡張機能を作って 今 もう
公開してあるような状態で それを 使うと そのコマンド叩くことで
特定のプレリクエストにどれぐらい コメントが返ってきて すでに解決
済みなものが何件で 未解決なもの が何件でっていうのがもうパッと
取れるようになってるんで AIが 自律的に探索するじゃなくて もう
決定論的に取ってきて それを基に AIは じゃあ何件あるから対処しよう
っていうような そういうフロー になるようにっていうところで
改善しました
おだしょー それって あれなの 今 聞いてる方とかも使えるよう
になってるってこと じゃあ
山本 もう使えるようになってます
おだしょー じゃあ それも言われる 概要欄に入れとけますか
山本 そうですね だから そこで まず大きく大量に来るレビュー
っていうのをどうまとめるかっていう ところを ある程度 改善したっていう
ところが1点と あと 結局 レビュー を 妥当性検証をチェックして
対応して プッシュした後も また 次なるレビューが返ってくる
わけじゃないですか そこで やっぱり 人間が開在してると またレビュー
来てるのをまた待ってたりとか エルマに渡れちゃったとか起き
ちゃうので 今回 プロンプト側 を改善していて プッシュをした
後に スリープコマンド ターミナル でスリープコマンドが叩けるので
300秒とか5分程度待ってもらって だいたい5分ぐらい待ったらレビュー
だいたい揃ってるんで どのレビュア からも揃ってるんで またそこで
取りに行って あるんだったら 再度 検証と修正とプッシュをして
みたいなのを ずっとイテレーション を回すようにっていうような指示
を加えたっていうような
おだしょー なるほど スリープ コマンドを実行して スリープコマンド
を実行してる間は AIは起きてる 状態だから それで保ってるのか
おだしょー そうそう AIはそれで 待機状態になるから
おだしょー なるほどね 確かに
33:03
おだしょー 本当は軽量なモデル とかに エージェントループ的に
ラルフループっても言うかな ひたすら コマンド送信して 今 この
リポジトリにあるプルリクを 監視し続けて レビューの返信
とかが来たら メインのエージェント に報告しろとかっていうところ
を作ろうかなと考えたりしたんですけど シンプルに一旦スリープで待って
もらえばいいかっていうので 意外と それでいけるかなっていう
感じで 変えたりする
おだしょー なるほど なるほど
おだしょー どうです 結構 やれて くれてるかな
おだしょー やってくれてるよ ちょっと まだ今 レビューに対して
コメントが 多分 一部のレビュー に対しては スレッドに返信する
みたいなことができなくて ヒラ でコメント 何のレビューに対して
このコメントをつけてんだろう みたいなのが 一部 発生してる
けど 結構 ちゃんとリゾルブして くれるし あと やっぱループして
くれるのは嬉しいね
おだしょー 良かった そうだよね
おだしょー うん あと 面白かった のは 不採用のやつを 親指を下に
立てるマーク 結構 侵略だなって グッドマークの逆が 逆盤で
おだしょー そうだよね ブーイング のマークで
おだしょー そう 結構 侵略だなって
おだしょー これ ちゃんと理由 があって シンプルにGitHubでできる
リアクション そのいいね 悪いね とかのリアクションが それぐらい
しかなくて
おだしょー そうだね けど あれ しかもレビュー系のエージェント
を作ってる会社からすると ちゃんと フィードバックくれてるから 多分
それ収集してるはずじゃん グッド にしてるのと
おだしょー そうだね
おだしょー だから レビューを 提供してる会社にとっても 嬉しい
だろうなって思いながら見てた
おだしょー かもしれないね 今 確か CodeXとDevinとCodeRabbitが その
機能サポートしてるはずで アクション すると 多分 学習してくれるんだ
ろうなと思うから ついでに学習 してもらおうっていう感じだよね
おだしょー なるほど そうだね 結構 使えてるなって感じ もともと
マストラのワークフローにして もっと精度高く コンテキストも
圧迫しづらいような仕組みにしよう みたいな感じで 俺もちょっと横で
ちょろちょろやってたけど 今の 仕組みがあるならば 一旦 それで
36:00
いいじゃんって思っちゃってる ぐらいには
おだしょー よかった
おだしょー うん イケてるなって感じ ちょっと ガードレール的 AIに
縦横無尽に実装してもらうという 意味においては 結構 レビュー
は大事だから だから うちも結構 いろんなレビューをさせてみたいな
おだしょー そうだね あんな4体もいるのか CodeX CodeRabbit
CodeDevみたいな すごい手厚いな とは思いつつも やっぱ それでも
なお 逆にあれかな それでもなお とは言ったけど あんまり機能的な
バグを起こすことはなくなった なって感覚はありますけどね
おだしょー そうやね 多分 Edgeケース に対する指摘が多いかな レビュー
おだしょー あとは たまに根本的に クリティカルなものは 指摘して
きたりしてるけど けど ほとんど そうだね だし 俺も動作確認 手元
でしたりするけど
おだしょー バグるっていうのは あんまりなくないなって感じで
もちろん 難しい外部接続系とかで それこそレスポンスが想定しきれない
ものがあって エラーになっていた りとか そういう普通に人間がやって
も結構難しいテストとかは リグレッション テストしてるときに これ ちょっと
ミスったのかっていうのがあった りはするんですけど 普通に人間
が実装してて 実装ミスしました みたいな そういう話はもうない
かなって感じ
おだしょー それはないね これ ちゃんと確認したんかなみたいな
エンジニアの人が実装してるやつ を ちゃんと確認したんかなみたいな
思ったりするときあったけど AIには思わないね 特にCodexのサブエージェント
機能出てから ここが抜けてた サブエージェントに基本的にお願い
するようにしたことによって 親エージェント がサブエージェントのちょっとした
実装漏れみたいなのを補填する ようにしてくるようになったから
余計なくなったなって感覚がある かな
おだしょー そうなんだ そうはなり そうだけど 実際そうなんだね
おだしょー 実際そうだね 今 そういう動きをしてくれて だいぶ
助かってる
おだしょー いいね
おだしょー うん そうそうそう そんな感じで いい感じになってます
ね あとは そうだな レビュー が手厚いのは安心材料にはなる
けど テストが手厚いのと レビュー が手厚いのと あと レビューの中
でも このT2Tテスト作ったほうが いいんじゃないみたいなとこが
39:00
くるから それってある程度 自動で 増えていくというか テストも相当
厚くなってるんで 安心感が増す よね
おだしょー そうだね テスト もそうし あと ドキュメントも
ここ付け加えといたらとか 結構 ね
おだしょー うん そうそうそう ドキュメント は うちの場合は 何か
自動で ユーザーマニュアルとか 自動でプリリックのサブを見て
ユーザーに影響があるものは ユーザー マニュアルまで改変するみたいな
感じにしてるから
おだしょー そうだね それ用の アクション図があるぐらいだから
ね 今
おだしょー うん うん みたいな 感じだけど それも一応レビュー
で この言い回しだと分かりづらいん じゃないとか言ってくれたり
とかもするから なかなかこいつら 見てるなって 毎回思う
おだしょー 本当にね
おだしょー そんな感じですかね
おだしょー うん レビュー回りは そんな感じかな
おだしょー うん コードラビット で結構 そうだ コードラビット
の もともとGitHubのシート数分の 課金みたいな感じだったけど プル
リクを投げる人の対象を選んで シート課金になったじゃん ちょっと
俺のうるおぼやったあれやねん けど 多分 もともとGitHubにメンバー
として入ってる人 全員課金やった よね うちとかだと別にプルリク
投げないけど 入ってる人とかいる じゃん
おだしょー そうだね
おだしょー ちょっともったいない なって思ってたんやけど 例えば
俺と阿部ちゃんしかプルリク 基本的にいつも投げないんだったら
俺と阿部ちゃんのシート分だけ 課金して レビュー返してもらえる
ようにするみたいな有料プラン だから 多分 それ 価格待機変わった
と思うよね 前から 恐らく
おだしょー そうなんだ
おだしょー だから CodeRabbit 有料 でやっていいなって思ったんで
以前 1回 CodeRabbitの話題出した 時は あれは無料機関のやつを使って
みてっていう話をしてたんですけど そういう意味では ちょっとプラン
が優しくなったっていう そういう 企業もいるんじゃないかなって
この人が基本 プルリク この人 とこの人とか 開発者が半分ぐらい
なんだよね 前のシートの方 開発者 分のシートだけあって その開発者
に当ててるシート分のプルリク だけはレビュー返してくれるみたいな
感じにしてくれたらいいみたいな そう だから 結構 財布に優しくなった
っていうのは
おだしょー やっぱり 僕も他の 会社とかでやったりすると コミット
しない人とかいるので 導入しやすい ですよね やっぱり活発なメンバー
だけにとりあえずシート渡して
42:00
おだしょー 段階的に導入しやす くなったっていうのは結構でかい
なって
おだしょー それすごくいいね
おだしょー あんな系レビュー返して くれてやったら安いよね
おだしょー 安いと思いますよ 本当に これは
おだしょー 気がする あと ファイル の行に対してコメントくれるじゃん
CodeRabbitって だから 人間がレビュー を見るという意味でも 結構優しく
設計されてんだなっていうのが 思うかもしれない
おだしょー そうだね あと それも あるし あと サジェスト機能 この
コードを変更したらで オッケー ボタンというか 押すと もうコミット
されるから いちいちローカルに また戻して 修正しては不要になる
っていうのも結構いいよね
おだしょー そうだね あれ 最近 かな 最近出た気がする 前から
あったのか分かんないけど 最近 俺が遭遇するようになったかな
って感じ
おだしょー CodeRabbit側でサポート したのかな もしかして その機能
として もともと提供されている もので だから そこに CodeRabbit側
が その形式でレビューを開始して くれるようになったのかなって
おだしょー うん うん うん うん どうなんか分かんないけどね
なんか そんな感じで 結構使いやす くなってるから いいなっていう
ふうに思ってるって感じですね けど 結局 それで もう あとね
ちくちく言ってくるバージョン と やんわりめと そんなに言って
こないバージョンとっていう設定 ができるけど うちはもう一番
厳しいやつしてるから
おだしょー 厳しく
おだしょー うん まあ それのせい で出た課題をどう解決するかみたいな
感じになってるけど
おだしょー そういう感じだね
おだしょー まあ そういう設定も できるのも結構いいよね 結構
設定細かくできるのもいいかな って思ってます
おだしょー 結構ね 設定細かくできる そう
で その辺の話も本当はしたいん だけど 僕が設定したときは もう
とにかくAIにコードラビットの設定 のコンテキスト食べさせて とにかく
厳しくしといてっていうのを突っ込んだ だけだから
おだしょー あんま設定項目知らない っていう AIがこれならいけるっていう
のを踏んだやつを運用してるから 逆に聞いてて でも設定多いしな
分かんないなっていう人がいたら とりあえず AIに設定ファイル生成
させるところからやっちゃえば いいんじゃないかなって思って
さえいるけど
おだしょー それ結構いいよね ペンシル もそうやけど コードラビット
設定ファイルで管理できるっていう のも結構でかいよね
しばやん いいよね そうそう Gitで設定ファイルももちろん管理
できるから AIにもとにかく厳しく いっぱいレビュー来るようにし
45:04
といてみたいな雑なお願いで導入 する
大平 けど 一応あれを阿部ちゃんが 設定した後に どんな設定したんだろう
なって思って見てたけど ちょっと だけ変更したって俺言ってたよね
確か ちょっとだけ変更したわって 言ってたけど
しばやん 言ってた言ってた
大平 ほんのちょっとだけやった から 割とまとえてたんやと思う
しばやん そうなんだな よかった じゃあ
大平 なぜか俺が見るっていう
しばやん そうだね
大平 まあ そんな感じで ちょっと レビューとか 結構 AI駆動開発やってる
中では大事なんで ちょっと今回 議題として取り上げてみました
じゃあ ちょっと本日もありがとうございました 結構長くなりましたね
しばやん 長くなっちゃったね ありがとうございました
大平 ありがとうございます 本日も AI駆動開発部の日常をお聞き
いただきありがとうございました いかが でしたでしょうか 今回の話題は
レビューとその対応についてっていう ところがあったんですけれども
こんな感じで いろいろな話題 について取り扱っていきたい
と思っておりますので もし こんな ことを話してほしいとこあれば
お気軽にコメントなどいただけ ればと思います このポッドキャスト
気に入ってくれた方は いいねや フォロー 高評価 ぜひお願いいたします
それでは また次回もお楽しみください バイバイ
