AIによるコードのデバッグ
ninjinkunです。 最近もAIを使ってコードを書いてるんですけど、
ちょうどリッスンにスパム対策のコードを入れようと思って、 先々週ぐらいに作業をして、これで動きますというね
感じでAIを使ってコードを書いてもらって、 まあ見た感じ動きそうだったんで、まあいいかなと思って
そのままマージしてもらって出したんですけど、 どうもですね
全然動いてないということが分かって、 この週末に結構気合いを入れてデバッグしたところ
動いてねーわということが分かって、 一見ねそれっぽい変更だったんですけど、よく見ると
実際には使われてない箇所を編集していて、 別の根部分を変えないと本当はいけなかったんですけど、
これはね自分が動作確認をちゃんとしなかったというのも悪いし、 もう一つは
AI にどこが動けばゴールかってことを明示せずに進めちゃったんで、
AI がその最終確認をせずにね、これで動きますと言ってきたと。 やっぱこういうね何をもってゴールとするかをきちんと伝えないと
時々ねこういうことが起こるなっていうのを観測してて AI は LLM ですよね
によるエージェント、エージェンティックコーディングって最近、 最近ね VIVE コーディングよりもエージェンティックコーディングの方がどうも
正確に伝わりやすそうなんで、 VIVE コーディングもなんかちょっとハイプというか、
いろんな意味で使われてるんでエージェンティックコーディングって言いますけど、 エージェントを使ったコーディングは新しい画面を作るとか、全く新しいものをどんどん書かせるには
結構そのまま採用してもうまくいくんですけど、 既存のコードをねこういうふうに編集するときはかなり慎重にいろんなことをしてしないと
ときどきあさっての方向に行ってしまって、今回みたいに最悪の場合は全然動かない コードを出してくるということもあるんで
結構注意しないとなというので、このコードは AI が30分で書いたんですけど、それを自分が4時間ぐらいかけてデバッグして
最終的にはほとんど自分で書き直しましたね。 一部はまた AI に手伝ってもらったんですけど、
というなんでしょうね、ある種の AI に使われるプログラマーと言いますか、をやってしまったなというので
やっぱね、ただその仕事のほとんどの部分っていうのは
仕事にもよるんですけど、プロトタイプを作る仕事とかでなければ大部分は既存のコードを編集することで成り立っているので
この既存のコードの編集っていうのをね、もっと AI に任せていけるようにならないと AI でコードを書けますよっていうふうにはならないよなぁと思って
やっぱりこれにはね、AI って LLM はコンテキストという概念があって
新しく何か作る場合は AI の中にある知識だけでどんどん書いてもらえばいいんですけど、既存のものに変更を加えるには
今どういうコードがあって、このプロジェクトはどういう構成になって、という前提知識を与えないといけないんで
それをどういうふうに与えるかは、その使っているコーディングエージェントの設計とか、あとはその設計がすごくうまくいっていれば
自動的にいろんなコンテキストを見取ってくれるようになっているんですけど、もしそれがまずかった場合とか、あとはまたモデル自体のね
性能とか最適化の都合もあると思いますけど、そういう場合は人間がそのコンテキストをね、いかに与えるかということを考えていないし
今回みたいにね、ゴール、ここが動いたら明示的にゴールですよということを、しかも AI がね、読み取れるような形で与えないといけないから
最終的にね、その今のところ、自分が使っている GitHub コーパイロット
エージェントモードかな、VS Code 中で動くコーパイロット拡張のエージェントモードでは、まだターミナルとかの結果しか読み取れなくて
MHCP サーバーとかを繋げればブラウザの結果も読み取れるんですけど、そのあたりはね、うまく設定してなかったんで
ちゃんと動いて、AI 自体がこれがうまくいきましたというふうにね、言えるように
そこをね、ブラウザで確認して良しとするか、もしくはテストで何かそういうちゃんと担保できるようなものを作って
このテストが起きてば良しとするっていうふうにね、多分設定しないといけなかったんだなっていうので
なかなか、特に既存コードへの適用は自分まだ勉強中という感じですね
映画館でのIT勉強会
まあでもこれをユーザーが意識しないでも、自動的にどんどん動いてくるようになれば、いよいよ本当にもっと仕事を眠らせるようになるんで
そこは期待したいですけど
オルシもね、オープンAIからは CodeX っていうのが出てきて、ちょうど今日GitHub からは
これね、GitHub のエージェントってなんかめちゃめちゃいっぱい色んな名前があって欲しいんですけど
GitHub コーディングエージェントかっていうのが来て、どちらもエディターに組み込むタイプじゃなくて
自律的というか、別のサーバーの環境で動くエージェントになってて
なのでちょっと流行っているDevin みたいな感じかな、多分でインターフェースがDevin みたいにスラックのチャットじゃなくて
GitHub だったらGitHub の上で動くし
CodeX これはあれですかね、これも多分ChatGPT のインターフェースになるのかな
ちょっと分かってないんですけど、 CodeX は CodeX 用のインターフェースがあった気がしますね
ちょっとねどちらも結構上位課金プランじゃないとまだ試せないのでまだできてないんですけど
こういうものも試してみたいなと思いつつ
なんだっけ CodeX の方はコーディングに最適化したモデルを
多分ファインチューンかなんかのかな、用意しましたって言ってるんで
多分もうちょっと質が違う体験ができる可能性もあるからこれは試してみたいですね
という感じで未だにAI に振り回されておりますという感じですね
最近はついでにそのTechの話をもうちょっと続けますけど
勉強会にいくつか参加して IT 系の勉強会もね
コロナか、コロナ終わったかわかんないですけどいくつか再開してて
その中でね シネマで LT 会
あなたはなれ時代上映というイベントに先週水曜日に行ってきて
これは普通の勉強会っていうのは大体会社のオフィスを借りてやるか
もっと大きなものになると
会場を借りて普通の会議室みたいなのを借りてやるとかね
いろいろなタイプがあるんですけど
これはですねなんと映画館を借りてやるっていう
ちょっと今まで見たことがなかったタイプで
イオングループでITエンジニアとして働いている人が
イオンシネマに声をかけて実現したらしいんですけど
イオンシネマは普通に誰でも借りれるっぽくて
普通にその人も応募フォームから応募したらしいんですけど
普通に映画館のスクリーンにスライドを写して発表するというね
私は映画館大好きですんでこれはちょっと行ってみようと思って
あとたまたま主催の人の一人が知り合いだったんで
どんなもんかなと思って行ってなかなか面白かったですね
スポンサーの人たちがついたおかげで
まず入り口に着いたらドリンクとポップコーンの無料券がもらえて
これで飲み食いしながら見れますよという感じで
おぉ映画っぽいという体験だし
ちゃんと入場アナウンスとかもねやってくれたし
席にはフリーになってて座って普通に待ってると
映画の予告編をね流してくれてて
でそれが終わったらイベントが始まったら
まぁそこは普通のIT系の勉強会っぽい感じで
人が入れ替わり立ち替わりパソコンをね繋いで
パソコンは全部共通だったかな
PDFとかPowerPoを使ってプレゼンをしてっていうね感じで
でもねやっぱスクリーンが映画館なだけで
結構違った体験になってて面白かったですね
トピックは自由だったんで
今ご時世からAIの話は多かったですけど
自分の専門に近いようなCSSの話とか
あとは元キャリア論とかね
そういうちょっとエモメの話みたいな話もあったりして
そこは普通のLTという感じだったんですけど
やっぱ映画館なだけでちょっと品質良くあがって面白かったですね
で最後にこの映画館をどう借りたかっていうプレゼンが入ってて
なんかねその日本シネマ超風だったんですけど
えっとね80人席の映画館を2時間借りて6万円ぐらいな
6万円台かなって感じで
意外となんか借りれそうな値段っていう感じで
倉庫もちろん日によるらしいんですけどとか
あと新作がねバンバン多分かかってる状況だと
多分難しかったりするんでしょうけど
倉庫や映画館って結構借りれるんだっていうのが分かって
それも面白かったですね
リアクト東京ミートアップ
で次がね金曜日に行ってきたのがリアクト東京ミートアップで
これはリアクトっていう私も仕事で使っている
ウェブでUIとかを作るためのフレームワークのミートアップで
私これ2回目なんですけど
えっとねリアクトは人気があるけど
その分その割には多分こういうミートアップが少なかったんで
特にコロナで1回いろんなミートアップがね
続かなくなっちゃったんで
これは新しく始まったやつとして
結構ね発表も良かったんですけど
その後ねワークショップというか
テーブルで集まった人同士で最近のリアクトの注目する機能とか
リアクトの好きな機能とかについて話す
このお題はね毎回変わるんですけど
これがあるんで
結構ね話す時間を多く取ってくれてるのが自分は好きで
なんで自分はねこういうミートアップに行くのは
どっちかっていうとですね
技術の裸みたいなのを知りたいと思っていくことが多くて
いろんな注目技術がどんどん出てくるわけですけど
実際みんなどれぐらいの温度感で触ってんのかなっていう
どんどん新しいものを触って
インフルエンサーというか
情報発信をしていくのが得意だっていう人はいっぱいいるんですけど
そういう人たちの温度感と
もうちょっとね現場で働いてるエンジニアはそこから遅れて
そろそろ仕事でも使ってみるかみたいな感じで取り入れていくんで
だから意外とこれバンバン花々しく言われてるわけでは
みんなまだ使ってないんだとか
これは用済みなんだとか
でもこれはもう使われてるんだみたいなね
そういう裸感は結構自分は大事にしてるんで
特に新しい技術を導入するときとか
勉強するときに
そろそろこれやっとかないとなみたいなのは
やっぱこういうミートアップとかの裸感をベースにして
結構考えてるところはありますね
なんでそういうのが知れたのもよかったし
そういうね懇親会重視なのは結構好きですね
マストラとAIエージェントの理解
あのそのシネマでLT会の場合はね
懇親会がまあ多分ね映画館で懇親会できないからと思うんですよ
なかったんですがちょっと寂しかったですけど
これはあのちゃんと懇親会で話せてよかったです
でえっとちょうど昨日もね
また別のミートアップに行ってきて
ちょっとねイベント付いてて
さすがにちょっといろいろ行き過ぎて疲れてるんですけど
本当にねでも昨日の日もよかった
えっとね昨日はマストラ創業者がリアルを語る
エージェント開発の今と未来
これはがっつりAIって感じなんですけど
えっとこれはねAIエージェント
まあ私が使ってるようなコーディングエージェントもそうだし
まあ普通にチャットGPTみたいなチャットベース
チャットをね使うツールというか
あれもまあエージェントに含まれると思うんですけど
私もっといろんなイースケースのエージェントが開発されてるらしいですが
えっとまあそういうねエージェントを作るためのフレームワークの
マストラっていうのがねどうもあるらしくて
私はここで初めて知ったんですけど
まあそれをねそのフレームワークを開発してる人たちが
アメリカからね日本の市場どんなもんかって見に来てるから
ミートアップしましょうというので
企画されたミートアップでしたね
これはね良かった
特にねその自分もエージェントみたいなの使ってるけど
どういう中身があってるかも分かってなかったんで
特になんか記憶みたいな概念があって
LLM自体は単純に投げ捨てたテキストに対して
何かテキストを返してくれるだけなんで
記憶みたいのを持ってないんですよね
ですけど人間とね応対するには
その記憶を共有する必要があるわけですよね
今まで投げ捨てたことを覚えておいてくれないと困るじゃないですか
なんで一番簡単なのは毎回ね
今までやった文言を全部投げ捨てることなんですけど
こういうことをやってると
どんどんLLMのコンテキストウィンドウを消費して
これには限りがあるし
あとそれに対してね課金も発生するから
できるだけコンテキストウィンドウを 節約しないといけないっていう事情があるから
ある種の記憶をどうLLMと共有するかっていうところが
一つ気になってるっぽいんですけど
このマストラはねその辺りを自分たちで
勝手にハンドリングしてくれるらしくて
だから本当は多分ベクトル化した今までの内容を
多分グラフデータベースとかに入れるのかな
あんまり分かってないんですけど
そういうのをね自分たちで管理しないといけないんですけど
そこをね最初からビルドインで提供してくれるっぽくて
これは確かに楽そうと思ったし
短期記憶とか長期記憶とか
ちょっと人間のその認知心理学っぽい
そういうメタファーでどういうふうにして
その記憶に相当するものやり取りしてるかみたいな話をしてくれてて
あとはこれはワーキングメモリーですとか
これは時系列的な記憶ですとかね
そういうふうにして結構そういう人間のアナロジーで考えてるんだってのもね
分かって面白かったから
ちょっとこれは触ってみたいなと思ったんで
私やっぱね自流に乗ってるスタートアップっぽくて
すごい勢いがある感じで
彼らのスタートアップストーリーもね
プレゼンに入ってて
そのワイコンビネーターに行って
そのワイコンビネーターっていうのは
ベンチャーインキュベーションの一番有名なやつですけど
そこですごい揉まれてみたいな話をしてて
いやーやっぱ西海岸のスタートアップだなみたいな
雰囲気を感じれたのも良かったし
その後でね
懇親会で結構創業者の人とも話せたし
あとそのマストラテフレームワークをね
実際に使ってる人たちが結構来てて
で会場で会った自分の友人も何人か
もう既に使ってますみたいな感じで
いいっすよって言ってたんで
なんか自分も使ってみるテンション上がったし
あのミートアップはね
行くと特に平日行われるんで
まあ仕事した後に行って疲れた状態で行くし
家族との時間も削られちゃうしで
なかなか行くのはね腰が重いんですけど
こういうふうにちょっと興味があるものに行ってみると
やっぱ得るものはあるなと思ったんで
これは行ってよかったですね
なんでちょっと自分もまた時間見つけて
使ってみようと思います
はいという感じでちょっと今日はテクナ会
またAIに振り回されてますっていう話と
ミートアップにね
3つ参加してみましたっていう話でした
ありがとうございました
