AIコーディングの革新
やっぱりHTMLを見て、これすげえなと思った。結果的にすごいウェブっていうのが誕生したのと同じで、同じぐらいの気分で、今このAIコーディングから出てくる新しいワクワク感っていうのは、これは僕は残ると思うし、もう本当に僕の環境と日常的な生活も変わってきているので。
Joi Ito's Podcast。今週は皆さんお待ちかねの月イチ企画。Joiさんが時事ネタや最新テックについて掘り下げるオノローグ回です。
さて、今日はどんなトピックスについて話してくれるんでしょうか。
Joi Ito's Podcast。
こんにちは。伊藤 穂一です。
今日は千葉工業大学の作動部の定例茶会を初めて家で作った新しい製糖手っていうお茶室でやったので、それにお招きいただいて着物の格好してきてます。
後でインスタのリンクをブログに貼っておきますけれども、おめでとうございます。
それで、今月の話なんですけども、引き続き毎月アジェンティックワイブコーディングの話をしていると思うんですけども、
ちょっと振り返ると、8月はガンガンクラウドコードとかカーソル使っていろいろソフト書いてて、最初はすごく楽しかったんだけども、
途中で複雑になると意外にスケーラブルじゃないなと、バグがどんどん増えていって、
その後、マイクロソフトのアンプリファイアを使って、またすごくハッピーな世の中になったんですけども、
さらにアンプリファイアもちょっとずつ良くなって、次のバージョンが出てくるのがクラウドコードって一つのプラットフォームではなくて、
全部のモデル使えるやつがもうすぐ来るみたいなので、
あとはプログラムをパーツに分けて、もっとモジュラーにすることによって、どんどん性能が上がっていくような感じなので、
かなり明るくなってきていて、僕ももう十いくつのプロジェクトをずっとパラで動かしていて、
やっぱりやればやるほど使い勝手も良くなるし、自分の中でも使い勝手を色々考えていて、
一つは最近お茶会にいっぱい呼ばれて、それのオレージョを書かなきゃいけなくて、
オレージョの作成プロセス
そのオレージョっていろんなルールがあって、季節のルールだとか中身のルール、
それでそれを書くためにAIを使ってるんだけども、色んなナレージがあって、
本とかあって、なかなかネットに載ってないので、色んな情報を集めてきて、
そしてオレージョの叩き台を作るAIのプログラムを書こうとしていて、
気が付いたら自分のノートとかメモとか色んなものが入ってるObsidianっていうソフトを使ったマークダウンフォーマットのウィキみたいなシステムがあって、
これもだいぶ前からちょっとずつAI使って頭良くしてたんだけども、
一つ気が付いたのが、この間あるProbCompっていうプログラミングのリサーチを色々解析するために、
クラウドの中で学術論文を探すMCPっていうインターフェースがあるので、
Webだけじゃなくて学術論文全部見れるツールを作ったので、
そのツールで日本語の学術論文とか本をちゃんとサーチして、
そこの中から色んな茶の湯の情報を集めて、その知識を元にオレージョを書くっていうシステムを色々いじっていって、
最近やってるのが、自分が書いたやつでも色んなファクト入ってるのを、
ちょっと怪しそうなファクトを学術論文で調べて、それと異なった事実が出てくると、
そのページにちゃんとWikipediaみたいに引用して直すっていう。
僕、ナレージキュレーターっていうエージェントを作って、
それもWikipediaのエディターみたいな活動をして、
学術論文を見ながらどんどん僕の情報を直していくっていうのを一晩中動かして、
どんどん自分の情報に引用が増えていくようなプロセスをやって、
そういう意味で今まで想像しなかったような使い方がどんどん出てきていて、
リサーチの未来
自分の情報を本とかインターネットとか論文とかから引っ張ってきて、
ちょっとずつ、これ例えば引用先、この辺、引用を見つけてきて、
僕が持ってない情報がないかの確認をして、
どんどん追加していくのをやってくれてて、
例えばこういう、全部僕、やっぱり日本語と英語両方やりたいので、
全部の文章、メインが英語で重要な言葉を全部日本語にして、
そして手紙を書くときに、この関係ある情報を全部プロンプトの中で読み込んで、
そして手紙を書いてくれるようになっていて、
あとはこういろんな、例えばチャジの焼却がやらなきゃいけないこととか、
こういうのも全部ガイドを作ってくれていて、
これもいろんな人が書いてくれたものとか、
いろんな本からの情報をまとめて、どんどんどんどん僕に役に立ちそうな、
同じベースを作っているので、これ自分で見るっていうやり方もあるし、
今みたいにAIの手紙を書くエージェントがこれを読み取って、
そこで準備をするっていうようなことができて、
例えばこういうコンセプトが入っているので、
こないだ岡田さんっていう人の文章にこの無作為っていう言葉が出てきたので、
この無作為っていう言葉は面白いよねって思ったので、
それの意味とか使い方とかも入っていると、
手紙の中で使った時にちゃんと理解とか文脈もあって、
この辺の細かい知識って意外に今の大規模言語モデル持ってないし、
インターネットにバラバラになってるんだけども、
こうやってまとめてファイルにしとくと、
コンテキストウィンドウの中に全部ブートできるので、
ちゃんと使えるっていうことと、
あとたまに間違っているものがあるのをちょっとずつAIとか自分で直していって、
そしてどんどん僕の茶の湯に関係する情報がこうやってデータベース化されて、
これをまたポンって人に渡すこともできるので、
今例えば気になる茶人とかも全部こうやってデータを作っていって、
僕の学び方に合ったフォーマットにしてます。
例えばこのBook Extraction Workflowっていって、
物理的な本をスキャナーでスキャンして、
そしてGeminiに、Geminiだと結構でかい文章を読み取れるので、
それを読み取ってGeminiがマークダウンファイルを作って、
今度そのマークダウンファイルを僕の今のデータに合わせて確認して、
そして僕も知らないものがあったらそこに追加していって、
その本の印をちゃんと入れるっていうような形で、
どんどん本をスキャニングして僕の知識をアップデートしていってるのね。
面白いでしょ。これだから本当にリサーチの未来だよね。
なんかリサーチアシスタントがいるみたいな感じで、
本のスキャニングで学習っていうのは日本は違法じゃないので、
自分が持ってるお茶の本を日本語をガンガンスキャンしちゃって、
そして日本語の本をちゃんと僕が読める英語の文章にしていくっていうこともできるし、
本のサマリーもやってくれるし、その本に入ってて僕が持ってない情報を
どんどん僕のデータベースに増やしていって、
全部一箇所にまとめていってる。
これでお茶で磨いたシステムを何人でも使えるわけなので、
これはまたみんなリサーチャーでシェアすることもできて、
例えば日本人の場合は逆に全部日本語にして、
英語はこうやって僕のみたいに重要なものだけ英語にするっていうパターンもできるし、
それはもうその人に合わせて、
マークダウンファイルって結構軽いので、
それをもう変換するシステムさえ作っちゃえばいいと思うんですよね。
だからソフトウェアを書いたりツールを書いたり、
コマンドも説明のマークダウンファイルなんで、
今インストラクション読みに行って、
いつも使うプロンプトはこうやってコマンドにしちゃうんだよね。
そうすると新しいアイディアとかなんかを、
僕の茶の湯データベースに追加するためのインプットの方法とかね。
これも本当にどんどんどんどん自分の集める方法と、
集めた情報を使うのも全部プログラムにしていくっていう感じ。
ちょっと振り返って思ったのは、
実はこの間ある僕の同僚に聞かれたのが、
これみんながやることなのか、
上位だけハマってるのかっていうこと言われて、
で、この使い方なのかなと。
どういう意味かっていうと、僕も最初、
ホームページ作り、自分たちでHTML打ち込むと、
ホームページができるっていうの結構楽しくて、
ホームページ作りの本とか、
ホームページ作りのセミナーとか、
社長に自分でHTML書くのをやるっていうのとかやってて、
その時代はもう誰でもHTML書いてみんなホームページ作るんじゃないかなっていう風に思ってて、
で、結果的に一部の物好きは全部HTMLで自分で打って、
ホームページ作ったんだけども、
最終的にはまあまあ広がったけどそんなに広がらなくて、
で、途中からやっぱりソーシャルメディアとかブログでHTML書かない。
で、そのブログがFacebookに進化し、
Twitterになって、
で、もう今なんかみんな携帯で投稿してるのと同じで、
AIと会話しながらガンガンソフトウェア書いていくのって、
こういうインターフェースになるのか、
もっと全然コンシューマー向けのプロダクトに進化するのか。
AIエージェントの時代の到来
で、最初やっぱりWebを作ってた時期の会社は最終的に勝ち組にならないんだよね。
ネットスケープもなくなっちゃったし、
あと携帯のこうメッセージなんかでもやっぱりBlackBerryとかNokiaっていうのはいなくて、
今iPhoneになってるのと同じで、
多分この今やってるこう思ったことをどんどんどんどん形にしてプログラムにするっていう活動はきっと残ると思うんだけども、
やり方とかどういう会社がそのバリをキャプチャーできるかっていうのはまだわからなくて、
で、それがMicrosoftなのかOpenAIなのか、
全く今存在してない新しい会社になるかっていうのが一つの思うことなんだけども、
ただ、やっぱりHTMLを見てこれすげえなと思った。
で、結果的にすごいWebっていうのが誕生したのと同じで、
同じぐらいの気分で今このAIコーディングから出てくる新しいワクワク感っていうのは、
これは僕は残ると思うし、
もう本当に僕の環境と日常的な生活も変わってきてるので、
そういう意味ではそれは変わるんだろうなというふうに思ってます。
っていうわけで、今いろんな会社の社長とか大企業の幹部にAIコーディングのワークショップやってるんだけども、
なんかこの間ちょっとホームページ作りを社長たちに見せてた時代を思い出してしまいました。
というわけで、これも1ヶ月前からいろんな新しいコーディングも出てきてるし、
クラウドもオーパスも新しいの多分4.5ってこの間以降に出てるよね。
それとオープンAIの5.1とかっていうわけでどんどん進化していっていて、
そして今でもやっぱり引き続きオープンAIって危険なんじゃないかなとか、
大丈夫かなっていうハテナマークも出たり、
あともう一つニュースとしてアントロピッククラウドの作ってる会社がなんか上場するっていうふうに言っていたり、
引き続きガンガンみんな動いてますねと。
そういうガンガンみんなで楽しいエージェンティックAIの時代だよねって言ってる中で、
先週ニッケーBPがやってるサイバーセキュリティのイベント、毎年村井淳先生に呼ばれるんですけども、
今年はもちろんAIの話が多くて、その講演の準備でいろいろ僕も調べたんだけども、
やっぱりかなりAIエージェントが普及していく中で、それのリスクがいろいろ出てきていて、
AIのサイバーセキュリティ、特にエージェントのサイバーセキュリティって今までと随分違うのは、
昔のサイバーセキュリティってルール作ったり、プログラムを作って変なことが起きないとかチェックすることが多かったんですけども、
AIエージェントっていうのはこのユーザーの代理でいろいろ動くっていうのと、
どうやってハックするかっていうと、例えば本当はこういうことやっちゃいけないっていうルールがAIに決まってるのに、
ジェールブレイクって言って、例えばあなたは今ゲームの中の役者なんで、役者だったらどういうのかなとか、
そういうちょっと言い回しを変えて、本当はエージェントがやっちゃいけないことをやっちゃうっていうケースが多くて、
間接的プロンプトエンジニアリングって言うんですけども、間接的は何かっていうと直接エージェントと話してないんだけれども、
例えばカレンダーを解析してサマリーを作るエージェントがいるとすると、誰かにカレンダーインバイトを送って、
インバイトの詳細の中にエージェント向けの変な言葉が入って、それをエージェントが見て、
自分の個人情報をメールで送ってしまうとか、そういうことをするエージェントのハックも出てきてるし、
あとは例えばホームページに白字に白バックグラウンドでいろんなことを書いて、
人間は見えないんだけれども、AIのエージェントはそれでコマンドで読んじゃうとか、
だから直接コマンドしてないんだけれども、昔だとデータベースのSQLのデータの中にSQLのコマンド入れちゃって、
データベースのハッキングができたのと同じで、本当はコマンドとして受け取ってない、解析してほしい文書にも、
何か言い方が変わった形で入っていると、それをやっちゃうエージェントもいて、
これはだからどっちかっていうと、コンピューターセキュリティよりも、
オレオレ詐欺だとかフィッシングみたいな、人間のセキュリティに実は似ていて、
やっとエージェントが動き出したってみんな言ってたら、やっぱり悪意持ったアタックがあると危険だよねっていうので、
少しやっぱり自動的に勝手に動くよりも、決済のときとかメール送るときには人間がチェックしなきゃいけないっていうのが、
短期的な一つのブロックの仕方なんだけども、
新たな技術の可能性
多分だんだん応用に近づいてくると、ますますこういうAIエージェント時代のサイバーセキュリティで大事だよねっていう話もできてきているので、
このセキュリティと利便性の掛け合いが特にまた導入に向けていろいろ出てきているという話があって、
いくつか事件があるのでリンクに入れておきます。
今月休みに近づいたのかもわからないですけども、意外にニュースが少ないので、
ちょっとお便りの方に行きたいと思います。
うさぎさんからです。
現在、LLMはデータ量と計算資源を拡大するスケーリングによって性能向上を続けてきましたが、
このアプローチには徐々に限界が見え始めているのではないかと感じています。
次の世代のLLMが本質的に賢くなるためには、
単なる統計的パターン学習だけでなく、
シンボリックな概念や言葉の意味構造をより深く扱える学習手法が必要になるのでしょうか。
ジョイさんは今後のLLMのスケーリングをどのように見ていらっしゃいますか。
はい、うさぎさんありがとうございます。
私もずっとやってきている、もっと構造化されてシンボリックな
ベイジアンなプログラミングというちょっとテクニカルな言葉なんですけど、
もうちょっと脳みたいにモジュラーで、しかも構造化された情報の機体学習AIというのは
90年代かなり流行っていて、結構難しいので
みんなLLMとかニューラルネットワークの方に行っちゃったんですけども、
だんだんやっぱりLLMの限度が見えてきて、やっぱり巨大なリソースが取るので、
このシンボリックなシステムというのはまたちょっと伸びてきているので、
これはLLMをコントロールすることもそうだし、
もっと中身が透明性とかセキュリティの問題もそうだし、
もっとエフィシェントに動くのには構造化されたもので、
ただのこうスタティスティカのパターン認識じゃないAIというのは伸びてきているし、
それをやっているプロジェクト、特にMITのプラブースティックコンピューティングプロジェクトなんかはすごくあるので、
これはもう1,2年でかなり世の中に出てくると思うので、
僕もすごくそれを気にしてますし、
特にこのエージェントの世界になってくると、そういう構造になってくると思いますので、
ラングレッジモデルも、バンデーションモデルは今どっちかというと効率よくするのと、
外のいろんなそういう構造化されたシステムとどうやって接続していくかというところが結構キーになってきていると思うので、
ちょうどそういう変革の時期だと思うので、
その時にこの巨大LLM会社がずっと主導権を握り続けるのか、
ちょっと違うところにエネルギーが行くのかがちょっとわからないですけれども、
ただ最近僕も皆さんとシェアしているアンプリファイアなんかは、
次のバージョンはLLMはどれでも入り替えられるので、
違うレイヤーのところが実は面白いんじゃないかなというのと、
あともう1つ彼らと話してたら、
良いエージェントっていうのは細かいルールではなくて、
フィロソフィー、例えばあなたは全アーキテクトで無駄なことしません、
で、なんかやる前にちゃんと考えるとかっていう、
哲学的なところが実は大事なんじゃないかなっていうことも言っていて、
ちょっとまだいろいろ下のレイヤーの分散型のシステムのところもそうなんだけども、
ちょっと抽象的なレベルでのこのLLMとの付き合い方とかモデルの使い方っていうのもすごく面白いので、
そこが特に僕興味持ってます。
アーキテクチャの重要性
はい、手藤さんです。
LLMでコーリングを行っていると、
プログラミング言語の文法を意識する必要性は低くなってきています。
しかし、全体感を持たないユーザーが使用していると、
大規模なプログラムでは矛盾しているコードを生成することがあると思います。
ジョイさんはアーキテクチャが解説だとおっしゃられていました。
アーキテクチャを学ぶのにおすすめの本やサイトをジョイさんに聞いてみたいです。
本、そうですね。
どうなんだろうね。
僕、あんまり本でアーキテクチャの勉強したことないんで、
多分本あると思います。
だけど、僕がどれがいいかっていうのはわからないんですけども、
だから僕、本から学ばないけれども、
アンプリファイアとかをソフトウェアのリポジトリ、
AIエージェントの進化
GitHubのリポジトリに向けて説明してもらって、
いろんなアーキテクチャの勉強を、
いろいろソフトウェアを見るので学習するのは一つだし、
もともとアンプリファイアの最初のユースケースって何だったかっていうと、
いろんなプログラマーのやり方とか哲学とか、
アーキテクチャのところを解析するために作られたツールなので、
自分でアンプリファイアとかと話し合いながら教えてもらうっていうのと、
あともう一つは自分のソフトに批判的に見てもらってアドバイスしてもらうっていうのと、
あとはこの辺はメンターの人間と一緒にチーム組んでプログラム書くっていうのが一番早いと思うんですよ。
ペアプログラミングみたいな感じで人間とやるといいと思うんですけども、
やっぱりこのアーキテクチャをどうやって理解してどうやって表現するかっていうのが、
今までだったらかなりコード分かってる人たち向けにいろんなものが書いてあったんですけども、
やっぱりその細かいシンタックスわからないでアーキテクチャきちっとわかるっていうところは、
やっぱりこれからすごく重要なので、それは多分新しい学び方が、
マイクロソフトのチームと話してるんですけども、
その学び方をとか説明の仕方どうするのかっていうのが結構重要で、
多分このAIプログラミングのツールを使ってどうやって学ぶ、
そういう学び方をどうやって教えるっていうのが我々結構今研究課題としてますので、
すごくいい質問でした。
はい、それで雄平さん。
ニューロダイバーシティ協会の竹島です。
先日はイベントにお越しいただきありがとうございました。
ノートを書いていて、ASD特性の方ってもしかして、
AI開発のRed Teamに向いているんじゃないかと個人的に感じました。
ジョイさんはこの点についてどう思いますか。
またRed Team関連の職業訓練を作れるのであれば、
個人的にやろうと考えていますが、
今後この分野の労働市場の広がりについて、
AI安全性とビジネスの将来
お考えをお聞かせください。
アソシエーションの竹島さん。
この間オチアイ君とイベントに参加させていただいてとても楽しかったです。
ASDの人はAI Red Teamingにはいいんじゃないかなと。
もちろん自閉症の一部の人たちの特徴としては、
みんながどう思っているかではなくて、
自分の中での事実とか文脈が綺麗に見えるというのが一つの特徴なので、
普通の人が見えない穴とかを探すのは結構得意だと思うんですよね。
だからそのRed Teamingに合った自閉症系の人たちが、
僕はきっといると思うんですよね。
そのトレーニングプログラムは、
このRed Teamingのいろんなコンペとかあるんですよね。
オープンAIとかで。
そういうのにチーム作ってまずやってみるっていうのは一つのパターンで、
この間のオープンAIで日本人チームで1チームだけ成功したチームがあったんですけど、
彼らも結構面白くて、
そういう人たちと一緒に話し合うっていうのがあって、
意外にこのRed Teamingっていうのは、
大きいファンデーションモデル屋さんの中にいる内在化されたチームっていうのが、
まあまあお給料高いので、
みんな優秀なRed Teamerって今までそっちに行こうとしちゃうんだけども、
やっぱり外のRed Team、みんなが見れるRed Teamっていうのも本当は必要で、
AI Safety Institute、イギリスとかそういうところも、
独立したRed Teamを作ったらいいんじゃないかなっていう話をしていて、
僕もすごく日本も必要だと思うんですよね。
だからこのRed Teamingのマーケットを作って、
それ例えば国とかファブリックでもすごく応援するっていうのはすごく重要だと思うので、
ただなかなか経済的にそれってビジネスがすごく儲かってなかったので、
あんまり大きい会社とか有名なケースってなくはないけどそんなにないので、
だからAIもそうですけども、
やっぱりコンピューターセキュリティのペネトレーションテスト会社もすごく重要だけども、
意外にそんなにたくさんないのに似てるんじゃないかなと思うんですよね。
だからこれぜひ興味あったらやっていただきたいですし、
私もちょっと興味もあるので勉強させていただいてます。
ありがとうございます。
今週はAIの話ばっかりだったので、お茶もちょっとあったんですけども、
JOYソロはこれで今年終わりなので、
良いお年をっていう感じなんですけども、
以前収録したポッドキャストがまだいくつか出ますので、よろしくお願いします。
JOY Toast Podcast、また来週から新たなゲストをお迎えしたトークセッションを行います。
お楽しみに。
番組ではNFTを無料でプレゼントしています。
ご希望の方は特設サイトにて次の問題の答えを入力してください。
サイトのリンクは番組詳細欄に記載しています。
変革コミュニティのメンバーは答えをお見せサイトで入力してください。
正解された方には100変革をプレゼントします。
最初に飛び込むファーストペンギンスピリットを創業以来大事にし続けています。
これからくるWeb3、オープンソース時代を見据えた
テクノロジーで新たなビジネスを生み出す仲間を募集しています。
番組詳細欄にあるリンクより是非ご覧ください。
ご視聴ありがとうございました。
