エージェント分析の新たな試み
事業責任者のりょっちです。 データサイエンティストのたっちゃんです。
毎回言ってるけど馴染まんね、この自己紹介は。 はい、ということで。
なんかGitHub界がめちゃめちゃ反応が良くて、ありがたいことに。 そうでしたね。伸びてましたね。
なんか久しぶりにさ、この撮ったやつを聞き直したんだけどさ。 うん。
なんか会話が下手くそになってた気がしたわ。 え、どういうこと?
なんか喋るのが下手になってた気がした、俺が。 あ、本当ですか?でも喋りメインだったの自分だったんで、自分も結構下手なんじゃないかなと最近思ってますよ。
だから息休してて人と喋ってなさすぎて、急にここで30分喋り続けるが、なんかもう慣れてなさすぎて口回ってないなみたいな。
これリハビリみたいになってんだ。 めっちゃリハビリですね。 じゃあ続けた方がいいね。 間違いない。
じゃあ今日は、そんな息休中のたっちゃんには、
そんな見ねーけどなって言いそうな話を、一つ。
エージェントの分析がちょっと最近流行ってるっぽいっていう話をちょっとしようかなと思って。
隣のデータ分析屋さん。 この番組は隣の席に知らないことを気軽に聞けるデータ分析屋さんがいたらいいなぁ
を叶えるポッドキャストチャンネルです。 なんか
結構面白そうな機能が出てて、GoogleのADKってなんか前も この番組で何度か紹介したと思うんだけど。
そうですね。エージェンツデベロップメントキットですよね。 あれエージェンツなの?エージェント?エージェンツ?
Sあった気がするなぁ。 さすがに確かに。 もう複数系じゃない?マルチエージェントって言われるぐらいだし。
ああまあ確かに。
で、そのエージェントの分析ができるようにする用のプラグインができたよっていう話。
ほうほう。分析っていうのは、いわゆるデータの分析ってこと? いや、エージェントの分析?エージェントの分析?
ビッグクエリエージェントアナリティクスの機能
そう、あの どっから話すのがいいのかなんだけど、まぁ今回出てたのがビッククエリエージェントアナリティクス
っていうやつで、そのデータ分析用のエージェントじゃなくて、エージェント分析用の
エージェント? まだイメージが沸かないね。これはそのエージェントってそもそもどうやって作るかみたいな
ADKは何かありました?最近触ってるんでしょう? そうですね、ADKはあのちょうど
勉強する教材が出ていて、それを使ってやってたんですけど、Googleが公式で出しているエージェントの
5日間集中講座みたいなのがあって、それを上からポチポチやりながら勉強していたところだったんで、ちょうどねADKどういう仕組みで動いてるかとか
なんかこうツールの概念とかっていうのは インプットはできてるから、まあ
聞きやすいかもしれないね、今回は。 逆に俺多分ちゃんとADKが何か分かってないんだよな。
作ったことはあって、本当にざっくり言うとエージェントやっぱ作るで、エージェントって何?ってなったら
なんかこの番組では何度もその定義については話してるけどその AIのモデルをワークフロー的に組み合わせていって
一つのタスクに特化したAIの処理の流れを作るみたいな。 エージェントとピュアに呼べるようにするんだったらその処理がちょっと
再起的になってるというか、何かの処理が失敗したり落ちたりしたらその落ちたところを解消するように
うまくAIが自律的、ある程度自律的に判断して修正していってゴールに向かっていくみたいな。
でADKはなんかそのパーツがいっぱい置いてあって、そのパーツを組み合わせて
エージェントと呼ばれるフローを構築していくツールっていう印象。 あーでも
その認識は自分も一緒ですね。 なんか公式で習うと違うのかなと思って。
あーでもエージェントを組み立てるパーツがADKで、ここで言われてたのはエージェントっていうのは人の体で例えられていて
いわゆる脳みそになる、ブレインはLLMだけど、手足になるのがツールって言われるものだったり
なんかその全体をオーケストレートする、管理したり動かしたりする神経系っていうのがあったりとか
そういうすべてのパーツパーツが組み合わせて一つのエージェントっていうのが出来上がるよと。 体。
でそのパーツパーツをADKっていう、まあツール群だよね。 いろんなパーツを組み合わせたもの全体を包含してエージェントツールADKと呼ばれるものとして出してますっていう。
そういう感じかな。 なんか脳みその部分をゴニョゴニョしてるイメージだったけど、体で表現する方が正しいのか。
そうでしたね。 ここの教材ではそれで表現されてましたね。
まあGoogleが公式に言うんだったらそうなんだろうな。 まあでもあくまで概念みたいなところだから
まあ確かに。 いろんな例え方があると思うんですけど、自分はその体の各パーツで置き換えて説明すると理解はしやすかったかなと思いますね。
でなんかそのツールになってるけど、LLMはだからやっぱ 組み合わせている部分は脳みそって理解でいいのかな。そういうわけでもない。
分析結果を分析をするという腕があったり、なんかこう 文章をまとめる
みたいな処理はどっちかというと腕なのかな。 ただ文章を書くにしてもどういう文章を書くかって考え、まず考えて
で、この文章を書きますっていうのが完成されてから手足を動かすわけだから。 何をするかを決めるのが脳みそであり
LLMであるっていう。書くにしてもじゃあ紙に書くのか どっかメールに書くのかとかスライドにするのかとかそういう選択肢はあると思うんですけど
その表現する先っていうのがいわゆるツールとして表されていて スライドを作るってなったらスライドのツールを使って
ここにこれを書くし、インフォグラフィックスみたいなので画像で表すならそれ用のツールとして
アウトプット先、出力先を決めていく各ツールが準備されているみたいなそんなイメージかもしれないですね。
あーなるほどね。はいはいはい。あーめっちゃ理解した。そういうことか。 そうですね。そう言われると確かに頭であり神経があって
手足があってみたいな そのイメージかな。はーなるほどね。
まあだからでそのでもエージェント作るってなるとやっぱりなんかそのイメージはあってる上で その脳みその部分をどうこでくり回すかみたいな
こうフランケンシュタイン的な発想というか脳みそをぐじゅぐじゅいじって なんかある一つの
思考を司るシステムを作っていくみたいなのがなんかこうエージェント? そうですね。もしかして今回このエージェントを分析するっていうことになると
そのLLMが脳みそに当たる部分が考え出してこういう文章を書こうっていうのを手足に伝えると思うんですけど
その伝える時にはその神経系を使って伝えるわけですよね。人間の。 その神経系の部分がオーケストレートと言われるところで
ワークフローツールで線結んでいるところ? そうですね。そこを正しいそのオーケストレートができているかどうかっていうところを
今回は分析していくのかなというふうに最初聞いて思ったんですよね。 あーなるほどね。
いや、それだわ。それそれ。 そんな気がしますね。だから1回やってみて本当は右手で絵を描きたいんだけど左手で描いちゃった。
こんな結果になってなんかうまくいかないな。 じゃあこれを分析して、
オーケストレートがうまくいってないからダメだったんだ。フィードバックしてちゃんと右手で描くようにしようみたいな。そういうことが
分析によって示唆が得られてまた次の改善につながるみたいな。 そういう流れができてくるとどんどん賢くエージェント自体が成長していくっていう。
これが実現できるのかなと思っていたんで。 はいはいはい。いやーそうね。まさにそれで、そのビッグクエリエージェントアナリティクスっていうふうに
今回リリースされているやつは、 そのエージェントをそのLLMだったり神経を繋いでいく中で神経が繋いでる大元の処理
位置処理位置処理っていうところを それぞれでどんな処理をしてどういうログが出てっていうところをしっかりと捉えられるように
していくためのツール。 なるほど。 そうでだからまあ10個そのノードみたいなものがあってそれを10個神経繋いでってやったら
えーとまあそのエージェント全体でどういう出力が出たかっていう まあざっくりとした結果も取れればその10個それぞれでどういう処理をしてどういう流れになって
みたいなのをまあこうログとしてしっかり管理できる。 なるほど。
でそれをあのビッグクエリにちゃんとこう全部
複雑なエージェントシステムのニーズ
SQLで流してくれるみたいなところまでの機能を持ってるツールがADKにぶち込まれた。 へーそれはかなり有用ですね。
いやちょうどそういう機能というかシステム欲しいなと思ってたんですよね ああそうそれはやっぱエージェントが複雑になりがちだから
そうなんですよねちょうど今そのエージェントのシステムみたいなの一つサービスとしてチームで 作っているのをやっていて
その時にエージェントと言ってもいわゆる複数のエージェントを連携させるみたいな いわゆるマルチエージェントシステムみたいなものに
どんどん手が込んで複雑になってくると大規模になってくるんですけど そうねもうなんか芸術品みたいになってくる。いやそうなんですよ
でその時にどこにこのシステムのボトルネックがあるのかみたいなところをちゃんと把握したいな っていうニーズは出てくるんだけど
じゃあどういうログを取ればいいかとかそのなんだろうな 課題になっている部分をまず当たりをつけるためにもデータとして必要じゃないですか
ADKのビッグクエリーエージェントアナリティクス
そうねそれを じゃあどう設計していいかみたいなベストプラクティスっていまいちこうなくて
サクリサクリでやってたんですね そうそれがADKで作るんだったらこのビッグクエリー
エージェントアナリティクスでできるよみたいな それはかなり興味がありますね
一つの会話をセッションって呼んだ時に そのセッションのID共通のIDみたいなのがその1やり取りに対して付与されて
で そのセッション内の1ターン1ターン単位でのやり取りもログとしてビッグクエリーに吐き出されて
その実行の中でそれぞれのノードで起きた処理のイベントと あとその処理の親子関係っていうのかな
どっちが親でどっちからどっちに向かって情報が流れてきたみたいな そのIDも作っている
へーかなり詳細なログが取れますねそうなったら そうそうそうだから多分これ俺は触れてないんだけど
あのデモみたいなやつとかを追ってみる感じだと そのセッションID1に対してそのそれぞれのノードとかで出てくるその親子関係
10個だったらその10個の関係性みたいなやつが出てくるようなイメージだよね なるほどね
まあでもそうこれができるようになると多分さっき言ってたエージェントを いろいろ組み合わせた時に
どこにボトルネックがあるかっていうまさにその何か思ってた処理と違う この神経系に流すつもりだったのにこっちに流れてるみたいなのが
多分そのビッグクエリ上の簡単に言うとこう CSVみたいな構造化されたデータで理解できるみたいな
ああそれはちょっと使いたいな なんかね
例えばみたいな事例で言うと
エージェント間の調整とフィードバック
結構マルチエージェントシステムになってくるとその一つの依頼に対して例えば
何か提案書を作ってほしいみたいな っていう依頼があった時に
これもっとまあ入力のプロンプトとしては複雑になってきて各3社のクラウドの比較をして そのこういうユースケースに合った
場合はどのクラウドを使ったらいくらくらいで抑えられるかみたいなそういうクラウドの提案の
提案書を営業向けに作ってみたいなそういうくらいの複雑な 作業だったら一つのエージェントにお願いするよりかはまずはクラウドの調査エージェント
っていうのが一つあってその次にその調査した結果をまとめる ビジネスティブの人たちがやるような調査とかまとめとかをやるような人たちが
いてじゃあシステムに落とした時にはこういう要件定義でこんなシステムが出来上がるよ みたいないわゆるエンジニアがやるような仕事をするエージェントがいて最終的にそれらを
まとめて営業資料としてまとめる 資料作成エージェントみたいな大体4つくらいのエージェントを準備してフローを流すんですけど
なんか最初にお願いした依頼に対してこのエージェントがどんどんこう 直列にもしつながっていたときに途中で
入力したプロンプトの情報が抜けていくとか あとは調べてきたクラウドの数値の情報とかが
ちゃんと引き継がれずに資料作成まで行ってしまって出来上がった資料の中になんか おかしな情報入っているよねみたいな結構そういうのが
起きうるんですね普通に まあ
予想はつくね つきますよねまぁLLMが中身の脳みそとして動いているんで 情報を勘違いすることもあるし
まあハルシネーションみたいな嘘を言ってしまう場合もあるし まあそういう非決定論的な動きをするから
最終的なアウトプットが意図しないものが出てくるみたいな その時に何かどこでこの情報が抜けたんだろうとか落ちてしまったんだろうとか
あと中身どういうふうにLLMが引き継いでいって この途中のエージェントは何を出力したんだろうみたいなのがいまいち見えにくいんですね
ちゃんと設計をしないと
最初にバーッと作ってしまうとそこまでこう 気の利いたログ管理とかできてないと
まあ確かにね だからそういうユースケースの時に
もしその今回出たADKのツールというか サービスを使っていればおそらくログとして吐き出してみれるから
すぐにじゃあこういう回収しようとか 次の打ち手としてどうリファクタリングしていくのかみたいなのが
すぐわかるのかなと思っていて だから
出力結果レビューしてこの情報が足りてないなみたいになったら まあ別にLLMに探索させるもできるわけだしね
そうですね あとは最初に作っているプロンプトを調整してアップデートしていくとか
みたいな打ち手が全然打てるからこれは使いやすそうだなぁと聞いていて思ったし かなりエンジニアにとって便利ツールなんじゃないかなと思いますね
まあそうね実際だからでも発想としては別にそんなに新しくはないんだよね多分 普通に
アプリとか作った時に各ページ遷移ごとにログ出そうよとか どのページから遷移してきたかのIDちゃんと振っとこうよとか
比較的従来やってきたはずであろうことを ログとして出せるように
確かにね だからちゃんと欲しい機能を入れてくれたみたいなところが多分めっちゃ
当たり前のようでAIになった瞬間に一瞬頭から外れそうなものができたってイメージだと思ってて
確かに痒いところに手が届くようなサービスだなと思うし これをGoogleが出すのはさすがGoogleだなと思いますね
なんか今話を聞いているとGoogleアナリティクスか いわゆる広告とかで使うようなツールだと思うんですけど
なんかその感覚に近いなというか どこからそのユーザーが飛んできて
でクリックしたかみたいな繊維がファネルでどんどん落ちていって何パーセントの コンバージョンですよっていうのを見れる
あの考え方に近いようなシステムだなぁと今聞いていて思いましたね
ああそうね それねまさになんかちょっと後半の方で話そうと思ってたんだけど
ああはいはい
そういうサービスが実際出てるんだよね ベイエリアの方で
そうなんだ
隣のデータ分析屋さん今回も面白いと思ったらフォロー・レビューよろしくお願いします
番組の感想や質問はハッシュタグ隣の分析屋 隣のがひらがなで分析屋は漢字でお願いします
また概要欄に貼ってあるお手紙ホームからコメントを寄せください
ではまた
バイバーイ
