データ分析エージェントとは
となりのデータ分析屋さん
この番組は、隣の席に知らないことを気軽に聞けるデータ分析屋さんがいたらいいなぁ、を叶えるポッドキャストチャンネルです。
AI事業部長のりょっちです。
データサイエンティストのたっちゃんです。
データアナリティクスエージェントです。
データアナリティクスエージェントのかいです。
データ分析エージェントかな。
一緒か。
疲れてる。
前回、ちょっとなんか話しましたね、最後に。
今、データ分析のエージェントを作ってますっていう。
なので、その話を今日はしていきたいなということで。
データ分析エージェントって言われても、ピンとくる人来ない人結構いますよね。
どうだろう。その理解もそうだし、
俺的には、世の中で一番最初にAI化される職業の一つがアナリストみたいな感覚。
ポッドキャストでもずっと喋ってたから、あれだけど。
そういうのをめっちゃ高度にできるようにするエージェントって感じだと思ってるけど、
どんなデータを流してどんなことをするかとかのイメージはついてないみたいな感じ。
でもまさにデータアナリストがやっていたような仕事をAIに置き換えるっていうことが、
まんまその話かなと思っていて。
データアナリストがよくやることとしては、
プロダクトとかサービスが自社のものがあって、そこに対してたまったデータを見て、
ここにボトルネックがあるからっていうのをデータから見つけて、
新しい改善施策を打っていこうとか、そういうビジネスの施策につなげるとか。
っていうところなのかなと思っていて、
今ある集まったデータから何か課題を見つけたりとか、
そういう仕事を人間じゃなくてAIにやらせるっていうところが、
データ分析エージェント、アナリストエージェントみたいな、
まさにそういうことをしている。
今その高度化、いかに正しい課題の抽出とか答えを見つけるのかみたいなデータの中から、
っていうところを精度を高めていくみたいなところをやっているのが、
今自分が取り組んでいる話で。
KDD CUPコンペティションへの挑戦
アナリストとしての事業価値と定義される、
定量的な分析結果をもとに出す事業示唆とか戦略立案とかまでやらせるエージェントってこと?
半分YESで半分NOなんだけど、
というのも今やっているのはあるコンペに出てて、
KDDCUPと言われるデータ分析コンペなんですけど、
有名なやつね。
KDDっていう学会があって、カンファレンス、国際学会があって。
ややこいよな。日本人はもう携帯にしか見えないもんな。
KDDIね、それはね。
地面がね、KDDって見たらもう愛がただ霞んでるだけなんじゃないかっていつも思うんだよね。
確かに。でもデータ分析とかAIとか機械学習とかそういう文脈で語られるときは、
KDDは学会の一つとして認識されているし、
有名なのはニューラルIPSとかICなんちゃらとかいう本当にコンピューターサイエンス系の学会が有名なところであるんですけど、
このKDDとかはどっちかというと、もうちょっとビジネス的な内容だったり社会実装に近いところでの研究を対象としていて、
KDDはね、ナレッジディスカバリー&データマイニングだった。
データマイニングか。だから本当にナレッジ探索とか、データからマイニングしていく。
データをどうきれいにしてどう使っていくかみたいなところの研究をやっているようなところなので、
そのデータをどう扱うか社会実装するかってなったときに、
より良いAIを作るとか精度の高いAIを作っていくみたいなところをコンペ形式で毎年毎年いろんなテーマで、
学会が開催されるときと同じタイミングで、学会が今年の8月にあるんですけど、
大体6月とかその前に2ヶ月くらいかけてコンペして優秀なソリューションになった人はその学会で発表ができるみたいな、
そういう企画のイベントが毎年あるんですよね。
日本から毎年ちょこちょこいて、周りにもいたことはあって、採択率が19%とか18%くらいなのか。
結構高いの?低いのそれは?
いやわからん。それを聞こうと思ってた。これむずいの?ってなめたこと言おうとしてた今。
社会実装とかっていう話になってくると比較的採択はされやすかったりするんじゃないですか?
そんな気はするよね。リサーチトラックが552本採択、論文数が552本で採択率18%。
アップライトデータサイエンスが155本、採択率19%だから155本の5倍いるみたいな感じだよね、きっと。
なんかある程度のアセットを持ってる会社が相当有利だと思うと、そんなに高くないっていう見方もできなくはないのかもって思っちゃうよね。
ちょっと舐めてますよね。
いやいや、研究、天文の研究やってる時もそうだったけどさ、天文は微妙か。
天文は結構オープンソースのデータを使ってやるみたいなのに近いから、例えば人工衛星の運用チームにいると独占的に使えるデータとかがあるわけじゃん。
で、そのデータってその人たちしか出せないっていう独自アセットなわけじゃん。
ってなったら、いろんな人が出す公募で採択するみたいなコンペ形式のものになった時に、データの独自性っていう色が一個付くから、
平均したら最多確率19%かもしれないけど、その人たちにとっては19%じゃないっていう事象がかなり発生するじゃん。
そうだね。
アセットをめっちゃ持ってるっていう状態になると、ぱっと見の18%っていうよりも高い確率で通ってるのかなって思っちゃうっていう意味。
結構理に駆らった理由で、18%はむずいかもしれないけど、一部の人にとっては18%じゃないだろって思ってみる。
ああ、そういうことね。なるほど。
データの色、その色のデータを持ってるっていうこと自体が貴重だから、別にそういう参加の仕方しろやっていう話になったらそれはそうって感じなんだけど。
成果を残すためにはデカい研究機械にいた方がいいとか、デカい会社でのR&D部隊の方がいいみたいな。
それはでもありますよね。
ただの資本主義の言語か。
例えばAmazonの会社が自分たちのこのECで起こってる商品とかに関してのレコメンドのシステムを開発しただけで、
おそらくデータの量とかそういう観点での新規性もあるし、すぐ論文として発表することが可能だと思うから、っていう話なのかなと。
独自性っていう壁はもう余裕でクリアしてて、あとはデータの正確性が評価されるだけだから、戦ってるステージが違うか。
そうですね。この学会は比較的そういうケースというか、が多いのかなと思っていて。
コンペティションのタスク内容
何をしてるんですか?これに出ようとしてるの?
これは何か論文を発表するとかそういう話じゃなくて、一つの学会の中での企画イベントがあって、データセットが用意されていて、そこに対して優秀なAIを作りましょうっていう。
よくあるカグルとかのコンペ形式に近い、そういうタスクが毎年あるんですね。
さっき言った例えばレコメンドのデータセットが用意されていて、レコメンドのこういう評価指標の中で一番精度の高いモデルを作った人が優勝ですみたいな。
それの今年のテーマで参加していて、それがデータ分析エージェントっていうテーマでの今回のコンペなんですよ。
結構それ珍しいというか新規のタスクだなと思っていて、今後自分のやっていく仕事とか興味のある分野っていうとデータ分析エージェントは面白そうだなと思ってるんで参加してるんですけど、
内容は例えばですけど、医療系のタスクでいくと糖尿病患者の男女比を求めようみたいなクエスチョンがあって血液検査の結果がバーっと書かれているような表形式のデータだったり、
あとはある医者がいろんな患者に対しての診察を言っていくその診察のデータであったりとか、
T構造化データも含むみたいな。
そうです。あとは糖尿病とは何ぞやみたいなそういういろんな専門用語が書かれている辞書みたいなデータセットがあったりとか、
なんかそういういろんなこういう医療に関するデータセットがあって、その中からさっき言った糖尿病患者の男女比を求めように答えられるような探索をして、
で一つのアンサーを出すっていう、これが一連の流れでその問題を解くためのAIエージェントを作るっていうのが今回のコンペのタスクなんですよ。
なるほどね。
そういう医療データとかも含む?あんまり言っちゃいけないの?
いや、これはもうオープンになっているから、今のはすごい適当に言った例題ですけど、
なんかそういうような医療とか、例えばそうだな、アメリカのマーベルあるじゃないですか、に関するテーマの話とか、
マーベルのスーパーヒーローの中で150センチ台のヒーローは誰みたいな、みたいなクエスチョンがあったりとか、
結構ありとあらゆるそういう漫画とかアニメとか、医療とか政治経済とか、
ありとあらゆるジャンルドメインのタスクがいっぱいあって、そのタスクを一個一個解いていくんですね、それぞれのクエスチョンに対して。
で、その正答数の高い人が、高いAIエージェントを作った人が優勝っていう、そういうコンペです。
それぞれを率なくこなせるエージェントを提供しろってこと?
なるほどね。
汎用性もありつつ、専門性もありつつみたいな。
そうですね、まさにそれで。
なので、我々が参加者が作るものは、そういったクエスチョンに対してアンサーを答えるためのエージェントシステムを作るんですね。
なので、もうそのシステムを作ったら、提出をしたら勝手にそのクエスチョンを読み込んでアンサーを答える。
ただそれだけをする仕組みを作るんで、結構自由度が高いんですよ。
確かに。
どんなことをしてもいい。
ただ、世の中にあるMacloadとかGPとかそういうモデルに対してAPIを投げて回答を持ってくることはできない。
インターネットから抜けられないから。
もう決められたモデル。
今回はクエンって言われるアリババのLLMのオープンソースのモデルがあるんですけど、それを使って回答することは決まっていて、なのでモデルは肯定なんですね。
LLMのモデルは固定で、後はそのLLMが使えるツール、いろんな武器みたいなところを揃える、周辺のシステムを揃えていって正しく答えを導けるような一つのエージェントシステム。
それを今回で言うとデータ分析エージェントっていうふうに指しているんですけど。
ああ、そういうことか。なるほどな。
エージェント開発のアプローチ
という結構新規性のあるタスクで、まさにこれを作るってことを1、2、3ヶ月くらいかなゴールデンウィークくらいから始まっていて、もう今7月になりますけど2ヶ月ずっと続けているというそんな感じでやってますね。
エージェントを作る。エージェントを作るってなるとなんかピュアなLLMのモデルが用意されてたら、1個は例えば
汎用性のある思考フローみたいなやつを作っていって、そのLLMのモデルが処理するレイヤー1、レイヤー2みたいなのを分けてそこの
人間の思考に近いような処理を例えばさせる層の積み重ねを作るとかそういうイメージ。
でもまさにそうだと思います。結局AIにいきなりクエスチョン渡しても、さっきの投入病患者の誕生日を求めようみたいなクエスチョン渡してデータセットバンと渡しても
いきなりAIとしてはどこのデータから見ればいいかとかってわかんないんで、そのデータが何を意味しているものなのかとか。
ナレッジ層みたいなのも作り。
まさにまさに人間がそのクエスチョンを受け取ったときにどういうふうにデータを見に行くかみたいなところをイメージしながら
システムとしてまず最初にどこのデータを見るべきだよねみたいなところをちゃんと組み込んでいくというか。
ということで一つのワークフローみたいなものを再現する。人間の思考を一つのワークフローとして再現して
AIがそれに乗っ取って動いていくっていうシステムを作るっていうやり方が一番一般的にやることかなと思いますね。
ああいうのはできないの?
与えられたシステムの中で作るし提出するしみたいなことなんだろうけど、何回も提出できるでしょきっと。
もちろんもちろん。
最初ただ1個LLMを用意しておいて、それに加わせて結果どうなるか見て、ずれてるのをチューニングして、
そしたら1個1個思考の流れが生えてみたいな、いわゆるLLMじゃなくてAIエージェント的な発想で
とにかく一段深い思考になったら回答させて、回答の結果で出た点数をもとに修正する方向を勝手に考えさせて、
足早させてっていうのを100個ぐらいのパターンAIで勝手にやらせて、正解っぽい足だけ残してみたいな、
永遠にただAIに成長させるみたいなアプローチはできない。
できると思います。
強化学習みたいなイメージでどんどんAIが賢くなっていくみたいなやり方も方法の一つとしてはアリだと思うし、
結構研究としても盛り上がってる分野かなと思っていて、
なのでその方法もやってるチームもあると思うし、
ただ今回のコンペやっぱり実際に実用的に使えるもの、実用されるようなところを目指して始まっているコンペでもあるっていうのがまずあって、
そういうちょっと強化学習的にどんどん自己増殖をしていくようなAIって、
確かに賢くはなるんですけど、そのAI自体がどんどん大きくなっていくんで、
まず試行後の時間がかかっていくとか、
あとはどんどん試行後の時間がかかるってことは投空も消費するんで、
実用ってなるとコストもかかるよねとか、電気代もかかるよねとか、
いうこともあって、一応今回のコンペでは100問問題を解きましょう。
その100問に与えられた時間は1時間ですよみたいな時間の制限がある中で解かなきゃいけないんで、
なるほどね。
どんどん大きくモデルを作っていくと、その時間制限を超えてしまうから、
なかなかうまくはまらないっていうこともあり得るのかなと思っていて、
なので、いかにシンプルにかついかに精度の高いエージェントを作るかっていうところが実社会では求められているもので。
競技プログラミングっぽいね。
確かにそうかもしれない。
なのでこれはデータサイエンスの仕事というよりかは、エージェント開発ってシステムエンジニアとか、
そっちの世界かなというふうには実際に自分やっていて思うところで、
綺麗に動くシステム、早く、シンプルに。
なので、SE上がりの人とかが結構活躍できるイメージではありますね、こういうところは。
番組の締め
1年ぐらい、1年ちょい前ぐらいに、そっちの方向には会社の仕事としてはやらないぞっていう意思決定をした記憶がよみがえたわ。
迷うときありましたよね、このAIが流行ってきて、どこに身を置くか。
GCPの話のエピソードをしたときに、そんな話した気がするよね。
エージェントデベロップメントキットの話をさ。
確かにやりましたね。
隣のデータ分析屋さん、今回も面白いと思ったらフォロー・レビューよろしくお願いします。
番組の感想や質問は、ハッシュタグとなりの分析屋、隣のがひながらで分析屋を漢字でお願いします。
また、概要欄に貼ってあるお手紙フォームからコメントを寄せてください。
ではまた。
ばいばーい。
