データ分析と人材の現状
データアナリストのりょっちです。
データサイエンティストのたっちゃんです。
今、どの会社も若手の人材が欲しいっていう会社あんまなくて、特にデータ分析とか。
で、どこも募集かけてるのってシニアなデータアナリストとか。で、あれってまあいないのよ、市場に。
うーん、なるほど。
だったら、自分たちもそうだし、相手もそうだし、その市場に当てはまる、やめる気のない人たちをとりあえず全員集めて、
コミュニティを作っていくっていうのを、全員の共通認識でスタートさせてる。
で、そこで密に喋ってたら、転職したいときそこで喋ればいいから。そこで知り合った人たちとか。
で、お互いの実情も分かってるしね。
そうそうそうそう。だから、ちっちゃくてもあんまり意味ないんだよね。クローズなんだけどちっちゃくてもあんまり意味ないみたいな。
一応採用イベントっていうのでスタートしてるから。
うーん、なるほど。なんか新しい形ですね。
うまく回るといいんじゃないかなみたいな。でもなんかその採用は結構先にあるから、
採用を全目的にするとたぶん1年間でそれをちゃんと享受できるところってたぶん、
全体で1、2回ぐらいしか機会はたぶん生まれない気がしてて。
だから、じゃあもうちょっと手前のとこにどういうゴールを置くかみたいな話になると、
ジョブディスクリプションの、そのシニアのデータアナリスト募集するときのジョブディスクリプションのタイトル、
何にしてんのみたいな話とかすると結構みんな血迷ってるみたいな。
あ、そうだね。そのレベルで話すんだ。
そうそうそうそう。っていうのをどんどんペース上げていって月1ぐらいでやりたいねみたいな。
最初は2ヶ月に1回ぐらいでいいけどみたいな。形に変えていったらすげえ面白くなりそう。
これはね、AI鬱を抑制して、ちゃんとその業界全体が底上げされるっていう役割を一部担える気がするんだよね。
はいはい、確かにね。確かに外に出てくる情報ってすごくうまくいった事例とかね。
成功体験みたいなところを見ちゃうと、わーすげえなーと思って。
自分たちはこんなことで困ってんのかっていうところのなんかギャップを感じるし、結構それによって人材流出って起きやすいんだろうなと思うんで。
うんうん。
そういう意味でも必要な情報ですよね。リアルな。実体こうなってますっていうのは。
改めてインターネットに踊らされない仲間作り。
大事だよなー。
みたいな。全然本から話されたけど。
ワークフローとAIの進化
そうですね。でもそう、AI鬱みたいな話はね結構ね、重要なキーワードだと思うからね。
いやなるよね。
ほんとに。
SNSで情報を拾うけどSNSを見ないのが正解だからね。
いやそうだね。意外とこのなんだろう、AI界隈の人たちってこう、実際にAIを授業で触ってる人もいれば全く触ってなくても発信だけするっていう人たちもいて、
触ってる人で発信してない人がめちゃめちゃいるから、その人を見つけるとすごく頼りがいがあるし、安心する。
そうだね。
そりゃ間違いないな。
情報発信してない人が9割5分だって思って暮らさないといけないね。
めっちゃ会社で頼りになる人たくさんいるもんな。
でもさ、会社としてはそういう人たちこそ本当に情報発信してほしいっていう会社側の圧というか、意見もまたあったりして、
いろんな意見ありますけど、やっぱデータサイエンスの人たちは発信が下手だよねって言われやすいよなぁとは思いますけどね。
そうなんだ。
得意不得意だろう、そんな。俺宇宙の研究得意じゃないけど宇宙の話すんの得意だもん。
結構レアよそれは、そんな人。
そういうことよ、やっぱ向き不向きはあるからさ。
そうね。だから難しいけど逆に発信できると価値があるというかね。
そうそうね、それをだからちゃんと外に出せるサイエンスコミュニケーターみたいなのがいればいいんだけど、
そのサイエンスコミュニケーターが驚き屋さん的な実務を触ってなくてみたいならダメなんだよね。
だから難しいよね。
だから本当に強いエンジニア会社、AI開発者で発信できるみたいな、
どっちも強いくらいと双方からの納得感で得られなくて難しいね。
その人がだから自分でやった取り組みを記事にもして発信もしつつ、
誰かの代弁者としても動いているみたいなのが超理想なわけでしょ。
限られた天才ですよそれは。
いないだろうそんなやつ。無理だろ。
最近だったらチューニングのCTOとかやっぱりソロでかぐるでてすげえみたいなXとかで結構話題になってるんですけど、
CTOがですよ、ソロでやってちゃんと結果出すってえげつないですよね。
そりゃ人集まるよな。
結局そういうことなんだろうなとも思いますね。
自分で発信してこういうふうにやりましたとか、技術のブログ書いたりとか、
強い強い天才です。
すげえ会社だな。
だいぶそれましたけど、話し足りないことあります?
そうだな、結構頑張って読んだ章はあるなっていうのは1個あって。
はいはい。
旧章?旧章のところがなんかこのAIのワークフロー。
あー自分もここが結構面白いと思ったな。
そこだけちょっと話して終わるかな。
エージェントって言葉とワークフローって言葉が同時にこの章には出てくるから、
そこはちゃんと切り分けて読みたいなと思って繰り返し読んでた感じはあって、
まあでもメインはワークフローなんだよね。
ユーザーのやりたいことに特化したAIの機能の組み合わせというか。
っていうのがやっぱりこう実用性を上げる上ではめちゃめちゃ重要みたいな話が結構ガッツリ書かれているのは、
ネットの記事とかはめっちゃ見るけど、ちゃんと体型だって文字でちゃんと整理してくれてるっていうのがあんまりない気がするからこそ、
すげえいいなって思った章ではあった。
こういう整理できるんだっていうのは思いましたね自分も。
AIの一般的なタスクができるかどうかの一般性っていう軸と、
あとは難しいタスクができるかっていうところの強みっていう、この強みと一般性の二軸で書かれている表があったと思うんですけど、
そこの中でいわゆるチャットGPTみたいな一般的な会話ができるAIの使い方と、
今言ったワークフローっていう一定の強いタスク、難しいタスクを実現するAIの使い方っていう、
この全く違うAIの使い方があって、一方で従来の機械学習っていうのは実はそのどちらも弱いというか、
一般的な話でもないし単純なタスクしかできない、難しいタスクはなかなかできないみたいな整理をしていて、
だからより難しいタスクに進んでいくと、実は従来の機械学習ではなくて、
LLMでそれを解決するっていう方法があり得る方向性なんだっていうのは意外だなと思ったんですよ、この図から。
それでもあれじゃない?俺多分そんなに響かなかったから、機械学習のところをがっつりやってる、
仕事とかでやってる経験があるからめっちゃ刺さるんじゃない?それが。
そうかもしれない。でも結構最近LLMを使っても分類のタスクとか回帰のタスクが実はできたよとか、
前もこのポッドキャストのどっかのエピソードで喋った気がしてて、一定の精度が出せたんだLLMでみたいな、
っていう話が何回か出てましたもん。
天文のやつとかでしょ。
そうかもしれない。
で、おそらくここの話の本当の言いたい、このワークフローっていう急所で言いたいことって、
従来の機械学習も使いつつ、一部のタスクをLLMに任せて、その全体のワークフローで取り組んだときにいい精度が出せるんだっていうことを言いたいんだと思ってて。
あとは今の要素として機械学習入れるっていう話もそうだけど、いわゆる細分化みたいなタスクの細分化をして、
それを連続的につなげるのが大事みたいな。
そうですよね。
だから実際に業務に落とし込んでいくのであれば、おそらくその方向性、各タスクに細分化して、
一番適したAIのモデルを使っていくみたいな、っていう進め方が今後の主流になっていくんじゃないかなと思いました。
そうだね。
AIエージェントの重要性
なんか最近さ、そのAIのワークフローとエージェントの話ってしたよね。
しましたね。
で、多分その整理とかがなんとなくはされているぐらいの時に書かれているのが多分この本で。
で、がっつりエージェンティックな動きをしているようなものが活躍しているのは多分この本よりも後なんだよね。
結構最近だね、それは。
そうそうそうそう。
ってなってるから、やっぱワークフローに対しての理解をめちゃめちゃ丁寧に整理してくれてるから、
そこを理解するのには非常に良いなっていう感覚。
で、ちゃんと事例があったのが面白くて、ショッピファイのプラグインマーケティングの例みたいな。
あーありましたね。
人気のあるショップのリストを作って、ウェブサイトのhtmlを取得して、
そこに入っているブランディングとかスタイルの情報を抽出して、各店舗を再建とするようなプラグインを考えて、
それがいいんじゃないのっていうのをオーナーに対して宣伝してメールを送るみたいな。
この一連の流れを1個の単純なAIに対して、じゃあこれやってこれやってこれやってって言っていくと、
やっぱちょっと上手く回らんみたいな。
知識が欠けてたりとか、思ったような動きをしないみたいな。
それに対して今の流れの1個ずつを個別のサブエージェントみたいな形で管理して、
そいつらをオーケストレーションみたいな形でワークフローをこれやったらこれやって、これやったらこれやってっていう情報を、
前のAIが処理した結果をある意味インプットのプロンプトの一部として使って、
次のやつが皿の状態で駆動していって、また次のやつが動いてってやんないと、
狙ってる動きはしてくれないからワークフローを作るのめっちゃ大事みたいな。
ちゃんと実例を出して説明してくれてるのはめっちゃ良くて、
ただこっからさらにAIエージェントが活躍する世界になってきた時に、
エージェントの作成とワークフローの重要性
ここの本では結構ムズイよねっていう話になっていた、
システムメッセージが循環する仕組みというか、見直しの仕組みみたいなのがめっちゃホットになってきてるから、
時代の移り変わりおもろいなっていう見方の面白さの急所だったんだよね。
書いたタイミングでの技術と今の現在の段階での技術の違いみたいなところも見えるしっていう話か。
プラス今の時代になっちゃうとエージェントの話をみんなしちゃうから、
ワークフローについてがっつりちゃんと丁寧に書いてくれてるっていうのが良いポイントな気もしてるんだよね。
確かに確かに。
最近俺はエージェントどう作るかみたいなのを結構考えてる時間があったりして、
それでGoogleが出してるエージェントデベロップメントキットっていうADKってやつがあるんだけど、
それでここのワークフローだけじゃなくて、
ワークフローのどのパスに動くかっていうルーティング、ルートを決めるルーティングのところをどう制御してるのかっていうのを
ちょっとテンプレートのやつを触って実装してみたりして、
意外と制御むずいんだなみたいなのを実感したりとか。
なるほどね。
ってなってるから、ワークフローの先にエージェントがあるんだけど、
エージェントって気軽に触れるものも増えたけど、
やっぱ多分ここで言われてるワークフロー、
このワークフローを確立することがやりたいことを実現するのに非常に重要って書いてあるのと一緒で、
やっぱ特化したエージェントのシステムを作ってあげないと達成できないラインがどっかに来るのかなっていう気持ちにもなったりするんだよね。
なんかカーソルとか、ああいうのってエージェントモードっていうのが追加されてて、
本当自由に仕事してくれる。
でもそれってチャットGPTに自由に質問できている状態のエージェントモードなだけっていう見方もできるのかなと思ってこのワークフローの話を聞くとね。
つまり、じゃあデータ分析をそいつにさせたいってなったら、ある程度のことはそのエージェントモードでできるんだけど、
どっかに分析専用エージェントを作らないと超えれない壁っていうのが出てくるのかなみたいな。
でもそうだよね。そうしていかないとエージェントというかAIが発散していって、どこまでも行ってしまうみたいなことになるってことだよね。
特化したエージェントシステムの必要性
そうそうそうそう。けど今のいろんな、それこそジェミニーCLIとかクラウドコードとかいろいろ触ったけど、
俺はそのAI鬱を乗り越えてるから。
最近爆速でもう一回触ってるんだけど。
壁があるように覚えなくて。
どっちかっていうとカーソルとかクラウドコードとかそういう提供されてるエージェントである程度いけないみたいな。
できちゃうってことなの?それは。やりたいことは。
割とルールのファイルをちゃんと整備してデータさえ、データ基盤とかもちゃんと整ってれば既存のエージェントで結構いける感じはあるんだよね。
でも本来そうなってほしいのがあるべき姿ですよね。
何かに特化したエージェントをこっち側が制御したりとかする必要なく、
一つのエージェントがある程度、ある程度というかやりたい細かい特殊なタスクでも実行できてしまうみたいな。
なんかそれがいわゆるAGIみたいなところにどんどん近づいていくからあるべき方向はそっちなんじゃないかなと思うんですよ。
なるほどね。
けど、世の中で出てるエージェントって、たぶん裏でエージェントを作ってる人たちがいるから、見えないところでいろんなワークフローが絡み合ってて、
その人たちがつけたプロンプトとかが裏にめっちゃあるはずなんだよね。
だからサービスによって使い心地が違うのって、そのエージェントを構築してるアーキテクチャーみたいな部分と、
その中に組み込まれてるプロンプトがたぶん違うから、各プラットフォームとか各サービス使った時の使い心地が変わる。
それはでもあるか。
それって組み方とそのプロンプトに依存してるから、AGIに近づいてるのかで言うとまたなんかちょっと違う気もするというか。
あーなるほど。モデルそのものがアップデートされてるというよりかは裏側のシステムで制御されてるんじゃないかとかそういう話なのか。
そういう分析特化のエージェントを作ろうと思った時に、こういう要素を組み合わせるっていうのを一回ちょっと触ってみると、
他のエージェントシステムもたぶんこれのめちゃめちゃ膨大なバージョンっていうのを作っているんだろうなっていう想像ができ始めて。
そうすると、仕組みに騙されてるじゃないけど、仕組みの上で踊ってるだけな感じもする。
なんかさ、この本読んでいくと、いろんなモデルの学習のさせ方をして上手くいった、上手くいかなかったって話が出てくるじゃないですか。
それで時代とともにどんどん良くなっていくというか、人間にとって良くなる方向に進んでると思っていて。
その例の一つとして、例えばモデルがタスクを実行する前に事前に計画を立てますよみたいな。
っていうことをAIのLLMのモデル学習のタイミングでそういう学習のさせ方をしたとか。
それで出てくるアウトプットの質が良くなった。じゃあこの学習のさせ方は良かったんだよねとか。
チェーンオブソートの深く試行させていくところをより学習の段階でさせることで精度が上がったよとか。
その繰り返してどんどんこの生成AI、いわゆる基盤モデルみたいなものを作られる質が上がっていくのかなと思っていて。
その一環として今の裏側で行われている制御みたいなのをモデルが学習していて賢くなるっていうのはあっていいのかなというか。
なるほどね。
で各いわゆるビッグテックが作っていくモデルが徐々に色が出てくるのは仕方ないことで。
それぞれが良いモデルをどんどん作っていく。学習のさせ方をちょっとずつ変えていくことで良くなっていくっていう方向なんじゃないかなって自分は思ってて。
なるほど。
だから無理に別に何かに特化したAIを作らなければいけないっていうことを本当にする必要があるのかなどうなんだろうっていうのはちょっと疑問というか。
そうなんだよね。
データサイエンス組織の課題
触ってみないとわからないとこもあると思ってて。実際に触ってみると思った通りには制御できないとかあるはずだからね。
難しいんだよな。
だから今大きく悩んでるのは自分でエージェント作る必要あるんかっていう話なんだ。
そういうことだよね。
メルカリが出してたじゃないですか、ルッチェが教えてくれたソクラテスの例。あれはまさにADKを使ってエージェントの制御とかをしてる話でした。
そうそうそうそう。
なんかあれは一つ上手くいった事例としてすごい出てましたけど。
でもあれと同じことがクラウドコードとかカーソルとかでできないのかといったらできるんだよね。
で、あの構築でいいのは、あれを例えば自社の自分たちの会社の中にある自分たちしか触れないチャットUIみたいなところにエージェントを落とせるっていうところがメリットみたいな。
カーソルとかでやろうとするとどうしても環境構築とかを一定しなきゃいけないからそれをスキップできるみたいなのが大きいメリットとしてあるんだけど、
めっちゃ大きくデータアナリストとかデータサイエンティストが満足するラインで使うんだったらカーソルとかの方が良いだろうみたいな話とかもあって。
で、じゃあ全員が使えるためにエージェントを作るっていう打ち手が限られた構数の中で正しいのかどうかみたいな。
あーなるほどね。
で、しかもありもののツールを使った状態でそれが実現できるのかっていう技術的なところもあるのか。
あ、そうそうそうそう。
どうなんだろうね。
むずい。
むずいみたいな。
でもこれは大体おそらくどこのデータサイエンス組織も今取り組んでる話だと思ってて。
で、まだ多分うまくいった事例ってそんな出てきてないからみんなが悩んでるポイントなんじゃないですかね。
そうね。
だから悩んでる中で作っちゃえばいいじゃんって言って、あのスピードで作れる人がいるメルカリが最強っていう話。
まあそれもそうだね。
あれはその、もう分かってんの俺もね。
その、じゃあ作ればいいじゃんってのはある。
けど、だったら他に整備するものを俺はこっちに優先度を持って行った方がいいっていう気持ちの部分も強かったりするから。
だからあそこあれをちゃんと形として作って、ちゃんとストリームリットでUI作ってリリースしているのがすごいっていう話。
すごい偉いっていう話。
作ってる奴が偉い。
間違いない。結局そこね。
そう、使えるか分かんないとか悩んでるのがもうアホみたいな。弱者みたいな状態ね。
なんかブーメランみたいな話になってる。これあれ?どういうことだ?
メルカリがすごいって話。
そういう話ね。結論はそこでいいのかな。
メルカリはすごい。
じゃあ何、この結局ワークフローはみんなが作ってった方がいいんじゃないっていうことになるのかな。
いや、なんかワークフローっていうのがちゃんと重要だっていうのが分かりつつ、そこに、
そこにその、再起的なループみたいなのが回って、とか、
ワークフローの選択肢がいくつかあって、それを自律的に選択して仕事が進んでいくみたいな、
エージェントのシステムが多分これから触るもののスタンダードになってくるから、
ワークフローを知っておいた方がいいけど、それを知った上で次のエージェントの理解まで一歩踏み込んでいかないと、
今はなんかまずい気がしている。
はいはいはい。なるほどね。
じゃあマチでいいの?データサイエンティストは。世の中の。
ダメダメ。マチダメ。マチ一番ダメ。
とりあえずうつに打ち勝って、AIうつに打ち勝つところから始まり、
逆にエージェントを作る作らないはモデル依存の部分もめっちゃあったりするし、
AIエージェントの考察
どっかのサービスがまくってくる可能性もあるから、
さっき言ってた本質か本質じゃないかといったら、本質じゃない。俺の中では。
それよりはもう散々言われているドキュメントを整備して、
データ基盤を整えて、ベストなデータの保持の仕方を考えるっていうのは、
モデルがどんなに進化していっても普遍の部分だから、
それを努力作永遠にやっていければいいっていう話ではあると思う。
時が来たらじゃあそのLLMの組み込んだAIエージェントワークフローみたいなのができて、
そこを人は触るようになるってことなんだよね。
そこにあるデータを突っ込めばいいんだよね。
問題は黙ってても時は来ないんだよね。
やっぱりツールをどんどん導入していって、この形がベストを、
たぶん月1ぐらいで更新し続けないとダメなんだろうなみたいな。
試してトライアンドエラーはやりつつ持ってこなおうかここは。
そうなんだよね。絶対いつか疲れると思ってるんだよね。もう一回。
また鬱になるわけでしょ。そして。
これが人間だから。AIは鬱にならないから。
そうだね。
ちゃんとここで言うから。僕はもう頑張れなくなりました。
人間はそれが正常らしいからね。
個人開発の実践
そうするとAIの技術は止まるけど、ポッドキャストは伸びる可能性もある。
そうだ。そういえばそうだった。
そうだそうだ。仕事頑張って楽しいときはポッドキャスト伸びないしね。
そう多分伸びない。
まあいいか。どっちかが伸びていればいいか。
負のループに入ったときに正のフィードバックを返してくれるからポッドキャスト。
いいメディアですよ。
続けましょうこれは。
たくさん話しましたね。
1ヶ月にわたってお届けすることになってそうだね。
7月はこれが続きますね。
まあいいんじゃないですか。いろんな話したんでよかったですよ。
次回、次回どうしとこうね。
1ヶ月後に何話したいかマジわからないんだよね。
多分だけど、エージェントの話はできる気がする。
エージェントこうやって作ってみたみたいな話なのか、
こう攻略してみたみたいな話なのか、
今日の最後話したところの実務成果みたいな話せるものが出てたら。
確かにね。なんか自分もそんな気がするな。
なんか作ってみた系の話しかできそうだな7月は。
夏休みの宿題的にね、ちょっと個人開発みたいなのちょっと遊ぼっかなと思ってたから。
すごいよ。だからそのADKにあるエージェントのテンプレート、
クラウドコードでお試しのUIの部分とかモデルのデプロイの部分まで全部、
自然言語だけどほぼできたからね。
そうなんだ。
データをビッグクエリに、データを探索させていくサブエージェントと、
そのクエリを実行するサブエージェントと、
あとそのデータを使ってB級の中にマシンラーニングの機能ついている、
B級MLを走らせるサブエージェントがあって、
質問に合わせてどのサブエージェントを動かすかのルーティングのエージェントがあって、
必要なタスク、だからこういうデータあるって聞いたら、
データ探索エージェントに仕事が振られて、
そいつがマネージャーだよね。ルーティングエージェントみたいなのがマネージャーみたいな感じで、
そのサブエージェントにタスクが振られて、データのテーブルの情報が返ってくるみたいな。
それが何、チュートリアルみたいなのができるってこと?
そう。チュートリアルっていうかテンプレでGitHubに上がってんだよね。
そうなんだ。
これのデータの参照範囲を広げていったらどうなるんだろうとかは、
今ちょうど試してるところ。
そうだよね。
会社に導入するってなったらいろんなところでハレーション起きそうだから、
丁寧に各チームと調整していかないと大変ですね、これ。
そうそう。
とりあえずクラウドコードとかでバーって分析エージェント構築は、
俺はお伺いとか許諾とかとんどめんどくさかったから、
一旦個人PCでバーってやって、
できたんだけど、これここの場で使っていい?って聞いて、
実は意外とどこでも使ってよかったっていう状態が分かったっていう感じ。
あーなるほど。いいっすね。
いやでもそうだと思うな。これから作る、
01の時にそういうの導入した方が絶対楽だよなと思いますね。
そうそうそうそう。これかと思って。
交渉する時にプロダクトをMockを作った上で持ってったら交渉しやすいみたいな。
いいっすね。
じゃあその話も聞きたいし、
まあ会社の話だからね。言えるとこ言えないとこあるだろうけど。
うん。
まあ1ヶ月後そんな話しますか。
そうだね。
隣のデータ分析屋さん、今回も面白いと思ったらフォローレビューよろしくお願いします。
番組の感想や質問は、ハッシュタグ、隣の分析屋。
隣のがひらがなで、分析屋は漢字でお願いします。
また、概要欄に貼ってあるお手紙フォームからコメントお寄せください。
ではまた。
ばいばーい。
