分析コンペの概要
データアナリストのリョッチです。
データサイエンティストのたっちゃんです。
分析コンペって何ぞや。
今日は分析コンペの話をします。
となりのデータ分析屋さん
この番組は、隣の席に知らないことを気軽に聞けるデータ分析屋さんがいたらいいなぁ
を叶えるポッドキャストチャンネルです。
Kaggleっぽいものを主催したって話でしょ?
そう、社内の今自分のいるデータサイエンスの組織なんですけど
そこで、そのプロダクトの実データを使って分析コンペをやってきましたっていう話をしたいなと思ってます。
実データ使って、まあでもKaggleもそうか。
そうですね、実際にプロダクトに溜まってくるデータを使って
AIプロダクトなので予測モデル、AIのモデルがあるんですけど
そこの精度がちょっといまいち悪いよねっていう課題感があって
そもそもの精度って上げられないんだっけっていうのを
チーム全員で深掘るっていうことをコンペっていう形式でやってみたっていうそんなお話ですね。
コンペの目的と特長
なるほど、自分たちで持っているサービスの課題を
もう何かまとまった時間全員で取って
まあ軽く競い合うような形、形式にして改善していこうっていう時間を何かまとめて取るみたいなイメージ?
そうですね、イメージとしては本当にKaggleのコンペみたいなものを自分たちで作って
一定の期間分析の時間を取って
いい予測モデルができたら、それの予測結果をサブミット提出して
そしたらスコアが返ってきて、何ポイントだったみたいな
誰々は何ポイントだったかな、こっちが勝ったねとか自分が負けたねみたいなことが
リアルタイムで分かっていって
最終日に誰が一番その予測スコアが高くなるかっていうのを競い合うっていう
まあそういう対戦形式の分析コンペです
あ、てことはじゃあなんか1週間とか2週間とか期間割と長め?
なんか俺勝手にこうクイックに半日とか1日とかでできるとこまで全員がバーってやるから
なんか一旦こうベーシックなところの分析はもうらできるみたいなものを想像してたんだけど
そうですね、今回全体概要からお伝えすると
分析のコンペ期間は3週間もの多いので
その中で各自それぞれの仕事があるので
隙間時間を使いながらそのコンペも同時並行でやっていって
でデータを理解してどういうアプローチで精度向上しようかというのを各自考えて
で実際に試してみてっていう
そしてスコアが返ってくるってこの実験のサイクルを
一人1週間に1回は最低でもやろうねみたいなところを約束応答として決めて
で3週間やり切ってっていうそんな流れで進めましたね
それってその中で使ってるマッチングのアルゴリズムなのか
なんかこうレコメンドシステムみたいな感じなのかみたいな
モデルを磨いていくコンペ?
そうそうそう、なので今回のタスクで言うと
プロダクト自体が需要予測のプロダクトなので
将来のある商品がどれだけ売れたかみたいなところを
AIのモデルを使って予測しているっていう
そんなアルゴリズムに対して精度を上げていこう
品質を上げていこうっていうところでタスク設計をして
今回自分がこの企画をしたんですけど
なので自分がコンペ運営者みたいなところでデータの準備から評価指標を決めて
で最終のスコアの評価とかもやってっていうところの全体設計と
あとはこの企画を全体に説明して
参加者募ってやってみたっていうところの一通りをやってきたんで
いろいろと話せるかなと思って持ってきましたね
なんか素朴な疑問としてはなんでコンペ形式なんだろうっていうのがあって
普通だったら1チームが
需要予測のモデルとかを作っているチームだったりっていうのがあって
そのチームがもう1回モデル見直して
自分たちでじゃあここ改善しなきゃって言ってやって
またなんか精度の高いバージョン2.0みたいなやつが上がって
っていうのを積み重ねていくようなもんなイメージじゃん
それをなんかコンペっていう形式にするに落とした理由みたいなのがあんまピンとこないなと
確かに言ってる通り仕事の中事業会社の中だと
そういう専門のチームがあってそこがやるべき仕事なんですけど
今回に関してはいくつかチームの中での課題感っていうのがあって
この精度向上の取り組みしてるのって本当に1人とか2人のチームがやってたんですよ
そこのアプローチが結構頭打ちだったりアイディアが発散しないよねっていうところを感じていて
そこの幅を広げたいっていうところで
比較なら参加できるメンバー全員いろんなアイディア持ち寄ってやってみたらいいんじゃないかっていうのが1つですね
なるほどね確かに確かに
あとはですねチームビルディング的な要素もあって
データサイエンスの組織と言いつつも意外とこういうアドホックな分析をする機会がないメンバーもいたりするわけですよチームの中に
そうなんだ
そうなんかAIのモデルの運用をしている人たちだったりとか
どちらかというとAIエンジニア的に開発をメインでやってるメンバーとかがいて
あまりこう予測モデルの精度向上とかっていうところに時間を割くことができないっていう機会がなかったっていうところの機械不足の解消とか
データサイエンススキルの向上とかっていうのがあったり
あとはですね新規の参入メンバーにとっては
今動いている需要予測モデルの使用理解とかもなかなかできてなかったりとかして
そういう意味でプロダクト理解を深めていこうとか
そういう意図もあってのコンペっていう形式だったらタイミング的にいいんじゃないかっていうのが
いろいろとはまっていった時期だったのかなと思ってますね
コンペ運営の工夫
まあ確かに新しく4月とかに入った人とかもいるし
で分かるな確かに2人とかのメンバーだったら
いやここからどうすんねみたいな話にもなりそうだしみたいな
なるほどね
それって何その前例があった上でその形
なんか前もこれでうまくいったよねみたいなのがあんの?
いやこれは完全に初めてチームの中だと初めてでやってみたら面白そうじゃないとか
意外とデータサイエンスの組織を抱えている事業会社で
社内コンペとかやってる企業とか多いと思うんですよ
それこそメルカリとかヤフーラインとかやってたり
1Qとかあるじゃないですかヤフーは
あれってヤフーなんだ
そうそう社内コンペを開催してるみたいなところでいくつか事例があったりするんで
せっかくだったら試しにやってみるかという
なるほどね
軽い気持ちで始めたものではあるんですけど
他の会社もやってるから盛り上がるんだろうみたいな
そうなんだ
案の定盛り上がって3週間終わって色々と話聞いてると
なんかハマってずっと時間を割いてやってしまったよみたいな感じで
楽しくやってくれたみたいなんで
効果は一定あったのかなというところと
あとは実際制度向上にもベースラインの嘘口からはスコアが上がっていったんで
モデルの品質改善にもつながったんで良かったかなというところが
全体の所感というか
そうなんだ
そういうのが積み重なってやってる会社とかだと
すごい参加者集まりそうな気がするけど
初めてで割と集まるもんだった?
いや今回はもうチームの中っていう風に閉じてやったんで
集まるも何もなくチームメンバー全員が必須参加で
10名もいないチームなんで
で一人一人がやるみたいな
そうそうそう
なるほどね
じゃあ普通に一人二人が開発してたところより一回り大きいぐらいの
母体の組織みたいなのが全員デューティーとして参加みたいな
はいそうです必須参加でやったって感じでしたね
そういうのアド音で入ると結構きちいって
なりそうだなって思うじゃんやっぱ
1日とかだったらほらあるじゃんなんか集中的にディスカッションするから
もうこの日は他のミーティングを入れずにガッツリやるわみたいな
日があってもわかるんだけど
3週間運営むずと思って
そこの参加メンバーのモチベーションのコントロールとか
あとは参加のハードルをいかに下げるかみたいなところを
結構事前準備で考えてやってきたんで
そこの話からしていこうかな
3週間のコンペとは言ったものの事前準備に
3週間くらいかけていて同じくらいの期間を
そこでもちろんデータセットの準備とかどういう評価指標でやるかとか
っていうのはもちろんコンペをやる上で必要なものは揃えたんですけど
一番は参加者が簡単にそのコンペでサブミット
自分の予測モデルを簡単に作れるかっていうところが大事かなと思っていたんで
まずは誰もがボタン一つで一連の予測値が出せるような
ベースラインのノートブックっていうんですかね
サンプルコードみたいなところを事前準備していて
そこをベースに少しずつカスタムしていけば
自分のやりたいことが少しずつ変えられるような
まずは構成を取ったっていうのが一つの工夫ですかね
なるほどね
もともとあまり時間取れないよっていうメンバーもいたんで
そういう人向けにそのノートブックとあとは特徴量を少し変えるだけ
例えば100個ある特徴量だからいくつか選択するだけで
そのモデルが再学習されるような設定ファイルを準備しておくとか
そこら辺の実験でもまずはいいかなと思って
事前の準備を結構しましたね
確かにハードルが下がれば一旦週1ぐらいでサブミットしてくれればいいの
ラインもクリアはさせやすそう
そうなんですよね
社内コンペの設計
それで一応1人1サブみたいなところは最初に1週間くらいで実現できて
ただあとこれをどう3週間持続するかっていうところもやっていく中で
課題になってきて
当初はリアルタイムでスコアが見れるみたいなことを言ったんですけど
1日1回のスコア更新に留まってたんですよ
なので朝みんな作業してコンペに提出しても結果が返ってくるのは夜みたいな
これだとやっぱり秋が来るしすぐフィードバック来れないから
みんな継続してコンペに参加してくれないなっていうところを
最初の1週間くらいで見ていて思って
朝頑張ってやって夕方見たら抜かれてるじゃんもう1回やろうみたいな
のを生む機会を失ってたみたいな
そうなんですよ
そこの課題どう解決しようかなっていうので
いわゆるかぐるとかにあるリーダーボードっていうものがあるんですけど
スコアがリアルタイムに更新されるような一連のテーブルがあって
今1位が誰2位が誰みたいな
あれを作ってみて
裏側で処理が勝手に動くようにして提出したらスコアが計算されて
フロントにスコアが返ってくるみたいな
あれを作って実際にみんなに共有してみると
意外とそこからサブミットの回数が増えていって
これ結構効果的なんだなっていうところに途中から気づいて
途中2週間目ぐらいからはリーダーボードの作り込みを自分の中で頑張ってやって
見やすいように工夫しつつ
途中からリーダーボードに対してフィードバック返ってきて
一応リアルタイムに誰が何時に提出したみたいなところ見えるようにしたんですよ
ログ情報全て表示する
そうすると
深夜とかにめちゃめちゃ固め打ちしてる参加者とかいて
これ仕事の中の一つとしていいのかとか思いながらも
確かにね
夜10時とか11時ぐらいにやってる人とかがいて
そこの人の話を聞くとリーダーボードに沼るというか
中毒性があったみたいで自分のスコアがどんどん上がっていくことに
そこに少し気持ちよさというか
かぐるの仕組みもうまくいってるんだね
そうですねあれがかぐるがなんで人気かってやっぱり
自己肯定感というかやっぱりスコアが良かったら単純に嬉しい
みたいなところの中毒性によって回ってるのかなと思っていて
それを反映できたかなという感じですね
あれってそんな効果あるのか
自分もかぐるとか参加して確かに
スコア上がった時の気持ちよさというか仮説立てて
こうやったらうまくいくんじゃないかみたいなところで分析に落として
AIのモデル作ってそれがその仮説通りに精度が上がるって
結構一連気持ちいい流れができるんですよね
そこをうまくリーダーボードという形で
実現できるんだなというのはやってみて気づきましたね
アイデアの発散
なるほどね
新メンバーのキャッチアップ用としての
存在としてはめちゃめちゃ有意義な
ものなんだなという感じはしたんだけど
アイディアもうちょい広げさせるみたいなところだと
そんな大体的にやらなくてもいけそうな気がしちゃうというか
それこそ
あと2人いてプラスAIのヒアリングを
重ねまくれば出てくるものもあるんじゃないかな
それで例えば10人集めて10個優先度ついたアイディアを
上からそれぞれ10人が1週間で実装するとかでも
効果はありそうな気がするじゃん
そうですね
ブレスター的にいろんなアイディアを発散させてってことですよね
そうそう
自由度がある方が振り返ってみると
いいんじゃねみたいな感覚があるのかどうなのか
試しにそういうイベントやるのはめっちゃおもろいなと思ってて
例えば
AIのワークフローのアプリケーション作るっていう
ハッカソンみたいなのを部署内で
半日全員のスケジュールを抑えて
とりあえず全員AIワークフローを構築できるようにしろ
みたいな時間を取ったこともあったりして
それもマニュアルが
全部整備されてたらやろうと思えば全員
いけるじゃんっていう考えもよぎりながらやってたんだよね
けど横並びでやってるから
挫折が一瞬で解消されるし
っていうのでオフラインで集まって
戦うっていうよりはそれぞれがハンズオンで
ワークフロー作る
っていうような
ハッカソンっていう形式にしてみたのは
それはそれでよかったのかなと思ったんだけど
確かに一定あるかなとは思いつつ
これまでも同じように精度を上げていくためには
どうしたらいいんだろうっていう議論は継続的にこういうプロダクト
だからこそ発生するイベントなんですよ
お客さんから精度悪いって言われたら改善しなきゃみたいな
そこに対しては今までは
今話した通り人が集まってアイデア発散させて
こういうアイデアがいいんじゃないかっていう優先順位付けして
少数のメンバーが実装するのはやってたことなんですけど
なんかやっぱりこれだと手数が足りないなっていうところと
あとですねこれ事業会社あるあるなのかもしれないんですけど
結構俗人化しないようにしよう
みたいな意図が組織としてあって
この精度改善するメンバーにしか頼れないみたいな状況を
どうしても避けたいよねっていうところで
チームの全員ができる状態にしたいっていうのが一番の大きなポイントだったので
それ解決するためには
まずはデータを誰もが触ってみるのがいいんじゃないかっていうのが
あったのかなと
なるほどね
チーム全体で一緒のことをやるとか
それに対していろんな角度から自由にアプローチかけるみたいなのは
そうですね
どっちもあると思っていてもちろんプロダクトの
精度の天井を上げていくっていう話もあるけど
ボトムアップ的に組織を強くしていくっていうところが
プロダクトの成熟と一緒には必要になってくるんじゃないかな
っていうのは長く
サービス関わってますけど感じますね
そこまでめっちゃコンペの形式作り込んでくれてたら
未来の可能性
あれだよね
今回10人とかでスモールにやったって話だったけど
なんだろうな例えばデータセットが
ちゃんと管理されてるサーバーというか
場所みたいなのがあってそれは別にGoogleワークスペースでも
さっきの話ある程度完結しそうだしGitHubでもいいしみたいなのがあって
それが繋がったカーソルとか
全員同じスペックのやつが
手元にあるみたいになったら
こういうアイデアいけんじゃねって言ったら自然言語である程度できる
世界でもあるわけじゃん今だと
多分みんなキャッチアップはしてるけど
コードの改善の仕方って絶対AIに聞いてるだけじゃん
間違いない
自然言語縛りにした上で
事業開発とかの人も入って
これ当てた方が絶対に事業予測って精度いいじゃんって
こっそり思ってることをモデルに組み込むみたいな
運用もこれからできるんだろうなって聞いててちょっと思ったよね
そのアイデアは今回やって
そこに向かえるなっていう兆しを感じていて
データセットと評価指標と
あとは分析する環境さえ標準的なものが
揃って準備されれば
人間がやってもAIのエージェントがやってもそこって同じだと思うんですよ
やる人が変わるだけで
全然いけるよね
人間のコースかけるよりかはAIエージェントにグルグル実験回させた方が
絶対効率的なのは当たり前なんで
その下地というか土台を今回作ることができたなという風に感じていて
確かに今の形可能性広がるような
そうなんですよね
第2回第3回ってやっていくうちに徐々にここのコンペの形式をブラッシュアップされて
自分の中ではゆくゆくはこれはAIエージェントに置き換えるみたいなことを
トライするべきなんだろうなっていうのは
期待しつつやってみたいことも一つになってきてますね
しゃべって自然言語でこの要素
そうだなみたいな特徴量はこれとこれとこれがいいんじゃないかなと思ってるけど
どうかねみたいなのを話してフィードバック返ってきながら
じゃあそれでいこうって言ってフィードバックOKみたいな
ポチポチって押していったら特徴量決まって
じゃあモデル回すか一旦特徴量変えただけで
いくみたいないったらどうなる
まあOKそうだから一旦サミットしとくかみたいな感じで
サミットさせて同じようなアプローチをした人たち
自然言語でやるからこそ統計たまっていって
それを分析してまとめたら
この4本ぐらいのブランチのパターンになりそうだよみたいな
になってみたいなのやったらめっちゃ効率良さそうだし
敷居も下げれるよね
そうですね人間がどこまで開催するかっていうのはありますし
ちょうどここ最近ちょっと話取れますけど
カグルのコンペでテーブル形式のコンペが今開催されていて
そこの中で暫定位置を取ってるユーザーが
完全にAIエージェントだけで
コンペに参加させたみたいな
俺この間それXで見たかもしれんな
こういう風にやりましたみたいなところがディスカッションに書かれてたんですけど
データセットとコンペのルールと
モデルを作るっていうところのタスクをAIエージェントにやらせて
サブミットして評価して
AIエージェントの活用
外れているところの原因をまたエージェントが分析して
また新しいモデルを作り直す
このループを完全にエージェントにやらせた結果
また始まって1ヶ月もしてないコンペですけど暫定1位まで行きました
っていう中間報告みたいなのが上がっていて
コンペの形式だとこれってAIエージェントにやらせられるよなと思っていて
確かに確かに
データサイエンスのやる仕事もこのやり方が
スタンダードになってくるんじゃないかなとは感じてはいますね
なんかAI時代にドキュメントの整理が正義だよって
言われてたように
いっぱいエージェント君に遊んでもらうための
プレイフィールドだけこっちで作るみたいな
データセットとルールみたいなのを作っておくみたいな
そうですね確かに確かに
それの前段階として自然言語だけでコンペに望む
みたいな縛りがありみたいなことが
なってくるんじゃないかなと感じますね
そんな感じで個人的にはうまくいったかなとは思っていて
数値的にも精度上がったよとかっていう
効果が出てたり
機械学習の実験管理ツール
みたいなのがあるよっていう話を紹介したと思うんですけど
今回もそれをしっかり組み込んでコンペ参加者がどういう
特徴領どういうモデルいつ誰がどんな風に
実験を回したかっていうのをログとして全て吐き出すようにしていて
それを一括でタンビル箱みたいなところを
準備したんで組織の中で
こういう実験を回すとかってなると再現性とかが求められるんで
その仕組みを裏に入れといたのは
よかったかなとか感じていて
それ何に使うの?
直接こう使うっていうのは特になかったんですけど
まずMLflowをみんなに使ってもらうっていうところの教育的な意味合いで入れていて
あとは
参加しているコンペ機関中にQAとか来た時に
運営側としてここ間違ってるよみたいな指摘ができるんじゃないかなっていう風に
思って入れてました
実際にコンペ中もリークって言われる
AIが予期しない
学習データを使ってカンニングみたいな感じで
良い予測を出してしまうみたいな違反行為みたいなのがあるんですけど
それがあるかないか疑わしい
すごい良いスコアが出てる人がいて
そこのチェックをMLflowを使ってやってみたら
確かにこのリークって言われる
コンペ形式の意義
AIのカンニング行為が疑わしくて
そこを指摘して直してもらうみたいなことがあったんで
ガバナンス的には超使えたわけだ
なんかあれなのかな
仕事を出してそんなに深ぼんないけどみたいなのあるだろうけど
みんな初手やっぱここ考えんだみたいな傾向とか見えるかもってことだよね
それはありますねどういうモデル使ってるかとかも
分かるんで
初手このモデルだよねみたいなところは
ありつつでも意外と
いろんな幅広くやってるように見えてきたんで
最終のナレッジ共有会みたいなところが楽しみだなと
いいねそれ
そういうのもあるのかコンペやったよっていうところと
事業会社だとこういうコンペ形式でやってみて
チームビルディングとか組織のナレッジ収集とか
ゲーム形式でやってみるっていうのは
いい取り組みかなと思いつつ
ゆくゆくは自然言語にコンペの中で活躍してもらう
みたいな未来も確かにあるなと思ったんで
そういうのがある上で今これやってるっていう
整理の仕方をしたいもんね
後付け感はあるかもしれなかったんですけど
もし機会があったらやってみたり参加してみるのはいいかなと思いましたね
確かに大事だなちょっと参考にします私
はいぜひ
次回はあれですよ話題のあれ
タイトルなんだっけプロンプトエンジニアリングですよね
話題のオライリーから出ているLLMの
プロンプトエンジニアリングっていう最強の本
牛が表紙に載ってるやつですね
それをめっちゃ話題になってるし
今んとこ割と読んだような気もするんで
お互い読んでただただ語り尽くしていくっていう
やってみましょう初めての試みですよこれは本の内容を語るのはね
基本的にはどっちかが読んでくるで教えてもらうっていうスタイルだったから
まあまあまあ割となんか
プロンプトエンジニアリングを基礎から応用まで
整理される感じ頭の中が整理される感じは
半分ぐらいなんだけど確かにあるなと思う
確かにありますね冒頭から自然言語のモデルの歴史とかが書かれてるんで
なるほどっていうところで再整理されましたね
大学の授業の資料をこれで書き換えようって思った
それぐらいすごい丁寧に説明してくれるいい本でしたね
ちょっとなんでそのあたりをちょっと
読もうかなって思ってる人はそれ待ってくれてもいいし
読んだ上で一緒に聞いてくれたらおもろいかもしれないんでお願いします
隣のデータ分析屋さん今回も面白いと思ったら
フォローレビューよろしくお願いします番組の関数や質問は
ハッシュタグ隣の分析屋隣のがひらがなで分析は漢字でお願いします
またガイドワンにあてあるお手紙フォームからコメントを寄せください
ではまたバイバイ
