Codatumの概要とコンセプト
こんにちは、ゼロトピックです。ゼロトピック は、株式会社10X の創業者であり代表
である私、ヤモトが、日々の経営 や事業の運営を通じて気づいた
こと、あるいは私たちが目指している スーパーマーケット業界との対話
や洞察を通じて気づいたこと、その他 AI の活用等々、取り留めもなく
雑談をお話しするフォトキャスト になっています。今回は、私が
今、一番仕事で使っているAIという か、ツールについて少しお話しできれば
と思っています。そのツールの名前 が Codatum っていうツールになるんですけ
ども、初めに Codatum ってツールを簡単に だけご紹介させていただいた
上で、これを弊社の中に導入する 背景、きっかけとか、直近の私の
使い方とか、あともう少しこの辺り 改善されると嬉しいなとか、その
辺りを話していければなという ふうに思っています。まず初めに
Codatum 自体の紹介なんですけど、 Codatum は C-O-D-A-T-U-M で Codatum っていう
ふうに読みまして、ある手を提供 しているプレイドさんのグループ
会社の株式会社 Codatum が開発している BI ツールになっています。今さら
BI かと自分も初め見たときは思 ったんですけども、これはやっぱり
この AI 時代に一番ネイティブに動く BI っていうコンセプトなのかな
分からないですけど、非常に使いやすい 形で作られているので、非常に
そこが気に入っているポイント ですね。Codatum 自体のコンセプト
も先進的なデータ探索を当たり 場合にチームのためのデータノートブック
っていう形で、まず一つはチーム でデータを見たり探索したりする
ってことを前提に作られている。 そしてデータを使うっていうのは
基本難しいデータの束があって そこからプログラムでデータを
引き出してきて可視化して終わり ではなくて、結局その可視化した
ものをどのように読み解くか分析 するか、そして分析した結果を人
と共有して議論して、例えば見方 とか視察を得る、そういった活動
全体がデータを活用するってこと だと思っているんですが、今まで
使っていたツールとかBIツール だと、そのワークフロー全体の
一部しかサポートしてくれない っていうケースが結構多かった
かなと思っています。Codatumはその あたりがすごく痒いところに手
が届いていて、いわゆるSQLを書く ためのデータをたくさん管理している
データレークとかデータウェアハウス みたいな側面もあれば、Notionみたいな
ドキュメンテーションとかプレゼンテーション のためのマテリアルを作る側面
もあったり、あるいはCodatum上で 可視化したBIみたいなものを管理
画面とかにそのままエンベッド できて、いわゆるプロダクト開発
を支援するみたいな側面もあった りして、結構いろんな側面があり
そしてそれをチームと共有できたり 議論しやすいような管理ができる
このあたりが少し特徴的なポイント なのかなと思っています。僕ら
Codatum上に自分たちの使っている データウェアハウスであるBigQuery
を接続していて、そこで権限管理 等もBigQueryと関連した形で行って
使えるような形にしています。この 他にTanksの事業ですと、いろんな
パートナーさんとネットスーパー の事業をやっていて、各パートナー
さんの今日のスタッツみたいな ものが各チャンネルに自動で通知
されるような仕組みが昔からあるん ですけども、それを今Codatumが担って
くれていたり、こういったレポーティング みたいなところにもすごく活用
が進んでいる、そんなツールになっています。Codatumを導入した背景
Codatum導入の背景と課題
なんですけど、これは弊社のデータ 基盤チームのEMの谷口さんという
一度このポッドキャストにも出て くれた方が会社で倫理を通して
導入を進めてくださっていて、 そこの倫理書とかを今引っ張り
出してきて、もう一回思い出しながら 読んでたんですけども、Tanksはもともと
創業初期からBIツールをいろいろ 使ってきていて、初期はリダッシュ
っていうものとか、今Googleに買収 されちゃってるLookerとか使って
きて、直近まではTableauを使って いたんですよね。それを社内の公式
のBIとして運用していたんですが、 Tableau自体が結構高価なんですよ、
まずすごく高いと。高い割に結構 使い勝手もそんなに良くないので、
いろんな人が積極的に触るような BIツールにはなっていなかった
り、Tableauを使ったら議論みたい なのも進みづらいとか、いろんな
ボトネックを生んでいて、先ほど お話ししたようなデータの束から
分析をしてきて、チャートを引いて 議論をして、資産を元に次に進む
みたいな、これが結構断絶しやすい 状況になったっていうのが実態
ですと。結果的にTableauを避けて 個人が分析するようになるんですよ
ね。なので、野良データみたいな ものもたくさんあったり、パートナー
に実際に正式に提供しているデータ も一部抜け道から出すみたいな
ことも正直発生していました。 課題を括ると3つあって、1つはデータ
のガバナンスとか、あるいは自立 性って常にトレードオフがあるんです
けど、これを高いレベルで両立させよう と思ったときに難しかったっていう
のが1つあります。一方、このガバナンス を効かせると思うと、中央集権的に
セントラルでいろんなデータを 管理したり、こういうデータが欲しい
って言われたら、そういう分析結果 を返してあげたりしたくなるんです
けど、それをやろうとするには 事業が大きすぎる。なので運用が限界
になって、一方でプロダクトマネージャー とかビズデブが完全に実装できる
かっていうと、やっぱり扱いも難しい し、そこをサポートする機能とか
も弱いんで難しいみたいなところ がありました。結果、やっぱり依頼
が増えちゃうんですよね。自立 実装しづらいので。それでデータ基盤
チームがいろんなタスクを抱え たり運用を抱えてしまうみたいな
ところもあって、最後はやっぱり 結果とか分析のプロセスとかいろんな
考察みたいなものも含めて分析 だと思うんですけど、その内容を
チームの間で共有したり議論したり するツールにはなりきれていなかった
っていうところがあります。なので Kodatamがいわゆるクエリがかける
ノーション型のBIみたいなところ と、あとは権限管理がそれなりに
細かくできるっていう、この2つの 特徴が10Xの課題にはぴったりと
はまったので採用に至ったという 形です。基本、Kodatamで扱うものって
SQLとマークダウンとチャートみたいな 感じなので、エンジニアの既存の
スキルですぐ導入できますし、 あるいはこのノートブックみたいな
形式でいろんなものをチャートも クエリも説明文も全部統合して
社内の中で運用したり共有したり できるので、この辺りは先ほどの
ワークフローですね。それを全て カバーしていくっていう意味で
いうと決め手になった部分かな と思っています。ので、去年の末
ぐらいから今年の3月ぐらいまで をかけてフェーズをいくつか切って
段階的にKodatamを全社にロールアウト してきてもらったというところ
があります。そこから直近の自分の 使い方みたいなところなんですけど
Codatum AIによる分析支援
導入された初期は正直ツールとして 触ってみたもののめちゃくちゃ
自分の中でしっくりくるっていう 感じでもないし、すごいそれを使う
ニーズが自分の中にあるっていう わけでもないんで、単純に日々見ている
例えばある会社のネットスーパー のスタッツが送られてくるスラック
の通知がTableauからKodatamに変わる とか、そういう接点ぐらいしかな
かったんですけど、直近私自身が 新規事業の立ち上げとか、あるいは
もう少し深く入っていって、我々 が出せる付加価値をもっともっと
深いところに作っていきたいっていう ところで、かなり深く入り込んで
自分自身が事業の実態の分析をしたり あるいはアルゴリズムとか、どういう
ポイントで付加価値を出すべきか みたいなのを自分で分析をしたり
するっていうことを、またすごく 強度を上げてやってるんですよね
っていう中で、Kodatamが直近ベータ版 で提供してくれているKodatam AI
というAIエージェント、これがだい ぶ自分を助けてくれるなってふう
に思っています。ちょっと大前提 となる、僕らのこの事業の特徴
みたいなところで、今AI発注っていう 発注を自動化するための事業を
一つサンプルとしてお話ししたい なと思ってるんですけど、ネット
スーパー事業も複雑は複雑なんですが いわゆるEコマース的な側面が
強いので、例えばGMVがちゃんと 伸びてるとか、ユーザーが増えてる
とか、過誤単価がどうなってる とか、見るべき指標がいくつかの
カットであって、それぞれの断面 を見ていくと、なんとなく事業の
精度というか様子が分かるっていう のが良いポイントだったんですよ
ね。なんですけど、このAI発注っていう 事業自体が結構いくつかの側面
で難しくって、一つは発注をする っていうこと自体は、システム
だろうと人だろうと、そんなに難しい ことじゃないんですよね。例えば
3個売れたら3個発注を上げるみたいな 簡単なロジックでも1回発注をする
こと自体はできるんですけど、その 精度を測ろうと思ったときに、例えば
その発注から次の発注までの間に 欠品が起きたのか、僕らはこれを
欠品回避率、欠品を回避できたのか っていう率で呼んでたり、あとは
自分たちがシステムでこの数をこの 日に発注したほうがいいって計算
した数があったとして、それと人の 判断がどの程度ずれたのか、採用
率とか可報集成率とか情報集成率 とか、そういう言い方をしたり、
あるいはシステムが発注をし続け た場合、どのぐらいの数の在庫の
推移があって、これを人がやった 場合はどういう推移でみたいな
もの、平均の在庫の推移とか、こういう 指標をかける、例えば部門ですね、
ヨーグルトとか牛乳扱うニッパイ っていう部門、あるいは調味料
とか飲料扱うグロッサリーっていう 部門、それは部門単位でどうな
のかとか、あと発注って要は全ての 商品、毎日何らかすべきかしない
べきかするんだったらいくつか っていうのを計算するんですけど、
当然ゼロを発注すべき、発注しない と、そういう計算結果が変えることも
すごくたくさんあるんですよね、 特に毎日売れてるわけではない
商品とかは、ある日ポンと発注を 上げるけど、3日に1回ぐらいです
みたいなことっていうのが全然ある ってなると、ゼロを発注するって
のと、1、あるいは5、あるいは12を 発注するみたいな、数があるない
みたいな差分があって、ゼロのときは ゼロを勧告した、要はシステム
は言ったときはどうだったか、あるいは 1以上を勧告したときはどうだった
かっていう場合分けができたり この他にも商品の平均的な回転率
とか、発注の単位といって、1回の 発注で12個単位でしか発注できない
とか、24個単位でしか発注できない あるいは1個単位でしか発注できない
単位でしかというか、1個単位で 発注できるとか、発注単位みたいな
結構いろんなディメンジョン 軸で発注自体を解析していって、
その発注が良かったのか悪かった のか、それを束ねたときにシステム
って良かったのか悪かったのか っていう評価を下していく必要が
あるんですけど、この1断面、あるいは 複数、いくつかの断面を見るだけ
だと、その発注の精度みたいな もの自体を正しく評価しきれず、
かなり7次元、8次元ぐらいの断面 を見ていって初めて分かるみたいな
ところが発注の事業の前提として あるんですよね。そのぐらいの
次元のものをやっぱり人間は理解 するのが難しくって、僕自身も
難しいですし、あるいは僕がこういう 結果でしたよって説明する相手は
小売さん。小売さんも、それこそ 社長さんもいれば、役員もいれば、
部長もいれば、店長もいれば、あるいは 店長等を普段取りまとめされている
販売部の方もいればっていう形で、 色んな業務に携わっている人が
この発注の仕組みに対して評価を 理解したり、共通認識を作っていく
必要があるっていうところで、その 最適な説明の仕方とか、人間が
認識しやすい見せ方って何なのか っていうのがめっちゃ難しいっていう
そういう事業の特性があるんですね。 なので、この特性がある以上、どういう
見せ方をすべきかっていうところ をまず描いてから、逆算的にどういう
チャートを書きたくって、どういう テーブルを作りたくってってことを
考えなきゃいけないので、分析の ハードルというかコストがすごく
高い事業だなっていうふうに思って いるんですね。しかも分析しなきゃ
いけないものがたくさんあると。 これを始め、いつも通り手でガリガリ
SQL書いてレビューしてもらって とか、どのデータベース使えばいいか
聞いてとか、それをもう少し分析 しやすくするためのデータマート
を作るのを依頼してとか、そういう 形でいつも通りやってたんですけど
Codatum AIの具体的な活用事例
このKodatam AIがベータでロールアウト されてから、結構世界観がかなり
変わったというか、こういった 過去に分析した資産をしっかり
コンテキストとして理解してくれるん ですよね。理解した上でテキスト
でこういう分析をしたいんだって ことを伝えると、このAIエージェント
が分析の意図の設計から作るべき テーブルのデザイン、SQLのクエリ
自体を生成して、ドライランして 検証してOKやったら実行までやって
さらに実行結果からチャートも作って チャートを見た結果をマークダウン
で吐き出して分析のドキュメント まで作ってくれるっていう、そういう
レベルで本当どういう仮説を検証 したい、あるいは何を言いたいって
ことを人間がしっかりデザイン できれば、そこから先のワークフロー
がかなり大幅に任せられる。しかも 精度として結構信頼のできる精度
のものが出てくると。そういうツール になっていますと。今までだと、
これやるにはビッグクエリのコンソール 開いて、クエリ考えて、書いて、結果
見て、その結果見ながら分析の方向性 考えたり、別のテーブル持ってきて
またジョインしたり、そういうのを 繰り返しながら最終的なテーブル
を作って、そのテーブルをまたGoogle Looker StudioとかSpreadsheetとかに
接続して可視化して、可視化した 資料をスライドとかノーションとか
に画像として貼って、みたいな感じ でやってたんですよね。こうすると
最終的にノーションに貼ってある のは画像で更新性もすごい低かった
りとか、あるいはこの作ってきた クエリも、当然ビッグクエリ上で
共有する仕組み自体はあるんですけど、 誰もそこ見ないみたいな感じで、
クエリだけは独立してあったり とか、そこから出た資産みたいな
ものは別の場所で管理されてたり とか、そういう問題があったと思って
ますと。これがこのコタタムのおかげで Text-to-BIというかText-to-SQL、Text-to-Chart、
Text-to-Analysis Documentみたいな流れ がむちゃくちゃスムーズになりました。
以前だとこのクエリちょっと書く の面倒だなって、折れてたような
分析とかもかなり気軽に試せる ようになったんですね。今具体的に
やってることだと、例えば先ほどの AI発注で発注の勧告数がどうだった
のかってことを評価するために、 例えば部門ごと、部門も4レイヤー
ぐらいあったりするんで、3レイヤー 目の単位で、その3レイヤー目、ライン
って呼んでるんですけど、ライン ごとに発注単位、さっきの最低の
発注単位と勧告数の、例えば人が どのくらい採用してくれたか、これ
をヒートマップで動的に掘り下げる みたいなことをやったり、あとは
トップ面談を直近行ったんですけど、 その際のトップ面談の資料も、今
まではNotionとかGoogleサイトで作って たんですけど、もう小畳1本で作り
切ろうって言って、小畳の中にテキスト もあればチャートもSQLも全部あって、
例えば昨日作ったテーブルとかも 日付を今日の分でもう一度更新
したいってなったら、全部実行する ボタンポチって押すだけで、トップ
面談の資料自体が最新のものに 更新されていくっていうような
ものになったりしてきました。 なので、かなり自分のワークフロー
自体が大きく拡張されたり、そもそも できないことができるように、折れて
いったことができるようになった りして、データを活用していく
っていうことのハードルがかなり 下がって、民主化がすごく進んでいる
実感があります。ここまでが結構 ベタボメだったんですけど、改善して
Codatumへの改善要望と将来性
ほしいポイントもいくつかあって、 まだ管理のAPIとか十分整備されて
いないんで、権限管理とか、まだ Terraformとかで管理しきれていない
んじゃないかなと思っています。 なので、手作業のオペレーション
やっぱりまだまだ残ってますし、 監査ログの拡充なんかをもう少し
してほしいなというふうに思っています。 僕らからすると、先ほどのトップ
メンバーの資料とかは、もうリンク 一本でパートナーとかに共有も
したいんですけど、さすがにセキュリティ 上、今まだそういう段階にはない
監査ログもないっていう状態なので、 外部にはスポンと渡しづらい状態
ではありますと。こういった監視 みたいなところも、まだまだ機能
不足みたいなところがあるので、 この辺り、特にエンタープライズ
顧客向けのユースケースに耐える セキュリティの基盤とか、API通じた
管理基盤とか、こういったものは 今後の進化をだいぶ期待している
ので、ぜひKodatam社の方に届けば いいなというふうに思っています。
主に、やっぱりこの外部共有周り はすごくニーズが強いところかな
と思っているので、ここが強化されて いくと、例えばダッシュボード
自体をこれでお渡しをして、クエリ を操作したりはできないんだけど、
実行だけはできて、毎日フレッシュ なテーブルをKodatam上で見ていただいて
日々の発注の業務に生かしてもらう とか、ネットスーパーの業務に生かして
もらうとか、手元で実際に使われる BIになっていくっていうのは、すごく
想像がつくので、この外部共有に 足る管理、セキュリティ、API、もしか
したら今後はCLIとか、そういった ものが整備されていくといいな
っていうふうに思っています。ということで 最後、Kodatamに対しては、そう
じてプロダクトとしてすごく高い ポテンシャルを感じていますし、
自分は今、相当ハマっている、フック されているユーザーだと思っています。
これでBIの民主化とか、実際に使われる BIってめちゃむずいんですよね。
ダッシュボードって作るはいいけど、 使われることがそんななかったり、
それを見た議論が起こりづらかったり っていうのが課題だと思っているんで
Kodatamはそこに一歩、手を打って きた次世代のBIになるんじゃない
かなっていうふうに思っています。 ただそのためには、まだまだ共有
特に外部側との接点の作り方っていう のは弱い部分があるので、そのあたり
の改善が進むと、社内だけじゃなくて パートナーへの展開みたいなもの
も視野に入ってくると思っていますし、 このスケーラビリティと信頼性
みたいなものが一つの基盤で収まって いくようになるんじゃないかな
と思っています。あとは遠別と、 例えば自社で作っている管理画面
にKodatamのBIのチャートを埋め込む みたいな、そういったものも特徴
としてあるんですけど、今僕ら はまだそこまで使い込めてない
ので、そういったものを使ったときに どうなっていくんだっけみたいな
のは、ちょっとお祝い試せるといいな というふうに思っています。ということで
ほぼほぼ全編通してKodatamの紹介 をするみたいな回になっちゃったん
ですけど、僕が今一番業務時間に 長いこと触っているツール、多分
スラックを閉じてずっとKodatam とにらめっこして喋っているみたいな
機会が直近だと多いので、お勧め というか、紹介させてもらいました。
今回はこんなところですかね。
