データ基盤パーティー
データ基盤パーティーやろうよ。
へんなパーティーだな。
パー券を配ります。
政治家のように、
パー券を配って、
お金を稼ぎます。
お食じゃん。
お食事券ね。
お食事チケット。
お食事券ってそっちだと思ってなかった。
え?音で聞いてたの?ニュースを。
え?そうでしょ。
から揚げ定食351番の方みたいな。
最初絶対
お食事券ってそっちだと思うでしょ。
汚れてる方よ。
あ、そう。
まあ今回は、たっちゃん
起業ストーリー第2弾ということで。
うん。
データ基盤の話
データ基盤の話。
そうですね。
なんか実際苦労してると、
あれだね、話の内容も
変わってくるね。
なんか見えてくるポイントが変わりますもんね。
前話したときはこうやってやりゃいいらしいよ
みたいな。むずそうだよねー
って言ってたけどなんか
ほんとにむずいんだよなって感じ出てきたよね。
出てきますねー。
いや出てくるってかもうマジでむずい。
そう。
で、だからみんなに助けてほしいから
ぜひね、このエピソード
聞いて、最後の方に
一緒にイベントやろうよみたいな
話もしてるから
ぜひぜひコメントお待ちしてます
という感じかな。よろしくお願いします。
はい。ということで
最後までぜひお聞きください。
どうぞ。
隣のデータ分析屋さん。
この番組は
隣の席に
知らないことを気軽に聞ける
データ分析屋さんがいたらいいなー
を叶える
ポッドキャストチャンネルです。
データアナリストのりょっちです。
データサイエンティストのたっちゃんです。
今日はなんでご参照?
今日は
新規事業を
立ち上げていく企業ストーリー
第2弾というところ
にはなるんですかね?
来ました。来ました。
意外と評判良かったよね。
第1弾。
第1弾良かったですかね?
なんか、あったかいコメントが多かった。
うんうん。頑張れって
応援のメッセージが
いただけたので、嬉しかったですね。
第1弾の時は
どんなことをしようとしてるかっていうところで
ECGを立ち上げたいんだっていう話と
後半でダイナミックプライシングの
話を
しましたね。で、
今回は
データの基盤の話だったり
どういう風にデータを蓄積して
いこうとしているかみたいな
思想の部分と
実際に手を動かしてやろうとしていること
みたいな
そんな目線で
話したいなと思っていて
ゼロからデータ基盤作るってことね。
そうなりますね。
もともと
僕の会社で
動かしてるシステムとかの
雰囲気は踏襲するかもしれないけど
ゼロからそこに
データが積み上がっていって
それを
今使いやすい状態じゃなくて
ちゃんとスケール
していくのにも耐えれるような
形も想像しながら
今基盤を作っていかなきゃ
いけないってことだよね。
データの管理方法
そういうことです。
難くね。
ただ自分が
新規事業に関わりたい
と思った理由の
一つが
今はデータサイエンティストで働いてたけど
新しい領域に手を広げていきたいな
その新しいところっていうのが
この基盤
設計とか
中でもデータ基盤の
立ち上げだったり
どういう風にスケールしていくかっていうところを
勉強したいっていうのがモチベーションに
あったので
だからこそ
勉強しつつ実際に手を動かしながら
ちょうど今
絶賛開発中っていう
ところではあるんですよね。
なんかデータスチュワードの
回
の時もそんなようなこと
言ってたよね。こういう仕事したいみたいな。
そうそう
ちょうど
いつのエピソードだったかな
1年振り返りをした
近辺で
今がデータスチュワードっていう
触手が
最近言われるようになってきた
っていうデータ基盤の人たちと
データサイエンスとか
データエンジンアナリストをつなぐように
その架け橋になる
みたいな仕事が熱いっていうのを
結構熱量高く
喋ったんですけど
あそこらへんから興味持ち始めて
今の仕事
とかしながら
どうやったら新しい領域に
入れていけるのかなっていう模索した結果
自分で
事業立ち上げてそこの
ポジションを自分がやれば
いいんだっていう
解決策を見つけたんですよね
ソリューションエグくない
なかなか会社の中で
働いてたらポジション移動する
って難しくて転職とか
なるとまた話は違いますけど
職種変えるって難しくないですか
まあ
でもそっか新卒の時が
一番選択肢は広かった
そうですね
一応希望とかは聞かれたし
ある程度
ユーズは聞いたと思うけど
会社の組織にもよるけれど
自分たちの会社っていうのは
データサイエンスはその職種で
ガッと集まってる部門というか
なので他の本部とかに移動しない限り
職種を
変えるって難しい状況にあったんですよね
なるほどね
まあまあ確かにそれはそうかもしれん
そうそう
まあだからこそ
自分で会社作って
自分でサービス立ち上げて
自分でそこのポジションやるっていう
リューションになったっていう
茨の道を選んだ
発想キモすぎるよね
でもそれそうやってやればいいんだよ
って話かみんなも
もしやりたいのであれば
そうですね機会があるのであれば
それも一つの選択肢かとは思いますね
すごいな
それを今やってるわけだよね
そう今やってる
どうよ
一言で言うと難しいですよね新しいことやろうとしてるから
いやまあね
そうだよね
でも結構体系的に
まとまっている領域でもあるし
以前データスチュワートの話したときも
データをどういう風に
管理していくかっていうのって
整ってきている
部分でもあるから
過去のうまくいった事例とかを
集めつつ作っていけばいいのかな
っていう風に思っていて
以前も話したんですけど
データ基盤ってそもそも
何かっていうところが
まずあって
データ基盤って何か
一言で言えばデータを保存しておくため
の保存場所
プラス各用途に合わせて
加工してあげたり
処理してあげるみたいなところを指しているものだと思ってるんですね
データストレージ
データレイク
データマートみたいな
違いで話したところだよね
そうですそうです
言ってくれた3つの階層に分類できるよね
っていう話があって
これが主流で生のデータを置いていく場所
データウェアハウスっていう
分析で使いやすいように
一時加工したデータを置く場所
データマートっていう
最終的に使う
データに
綺麗に整形されたデータっていう
この3つを
ちゃんと立て付けられれば
半分くらい仕事は終わったのかな
と思っていて
そんなでかいんだ
そこが
いやそうなんですよ
そこの3つの階層に
どんなデータを置けばいいか
っていうところが
頭を使うポイントだと思っていて
うんうん
自分が作ってるサービスって
ECサイトになるんですけれど
ECサイトで生まれるデータって
いっぱいあると思うんですね商品のデータとか
お客さんのユーザー情報とか
出品者のデータとか
各
データをどう集めてきて
さっき言った3つの階層に
どのデータをどこに
置くかっていうところを
考えなきゃいけない
まずそこが一個難しいポイントで
あとはその各種
集まってきたデータをどう加工していって
どういう風な
使い方をするかっていういわゆるユースケースですね
を
最初にこう想定して
作っていくっていう
あーなるほどね
管理方法っていう話とユースケース
想定して出口を最初に作っておくっていう
まあなんか
データ溜め込んどきゃいいっていう話じゃないよ
っていうことだよね
そうなんですよとりあえず
データぶち込んどくだけだと
どこにどんなデータあるかって分からないし
効率も悪いし
量も重むし
あーそうそうそう
っていうね話もあるんでそこを綺麗に考えられるかどうかって
結構こうスキルが
必要ノウハウが必要な部分
じゃあなんか
そのレコメンドのシステムを
ちゃんと入れておきたい
ってなったら
それに合ったデータの取得を逆算して考えるし
ダイナミックプライシング
とかを入れるっていう話してたってことは
その価格系のやつを
に
必要ななんだろうな
例えば今何人
サイトにいるかとかまで取んなきゃいけない
とか誰がどの
検索ワード
調べてるかまで取んなきゃいけないとか
っていう需要に関する
情報をどこまで細かく取るか
みたいな
いやそうなんですよね
まさにこう何のデータを取っていく
べきかっていう部分と
それをどう使うかっていうのを
想定しなきゃいけなくて
今言った
レコメンドの話とかだと
簡単にパッと想像できるのって
商品の購入履歴とか
あとは
ユーザーがどういう商品を
見てるかっていう閲覧履歴とか
そういう
ユーザーの
アクションに関する
データを蓄積していったら
こういうユーザーって
こういう似ている商品
みんな見てるよねとかで
アクションシステムができるんですけど
それが現状だとしたときに
もう少しレコメンドの精度を
上げたいよねっていう
要求が出てきたときに
多分今持ってるデータだけじゃ足りなくて
他にも他のデータ集めなきゃいけない
っていう施策を
打っていくことになると思うんですよ
そうなったときにユーザーの興味に関心引けるような
画面の繊維に関する
行動パターンのデータを
もうちょっと取っていけるように
なるほどね
入力するデータを
考えたりとか
不足しているデータって何なんだっけ
っていうのを考えて
さっき言った
データ基盤の方に新しい
テーブルを作っていくみたいな
現状とギャップを
理解して
新しくこんなデータ取っていったらいいよね
っていう話を
何回もしていくことで
必要なデータを
取捨選択していくというか
なるほど
あと今の話に追加で
俺が今まで
こう
データの話
天文の研究とかも含めて
結局最終問題になるのは
絶対一回
ぶつかるなと思っているのは
情報鮮度みたいなのも
あると思って
その
よく言うのがさこのデータマート
n-1日までで入ってます
とか
n-2で入ってますとかあるけど
需要予測で
その場で
その人の需要に答えるってなったら
デー単位じゃ結構
厳しかったりもするじゃん
物によるだろうけど
データもう
行動したデータログがすぐ入ってくる
もう
即時データログ
とかその処理を
データの鮮度と保存方法について
エッチ側で全部やるのかとかあるだろうけど
そこの壁も
最初
どのぐらいの情報鮮度を保つか
結構議論
なるのかなと思ったけど
考えるのそこも
考えますね
データがどういう風に保存できるかって
リアルタイムに
データ収集するためには
それ専用の
データベースの設計しなきゃいけなかったり
クラウドを使って
やってるんで
クラウドのマネージドサービス何を選ぶかっていう
サービス選びにも
関わってくるので
事前に
どの鮮度のデータを蓄積していくか
っていうのを考えるのはありますね
そうだよね
それぞれの
切り口で見える情報は
違うから
一概に全部リアルタイムで
全部取れてればいいってわけでもないもんね
そうなんですよね
データ取っていくと
走る処理の頻度も
大きいし
それに応じてコストもかさむので
結構コストとのトレードオフを
スモールビジネスで
最初スタートするときには
本当にそこまでの鮮度
必要なんだっけって
お金の観点での議論も別で走るので
理想を追い求めても仕方ない
むずいね考えること多いね
そうなんですよ
だからまずスモールスタートは
最低限
データが蓄積されて
お客さんが商品買ったり
できるようなところを実現する
っていうのを目指すのであれば
リアルタイム性は必要なくて
1日1回とか24時間だったら
1時間に1回のバッジ処理が
走ってデータ収集できればいいよね
とかっていう
鮮度データの鮮度を保つ
っていうところに着地したり
しますね
データ基盤の設計とユーザー目線
今一番苦労してるのは何なの
今一番苦労してるのは
ゼロから作っていくところなんで
やっぱり何のデータを
集めなきゃいけないかっていう
部分を洗い出すところが
苦労している
そういうことか
なるほど
実はサービス理解度が一番高くないといけない
っていう話なのか
そうですね
ビジネス部門とかと
比べると
一番どんなサービス作りたいか
っていう全体設計を
見れてないと
確かに確かに
いけないポジションかもしれないなと思いますね
その
ユーザーを頭の中で想定して
その人の
指の動きとかまで
とか
で
どういうのに興味がある人で
どういう検索して
どういうページ遷移していくか
どういう購入して
次回来る人どういう
気持ちで来るのかとかまで考えないと
どこの情報を
取ればいいか
が分かんないもんね
ユーザー目線で考えるっていう
想像を膨らますっていうベクトルもあるんですけど
逆に自分が作った
ストーリーの中にユーザーを
動いてもらえるような
設計というか
一瞬ずつは分かりやすいですよね
商品を見て
カートに入れて購入するっていう
フローになるように
システムを作っていくっていう
最初にこっちが道を作ってあげるっていう
方法もありますね
なるほど
どっちもで考えないと
いけなくて
自己満のシステム作って
ユーザーにこう動いてもらえばいいじゃん
ってなっても
全然なんだろうな
ところにしては良くなくて
ユーザーってこういうことも
考えるからユーザーに寄り添った
システムの作り方とか
ECサイトに関して言えば
すでにいっぱいあるので既存のサービスがね
そこを踏襲
すればいいかなとは思いますけどね
参考にできる資料とか
めっちゃ出てそうだよね
ありますねありがたいことにそれは
でも意外と成功事例が多くて
どこで失敗したかっていう話は
あんまり出てないので
個人的には気になる
失敗は再現性あるけど成功って
再現性ないみたいな言うじゃん
そうなんですよ
そういう話が
聞けるイベントとかやれば
いいんじゃない
逆に人を集めて
ECの事業を
作った話をみんなで聞いて
もらうとかセミナーで
そうそう
大きい会社
なんだから
会社の
例えばデータサイエンティストの
部署の広報費用とか
採用費用とかで
会社主催の
イベントを例えばやって
ちっちゃいやつね
本当数十人とか
呼ぶようなやつで
データ基盤とかのを担当してる
人を見つくろって声かけて
成功事例は
3割しか話しちゃいけませんみたいな
失敗した話
7割で
みんな話さなきゃいけないみたいなのにして
そこで情報を集めるっていうのも
手だよね
面白いですねそれ
でネットワーキングして
細かい話聞くみたいな
それが一番早いのかもしれないですね
会社の採用
イベントとかを
今年から結構
俺が動かしてるからさ
そうなんですね
自分の興味がある
もの
とかのテーマに寄せて
自分が話聞きたいもの
をベースにして
部署の要求もいい感じに満たしておく
みたいなのしとくと
会社の動きで
自分が得するみたいな
たてつけを作れる
お互いウィンウィンですねそれは
そうそうそう
企画とイベントによる情報収集
ありだなぁ
企画しよう
それがいいんじゃないかな
会社の中での
あれも上がるしね
存在感みたいな
社内企業だと
社内サービスとして知ってもらう
っていう一番の近道があるじゃん
今こういうのやってるんですよね
みたいな
知らない人がたぶんたくさんいるだろうから
その人たちにアピールしつつ
自分の欲しい情報を外の人から
呼んでカバーするみたいな
なんか複数の事業を
立ち上げてるからこそできる
強みではありますよね
会社としての
外部の人呼んでもいいし
内部の立ち上げやった人呼んでもいいし
そういうさ
社内企業とかで独立した人
を
呼んだ
内部イベントでもいいよね
たぶん同じような感じでさ
企業してる人たちがいるわけでしょ
その人たちに話に来させる
めちゃめちゃいいですね
イベンターだから私最近
イベンターですね
発想がそこ
その発想はイベンターですね
いいなと思った
こうやってやってんだみたいな
顔の広い
データサイエンティストの人とかいるじゃん
きっとこういうのを
自分で企画した後に呼ばれるようになって
っていうフェーズなんだろうなみたいなのとかは
企画して思うから
なるほど
そういう時ってもうある程度
スコープ絞っちゃったりするんですよね
何の話かって
テーマみたいなの
だから狭め
狭めまくって
15人来れば十分ですみたいな
イベントに
100人呼ぶ必要はないから
15人コアな人が
集まればいいっていう体で
ダイレクト
メッセージだけで人集めて
15人のイベントやってちょっと会社のお金で
軽食とお酒用意しますみたいな
15人くらいで
15人がみんな喋れる人が集まれば結構十分ですもんね
十分十分
10とかでいいと思うよ
その感じなら
そういう発信力とか大事ですよね
事業を作っていく上で
認知上げていくとか
知名度上げていくためには
発信力で相当大事なんだなっていうのを
改めて最近感じていて
もちろん営業力とかにも
繋がるんですけどこれって
何してるかを知ってもらえるってでかい
このエピソード聞いて
千何人とかには
届くわけじゃんここで話すだけで
これで
データ基盤に反応してくれる人たち
結構いるじゃん
だからこれ聞いて
いいじゃん今のってなったら
まずその人にコメントもらって
その人を
巻き込んで
一緒にやろうよみたいな
なんか
コメントお願いします
お願いします
このポッドキャストを使っていくっていうのが
手だから
教えてください僕に
データ基盤についてよっていうところで
いっぱい
いっぱいXで絡ませてくださいって
言っておきます
みんなハッシュタグつけるか
たっちゃんにBM
お願いします
まだまだ絶賛
動いてる途中なので
最初は構想段階っていう話で
今日は話をしました
次回は
俺かな
Web3の話するっていう
話をしてたじゃない
1週間の時に
しました
チャットGPT
うまく使って
クリプト
オンチェーン分析めっちゃしやすくなってるな
今っていうのがあるから
ちょっとそのあたりを
時代は変わりました
変わったんですね知らなかった
なので
AI系とクリプト系って結構情報
感度高い人が多いからそこを
組み合わせていろんな作業を
簡素化させようみたいな動き
が意外とあるなっていう
それを実際に俺は享受できてるから
その話を
ちょっとしていこうかな
というのが次回ですかね
了解です楽しみにしてます
よいしょ