データサイエンティストの現状と役割の変化
よっちです。たっちゃんです。
お肩書きとかはいいかってなっちゃった。
なくなった。なくなった。なくなったし、あえて言うような肩書きもなんかないなと思って。
まあ確かに。データサイエンティストって存在してるの。ちなみに。
となりのデータ分析屋さん。
この番組は、隣の席に知らないことを気軽に聞けるデータ分析屋さんがいたらいいなぁ、を叶えるポッドキャストチャンネルです。
データサイエンティストって存在してるの。ちなみに。
存在はしてるんじゃないすか。ちょっと怪しいよね。
世の中的にはどうなんだろう。うちの会社ではまだ、部署の名前にデータサイエンスって名前残ってますけどね。
そうなんだ。
でも蓋開けてみると、データサイエンスの従来の仕事をしてるメンバー多分10%もいないんじゃないかなっていう。
そうだよね。
AIとかでやってた部署の変わり方って大変なんだろうなと思うよね。
だいぶ変わってきてますよね。
社内コンサル要員とかめちゃめちゃ変わらず機械学習モデル作るみたいな。
半どころは大事だからね。
それがゼロになることはなくて、機械学習のモデル作ってリリースしてるサービスもいっぱいあるから、
そうなってくるとそこの中のモデルを作るっていう仕事は一定あるから、
10%がゼロにはならないんだけど、やっぱりそれ以外のところでのニーズが増えてきてるから、
どんどん人は減ってきてるなっていう印象ですよね。
データサイエンティストの中にもいろんなタイプいるじゃん。
コンペをめっちゃ頑張るモデルゴリゴリの人と、
そこもちょっとかじるけど、どっちかっていうとアカデミック寄りのアプローチの方が好きな人と、
もっとコンサルに寄ってるデータサイエンティストとみたいな。
3つのベンズみたいなのに書いてたやつも、ちょっと尖った、それぞれ尖ったのがいて、
なんとなく学術とか科学系に強く興味持ってた人たちは、
今LLMを作るとかそういうのを言ってる会社に近いところにいるイメージ。
確かにそうかも。R&D的なところでやっていて、
本当に数学の数式とかを見ながら語り合えるような人が一定データサイエンティストの中にいて、
そうそうそうそう、彼らがたぶんやっぱLLMは面白いと思うんで、そっちに行ってはいますよね。
でも結構コンペとか大好きでゴリゴリやってたカグルのグランドマスターとかは、
国内の魚とか、SB Intuitionsとか、
国産LLM作ってる会社とかに結構行ってるのはSNSで見るんで、
たぶんどちらもな気がしますね、その研究開発の人たちもコンペゴリゴリも、
なんとなくそこらへんに行ってる印象。
たぶん国内の結構そういうコンペトッププレイヤーたち、かなり集まってるでしょ。
集まってますね、そういうふうに見えますけど。
だから困ってるのはビジネスやってた人たちじゃないですか。
俺ら何やればいいんだろうっていう。
社内AI推進とか、いわゆる社内AIコンサルみたいな形になってる感じはするけどね。
確かにそれはあるか。
それこそチャットGPTとか、それに付随したいろんなサービスを、
社内の仕事の中でどう活かすかっていうところに向けて、
活用の仕方とかをどんどん導入していく側ってことですよね。
社内で技術をよく知ってる人として呼ばれるみたいな。
けど事業部内でゴリゴリにやってる人の方が正直見えてんだよなみたいになって困ってるみたいなのは結構ありそう。
そうですね。やっぱりデータサイエンスの形は変わってますね。
変わるよね。もうセクシーじゃない感じするもんな。
セクシーじゃないし、どんどん人が入れ替わりになってきてる業界ですよね。
本当だよね。
結構話聞きますもん。
自分の周りもそうだし、他の会社とかもどんどん人が入れ替わって、
あの人辞めたよ、あの人来たよっていう。
来たよのパターンあるんだね。
来たよのパターンもありますし、なんか動いてますよね、世の中がちょっと。
いや、動いてる感じはする。
世の中のデータサイエンティストたちはみんなどこに行っちゃったんだろうと思って、
G-Brainの導入と活用体験
そんな中で、あ、そうだ。
G-Brainを触ってくれたんでしょ。
ここで話した後。
そうそう、前回までのエピソードでG-Brainってやつがあるってなって、
一旦は触ってみるかで導入してみたんですよ。
はいはいはい。
想像以上に使えた。
でしょ?っていう話。
あんなにサクッと入れれる割には良いよね。
そうなんですよ。
もともとどっちが話してくれた中の課題感は同じだなと思ってて、
いくつかのプロジェクトに関わっていたりとか、
仕事の中でも開発した後に仕様設計とかを考えたりとか、ビジネスの話したりとかで、
結構脳みそがテーマごとに切り替わるところの負荷がすごく大きいなっていうのを感じてて、
じゃあG-Brainを入れてもう一個自分の脳みそを作って置いときゃいいじゃんっていう話は、
確かにその課題を一気に解決できるなと思ったんで、
とりあえず入れてみるかで、
自分はコーデックスを使ってたんで、コーデックスに全部G-Brainのリポジトリ見せて導入してって言ったら、
驚くぐらいにスムーズに入って、
そうなんだよ、10分くらいであらかた終わるよね。
本当にリポジトリクローンした後に、
多分内部でこういう初期のセットアップみたいなツールが呼ばれて、
G-Brainにまず名前つけましょうみたいなところから始まるんですよね。
名前つけてあげて、
あなたどんな仕事してますかみたいなインタビューがあって、
曖昧な質問だったらそこをしっかり詰めてから計画的に進めますかとか、
とりあえずやってみるタイプですかとか、
そういうところのインタビューがあって、
一通り終わったら、じゃあ始めましょうってなるんですけど、
最初触ってみて思ったのは、
こいつ何ができるんだろうってよくわかってなくて、
脳みそはできたんだけど、
まだ空っぽじゃんこいつみたいな。
そこだけちょっと戸惑ったんですけど。
格納の仕方というか、
まだ空っぽだよね脳みそみたいな。
どうやって情報入れればいいのみたいなこと言ったら、
じゃあ何入れましょうかみたいなことを全部コーデックスがアシストしてくれるんで。
そこがやっぱ、
初めて、
このLLMとかがめっちゃ伸びた後に、
しっくりくるチュートリアルというか、
これが欲しかったみたいな、
こういうチュートリアルが多分求められてるチュートリアルなんだろうなって、
本当にそう思ったな。
既定のステップを踏むことで経験できることが、
少なすぎるじゃん、パターンとしては。
だいたい実務に近いことをしようとすればするほど、
チュートリアルで通ったことって実はそんなに、
必要ないというかどうでもよくて、
そこから先は調べなきゃいけないから、
結局積むみたいな、
になってるところを、
聞きながらというか対話しながら進められるから、
結局なんかだから、
つまずいてたりもしかしたら本領発揮できないところを、
通っちゃってる可能性もなくはないんだけど、
とりあえず思ってる方向には進めれるみたいな。
そうね。
これがやっぱりAIが当たり前になった時のツールの入れ方かって本当に感じたし、
なんでこうなってるんだろうと思って、
ソースコード側も調べてみたんですよ。
そしたらちゃんとG-Brain側で、
クロードコードとかコーデックス化で呼ばれることを前提に、
作られてるっていうのがあって。
そうだね。
そこもそのギャリータンすごいなっていう。
でもあれも、たぶんその勘どころというかセンスはあるけど、
あれもやっぱあの網羅性もAIで作ってるからこそだよね。
そうだろうねきっと。
そりゃそうだね。
けどあれだけのインストラクションというか、
ちゃんとどういうふうに動くんだよっていうのを、
手懐けてる感は、
単純なReadMeとは違うなみたいな。
そうですね。
だからすぐ入れられたんで、
もうここ1週間とか使って、
使い倒してるし、
これからもどんどん使えば使うほど、
このBrainは賢くなるというか、
自分のサポートをしてくれるんだろうなっていうのを感じるんで、
これはちょっと仕事してる中では必要だよなというか。
ニューロンが繋がっていくんだろうなこうやって。
そうそう。
なのでちょっとまだ個人のローカルの環境の中でしかないんで、
自分だけがチートみたいな状況になってしまうなと思いつつ、
周りにはこう進めながらこれめっちゃ面白いよとか言いながらやってますね。
AI時代の知識管理とチームでの活用
それがなんかその、
もちろん集合地みたいな感じで出来上がっていくのが、
理想だし超綺麗なんだけど、
なんか脳みその中に混ざった時に上手くワークするのかとか。
そうだね。
他のメンバーAとメンバーBが同じような、
共有地みたいな状況になった時にってことだよね。
そうそうそうそう。
そうだね。どうなるんだろうねそれはね。
そうなんだよ。
それがね多分、
どのレイヤーのコンテキストまで全員で持って、
どのレイヤーまでは個別で持つかみたいな、
なんかね多分そういうAI時代のコンテキストレイヤーの設計みたいなのが、
最近めっちゃ語られるのってそれな気がするんだよね。
オントロジーとかまさにそれな気がする。
個人の単位でなってた時は、
多分そんなに変わんないんじゃないかなと思ってて。
集合地になった時に、
多分知識同士の繋がりとか関係性とかがあって、
それがこう繋がるパターンとこう繋がるパターンがあるからっていうので、
一つのジャンルというかノードのクラスター群みたいな、
知識のクラスターみたいなのができて、
そこのクラスター群の関係性が、
多分一番引きで見た時の思考のマップみたいな、
オントロジーの世界でいうその関係性があって、
中入ってったらより詳細な脳みそというか知識間の繋がりというか、
アレッジグラフみたいなのができててみたいなのの抽象具体みたいなのが、
どんどん入っていった時に入っていくみたいな、
管理のされ方がされて、
このレイヤーはみんな見るけど、
こっちのレイヤーは個別みたいな、
権限管理とかがされるのかなみたいな。
そうだね。
まだそこのチームとかでどう使うかみたいな、
上手い方法だったりするっていうのがまだ出てきてないのかなと思っていて。
そうねそうね。
おそらく知識の権限管理みたいなことは、
最初の頃はやっぱり手動で人間が制御していく、
ルール作りしていかなきゃいけないのかなっていうのが今の状況かなと。
うんうんうん。
なんで。
そう、なんかそんな気がする。
そう、だからG-BRAIN自分がまずは自分のローカルで作ってみて、
それを周りのメンバーとかに話してみると、
やっぱり出てくる質問としては、
じゃあこれちょっとチームで同じことできないかなっていう風になるんで、
じゃあチームでやった場合の構成っていうのはきっとこういう構成だよねっていう。
例えば1個こうサーバーを立てて、
チームブレインみたいなのを作って、
それと個人のローカルにある、
それぞれのメンバーブレインがあってとか、
それぞれのメンバーとチームの間で、
その情報の何を入れるか入れないかは、
おそらく人間が定義してルール作りしていくっていうやり方。
なんだろうなっていうのはすごい想像つくし、
多分実現も可能性も相当あると思うんですけど、
やっぱりそのルール作りの煩雑なルール構成とかが、
おそらく課題になってきてっていうのは想像つくんで、
そこの壁が1個超えた時に、
もっとこうオントロジュとかの世界で言われるような、
理想の状況というか、
知識がマッピングされてティアで区切られてとか、
っていうことになるのかなっていうのが、
今現段階で見える範囲ですね。
それがどうやって管理される?
構造化データだったらイメージつきやすいじゃん。
多分めっちゃ使うMARTと中間集計のMARTと、
もっとローデータに近い。
テーブル化されたものと、
もっとローのJSONとかで書かれてるような、
ただ流れてきたやつが蓄積されている
ファイル群とみたいなのがあって、
実際末端でデータ分析する人たちには、
個別のMARTをいくつか教えておけばいいだけだし、
モデリングする人まではここまでだし、
むしろソースの方までいくんだったら、
バックエンドとかのエンジニアの人しか見なくてもいいんじゃないか、
みたいな話になってくるし。
データの流度で構造化データの場合は、
なんとなく切り分けている層みたいなのがあって、
逆にセマンティックレイヤーみたいなのって、
現場の人からは最悪見れなくても、
AIで最近分析するときは、
いらなくなってくるというのがあるんだけど、
それが非構造化データになったときに、
同じような管理の仕方になる気はあんましないな、みたいな。
確かにそうか。
非構造化データっていうと、
こういう会話とかの、いわゆる自然言語とかも含めて、
むしろそこがメインですよね、今回のキット話だと。
もちろんそれをある程度構造化もするけど、
G-Brainって確か構造化した部分もありつつ、
エージェンティックサーチも残ってるよね。
残ってますね。ただ生のデータというよりかは、
ちょっとそれを加工したマークダウン形式のテキストになってはいるんですけど、
ほぼそうですね。
見出しがついている。
yabbleとmdのハーフみたいなファイルでしょうね。
非構造化、ベクトル空間に落とすデータっていうのがあるんで、
その2つで構成されてるから、
ある程度今までの課題感にあったような検索をするときに、
このキーワード検索をするのか、
そこでキーワード検索だと、
同じような言葉を検索しちゃって精度悪いよねが、
ベクトル空間を入れることで精度良く検索できるが、
gbrainの強みだったんですけど、
それでもそうですね、
gbrainとかになった時に、
やっぱり情報の流通というか、
抽象具体のレベルの使い分けってところは、
まだgbrainだけでは足りないかなと思いますよね。
そう気がするんだよ。
しかも全員が同じ権限で見るのの管理すらむずいのに、
多分読んじゃいけないコンテキストとかが混ざり始めるから。
確かに。
データベースとかだったら普通にこのテーブルへのアクセス権を載せないとか、
っていう管理で十分なんだけど、
全部がベクトル空間にマッピングされてたり、
その中のナレッジグラフとかが例えばできてたときに、
どっかのコンテキストを落としたら、
ナレッジグラフに落ちてたら、
ノードとエッジが消えるわけだよね。
権限を例えば落とした場合とか、
そこが読めない状態でできあがったナレッジグラフは、
果たして有用なのかなみたいな。
そうだよな。
そうなってくるとやっぱり、
ローデータ主義とかになってくるのかもしれないですよね。
この情報はもう、
このメンバーレベルには伝えることはできないんで、
例えば役員レベルでしか持たないっていうふうに、
生データはそういうタグが付けられると、
それ以降、
ベクトルクークに落とすときも、
ある程度キャンセルされるというか、
情報が止まるとかになるのかなと思うし、
これまでって、
例えばGoogleワークスペースとか使ってる会社だと、
ファイルとかディレクトリの範囲で、
権限を管理してたから、
見れる見れないはそこのアクセス権で制御というか。
なんだけど、
多分そこの読める範囲で出来上がるマップが、
回答制度に依存するから。
ワンチャンここのディレクトリが失われた状態で出来上がったマップって、
形違くねみたいな。
そういうことか。確かに。
どうなるんだろう。
一部の紐づきをめちゃめちゃ強くするとか、
ある領域とある領域を繋ぎ込む会話をめちゃめちゃしてるところを、
一癖がめちゃめちゃ高いとかってなると、
そこのディレクトリの情報を見れてる時に出来上がるマップって、
ナレッジングラフってめっちゃそこに寄っていく、
でっかいクラスターになるけど、
真ん中のコンテキストが抜けた瞬間に、
多分2クラスターに分かれる。
ってなるとこの2つを、
LLMでその2パターンを読もうとしたら、
全然違う回答が返ってくるはずなんだよね。
ここからダミーのエッジだけ繋がるようにするとかなのかな、みたいな。
頭では難しくそんなことを考えてるんだけど、
実は何も考えなくていいのかもしれないと思ってる。
インプットとアウトプットだけかなとも思うんですよ。
結局AAが全てを内部で情報を抽象化して、
ベクトル空間ないしは何かGブレイの中で管理はするけど、
ユーザーに返すところ、
つまりアウトプットのところで、
もう1個ガードレール的にブロックしちゃうとか。
っていうシンプルな構造の方がもしかしたらいいのかもしれない。
アプリケーション全体としてのセキュリティというか、
アクセス権が保たれるみたいな。
ああ、なるほど。
まあ、あり得るかなと思いますけど、
そうなってくると1つのサービスとして作っていかなきゃいけないんで、
OSSの今の状況からは、
まだそれを実現するのは難しいですよね。
確かにな。
けど、なんかそうね、
管理職レイヤーの人しか知らん情報があるから、
なんか上司と話したときに、
後から伏線が回収されるかのように、
なんか大丈夫だよって言ってたのが本当に大丈夫になるみたいな。
でもまあ納得感あったしな、あれもみたいな。
っていう感じなのかもしれないね。
なるほどね。
エッチが失われてても、こっちの納得感がある回答は得られる。
今のリアルと一緒ってことですよね。
そうそうそうそう。
AIが1つの人格だと考えたら、
まあそうなのか。
言われた通りにやっとくかみたいな。
そうそうそうそう。
分かんなくても伝わる。
ありそう、それはでも。
今後の展望と番組告知
とりあえずでも個人で使う分には十分かなっていうのが、
今現状のなんだろうな。
いやーよかった。
ものだし。
紹介してよかった。
自分はね、たまたまg-greyを入れるにあたって、
やりたいことは仕事のことと、
自分の今までの仕事の中で得た気づきとか学びとか、
日々のログみたいなところを、
一旦過去の情報を入れたかったんで、
それがたまたまオブシディアンを使って、
日々の業ブログみたいなのを撮ってたんですよ。
マークダウンの形で。
あーはいはいはいはい。
隣のデータ分析屋さん、今回も面白いと思ったら、
フォロー・レビューよろしくお願いします。
番組の感想や質問は、
ハッシュタグとなりの分析屋、
隣のがひらがなで、
分析屋は漢字でお願いします。
また概要欄に貼ってあるお手紙フォームから、
コメントお寄せください。
ではまた。
バイバーイ。