キャリアの変化とAI推進
となりのデータ分析屋さん この番組は、隣の席に知らないことを気軽に聞けるデータ分析屋さんがいたらいいなぁ
を叶えるポッドキャストチャンネルです。 肩書きをなくした、ただのリョッチです。
まだデータサイエンティストやってる、たっちゃんです。 状況が変わりまして、
はい。 ただのAIの仕事をしているおじさんになりました。
そんなことあるんですか? 会社員で。 あるある。全然ある。
職を失ったんですか? 職を失った。無職。
いや、まあ、部長職じゃなくなったっていうあれだね。
はい。 そう、なんか、いろいろやってますわ。
こう、アライアンス周りのお仕事だったり。
あとなんかね、登壇系はむしろ増えてる。 へぇー。
そういう仕事に寄せるみたいな。 AI推進系なんだ。
役職級がないもので、仕事の内容を変えるに合わせて、
呼び方を変えるというスタイルだね。 キャリアとしてはいろんなことをしてた人になれるから、
いいかもしれないですね。 どうなんだろうね。役職級とかあったらもうさ、
もう動けんよね。やばいって。 まあ、そうだよ。
給料下がっちゃう。 まあ、いいようで悪いようで。
そうね、AIのことやってる会社は、もう時代とともに部署の名前もどんどん変わっていくから、
ある意味、役職もそうですけど、やってる仕事の内容も、
なんかポジションの名前も変わっていくなっていうのはありますね。
中間のマネージャーみたいなのがいらなくなるみたいな話もあるしね。
うんうん、そうだと思うな。
確かに、多すぎるっちゃ多すぎるしな。
ワンチャン部長ぐらいまでいらないんじゃない?
まあでも、マネージャーはマネージャーで会社の中では必要になってきますからね。
事業会社はやっぱり、新卒とかを結構採用したりすると、
はいはい。
教育みたいなことは熱心にやってるなとは、自分の周りは思いますけどね。
まあ、旧来の体制であればって感じだよね。
そうだね。
根本から変わったら、まあまあ変わるよねっていう。
近い未来、そう変わってもおかしくないだとは思いますけどね。
まあでも、もともとデカく組織化してるところはきついよね。
そうね。
変わらずAIと、with AIって感じじゃない?
そうだと思うな。
for AIとか、最近いますよね。
いやそう、マジでそう。
どっちかっていうと、そういうスタイルを目指したいもんね。
自分の個人でやってる仕事とか。
AIに知見とかを蓄えていくためだけのおじさん。
AIのために働くおじさん。
そうそうそうそう。
気づいたらAIが過ぎ仕事してるみたいな。
AIとの協働スタイル
それが結局自分の成果となるわけだから。
そうね。
開発系は特にやっぱ、いけんじゃないかなって常に探索しながらやってるけど、
いけそうな部分といけなそうな部分があるから、
こっからって感じだ。
そうだね。
意外といけない部分も多かったりするし。
まあでも割り切りな気もするけどね。
うん、わかる。
ただ、組織で開発するってなるとまたそこの難しさもあったりして。
一人で開発するならまた話は違いますけど。
そうね。どうなんだろうね。
ある程度型ができたら一人でいけるみたいなパターンはあるからさ。
業務委託で最初パワフルなスーパーエンジニア軍団5人とかで、
ブワッと開発しちゃって。
うんうん。
あとはまあもう運用は任すかみたいな。
いや、あると思うな。
まさにでもパランティアとかのやってるFDEみたいな仕事ってそれに近いですよね。
ああまあそうね。
自創して、プロパーがいて何人かの業務委託とかパートナーと一緒にガーッと作って、
あとは型だけできたらパートナーとか、最終的には納品先のIT部門に移管するみたいな働き方をしてるっていう風に聞くから。
無限にできることがあるから成り立つモデルって感じだよね。
補修運用費みたいなのにはあんまり今までのSIRがやってるような補修運用費みたいなとこでの収益性はまあまあ落ちる動き方ではあるね。
まあでもそうだよな、AIめちゃめちゃあるんだから自律的に仕事をできるようにしようぜって話になってくるという前提で今日のお話に入りましょう。
ナレッジ蓄積の課題とGbrainの紹介
今日は久しぶりにね、さっき何話そうかってLINEで言ってた時にスマホで適当にメモ取ってたんだよな。
今日はナレッジの話をしましょうと。
AIに渡すナレッジをどう蓄積していくかみたいな。
まあそんな話ですわ。
いやナレッジ蓄積はもう昨今の課題というかどうやったらいいんだってみんな言ってるけどねなかなか進まない部分でもあって難しいんですよここ。
なんかオリジナルで、最近なんか俺の中ではオリジナルでどんどん蓄積していってたところに加えて
GitHubとかで公開されてるメモリの蓄積の仕方みたいなところを取り入れていって、なんか世界が最近ちょっと広がってる感があるから。
ほう。
いやなんかね、これは会社の人に教えてもらって、絶賛この1,2週間試してるっていう段階なんだけど。
え、教えてほしいな。
どっちから行こうか。
そうだな、絶賛試してるやつはGstackっていう。
ほう。
あ、違う。Gbrainの方だ。
Gbrainっていう、なんていうの、OSSっていうわけじゃないな、普通にコード群みたいなのがGitHubで公開されてて、これがいいんですよ。知ってた?Gstack。
いや、初めて聞いた。Gstack?Gbrain?
GstackとGbrainっていうのがあって、あ、Gbrainだね、ナレッジ蓄えは。
これは何?何なの?
本当にそのナレッジをどう貯めるかっていう、Gbrainって言ってるぐらいだから脳みそを作る法則とか、DBを明示的に作るって感じじゃないけど、データベースをどうやって持つかみたいな、そういうノウハウが全部詰まってて、こいつにアラインしてやっていけば、すげー効率よくこのナレッジベース作れますよっていう。
コード群なわけよ。
これはアプリケーションになるのか、データベースになるのか、なんだった?
データベース、AI。クロードコードに加わせて、パソコンの中をこれに沿って整えていけば、いいナレッジベース作れるよっていう、AI向けの指南書みたいなのが書いてあって、そのまま実装まで入ってくれるって感じ。
Gbrainの開発者と背景
このGっていう頭についてるのが、ギャリー・タンっていう人が作ってるんだけど、この人がYコンビネーターのCEOの人なのに、自分で作ってるナレッジベースの考え方をそのまま公開してくれてるの。ギャリーのGね。
そういうこと?自分の名前つけてきたんだ。
簡単に言うと、Yコンの中でナレッジを溜め込んでいるやり方がそのまま公開されてるって感じ。
そういうこと?
この人はもう頭が良すぎるから、今YコンのCEOなんだけど、パランティアの10人目の社員です。まずさっきのFDの話もあったけど。
10人目?
パランティアの10人目の社員。しかもその時は、この人は元々デザイナーでもある。デザイナーでPMできてエンジニアリングもできる人。
すごくない?やばいでしょ。
パランティア10人目で仕事して、その後自分で創業したブログ各プラットフォームがTwitterに買収され、そのお金をもとでにキャピタル作って、コインベースとかそういったところに初期投資してて、
さらに財を成して、今YコンビネーターのCEOになってるっていう、スキルフルすぎてえげつい人なんだけど。
いるよね、たまにこういう人で何でもできちゃう人ね。
まあ、弁覚ではあるけど。
そうだね。
ちょっと国内とかでは見たことないレベルの人だよね。っていう人が公開してくれてるGbrainっていうのがあって、これがまさにナレッジを蓄積しまくれる仕組み。
Gbrainの機能とハイブリッド検索
本当だ、今見てるけど面白いですね。
これに沿ってやっとけばとりあえず大丈夫っていう、超便利なもので、前回のエピソードがどのくらいで切られてるかあんまわかんないんだけど、結局グレップしまくるやんみたいな話したじゃん。
コンテキストウィンドウめちゃめちゃ広がってるからとにかく無作為に入れてるだけでも結構効果あるぞみたいな。
で、そっからAIがグレップしまくって情報を引っこ抜いてくるだけで相当な精度出てるじゃんみたいな話をしたじゃん。
で、ラグって正直そんなに必要なくない?今になってみたいな話をしてたんだけど、それがこの1,2週間で俺の中では結構変わってて。
このG-Brain入れて正直半分いらんっていうのは半分まだまだそういう気持ちはあるんだけど、そのラグとかが。
G-Brainの中にはナレッジグラフを作る、データベース作るところ全般も含まれてるんだよ。
グラフ層みたいなのがあって、コンテキストになり得るものをぶち込んだら、自分でその中の仕組みでデータベースにまで落として、
それがグラフ型のデータベースになってるみたいな形で、
ナレッジを引き出したいときはグラフに対しての検索、グラフラグみたいなのを走らせつつ、グレップも組み合わせてっていうので、
グラフラグだけの性能とグレップだけの性能に比べてスコアがいいよねっていうベンチマークのスコアみたいなのも入ってて。
その2つが組み合わさってるから、ナレッジがどんどん爆発していってもクオリティーが維持できるよっていう型が出来上がってるのが、このG-Brainっていうのの仕組みなのよ。
本当だ。ハイブリッドな検索が特徴って書いてますね。なるほど。
そう、どっちもまあ必要じゃんっていうのは言われたらめっちゃわかるし。
サクッとできるんだったら絶対そっちの方がいいわけ。
で、ナレッジグラフとか作るのって超めんどいっていう印象はちょっと試そうと思った人だったら結構持つんだけど、
PG-Liteとローカルでのナレッジ構築
俺はここで初めて知ったんだけど、PG-Liteっていう、知ってる?
PG-Lite?
POSGREを丸めて作った、データベースライクなコンパイルされたものがあるらしいんだけど。
SQL-Liteみたいな、普通に近いのかな?もしかしたら。
サーバーレスで一応行けますみたいな。
あんまちゃんとは理解してないんだけど、そこは。
簡単にSQLサーバーをローカルで建てるみたいなのができるアーキテクチャってあったりするんで、それに近いかもしれないですね。
それのPOSGREの丸め込んだやつみたいなものが含まれてるんだ、このPG-Liteってやつが。
簡単に言うとこれを引っこ抜いてきて、クロードにとりあえずこれでPG-Liteでナレッジ蓄積できる場を作っておいてみたいに言ったら、
自分のこのローカルのパソコンの中でデータベース的な構築をしてくれるわけよ。
そこがそのままナレッジグラフになるようなデータベースとして型が出来上がってるから、
あとは自分のこれまでの仕事の内容とかをどんどんコンテキストとしてぶち込んでいけばいいようになってるみたいな。
結局ラグとかにしようとしたら、データベースを作んなきゃいけないとかでまた考えなきゃいけないことが増えるみたいな。
になってたところもパッケージング化されてて楽。
なるほどね。面白いですね。
ベクトル空間に情報を落とすっていうのもあるし、今まで通りマークダウンの生のドキュメントも置いておくし、
両方とも置いておいて、途中で後から何か検索かけようと思ったらどっちもそこの探索をして、
その合算した情報でアウトプット出してくれるみたいな、そういうイメージですよね。
イメージはそう。ベクトルではあるか。ハイブリッド検索でベクトルも入ってるのか。
ベクトルである程度の方向性見つけた後にグラフのルーティングが入るのか。
それをまるっとやってくれるのはかなり楽ですね。
個人におけるナレッジ蓄積の進化
そうそう。っていうのがあって、前回までに話したみたいな感じで、
俺はとりあえず、今の俺のナレッジのため方は、
本当にあらゆるところから繋ぎ込んでるところから一箇所にコンテキストを集約させる。
で、業務内容ごととかにそいつらを蓄積してってるから、
そんなにコンテキストウィンドウを逼迫するほどのボリュームにはなりにくいのよ。
ボリューム的にね。
クロードコードって特定のディレクトリの中でセッションを立ち上げるからさ。
その中にある程度のボリュームまでだったら、ザッタに入っててもある程度読めるじゃん。
そうだね。
っていうところになってたんだけど、いろんな仕事にちょこちょこ手を出すようになっていく。
それこそAI推進とかのプレイヤー的な動きをちょっと強化するみたいなのも部長じゃなくして増やしてるから、
なんかよりコンテキスト蓄えまくる必要が出てきてるんだよね。
はいはい。いろんなジャンルのね。
そうそうそうそう。ってなってきた時に、なんか限界いきそうだなって思ってた時に会社の人がこれを教えてくれて。
じゃあもうそのあらゆる情報を、今はその自分のローカルのPCの中でこのジーブレインを立ち上げて、
情報集約のなんかハブみたいなものとして使ってるっていうことなんですか?
そうそうそうそう。
それを試し始めてるって感じ。
確かに。
それであれば個人の困りごととかをすべてここに集約してくれるんで、名前の通りでもう一個脳みそ作っとくみたいな。
そうそうそう。
そういう扱いになるってことですよね。
そう。
高度な検索手法とGbrainの価値
LLMを使うわけじゃないってこと?
データベースとかに落とすところは確かほぼルールベースで、探索するときはLLMって感じ。
あーそういうことか。LLMの探索しやすい形にまとまってるというか。
そうそうそうそう。
整備してくれるのがこのジーブレインなんだ。
情報をベクトル空間にも落とすし、BM25、キーワード検索もするし、RLF、グラフ操作、リランカー、だからいくつかの方法で情報を落として最後ランキングをつけるんですね、情報の。
そうそうそうそう。
その中からトップいくつみたいなの持ってくれば検索の精度も上がるよねっていう。
まさにこの検索の界隈であるデータサイエンスの人たちの用いる一番高度な手法というかを詰め込んでるっていうことですよね。
それをローカルパソコンで動かすように作ってある。
わーすごいなー。
番組の締めとリスナーへの呼びかけ
コンテキストが爆発し始めるぐらいの時から必要になるんだよね、これが。初期は正直必要ないけど。
隣のデータ分析屋さん、今回も面白いと思ったらフォローレビューよろしくお願いします。
番組の感想や質問はハッシュタグ隣の分析屋、隣のがひらがなで分析屋を漢字でお願いします。
また概要欄に貼ってあるお手紙ホームからコメントを寄せてください。
ではまた。バイバイ。