00:03
You can not connect the dots looking forward!
Connecting the dots!
やべえ。どうした?
もう、スティーブジョブズばりのconnecting the dots。
Dots! Dots!
バキバキになってるね。目がもうバキバキですよ。
ということで、はい、今日は
割と一番テッキーな話をした気もする。今までで。
いやもうね、初っ端から飛ばしすぎっすよ。
最後まで聞いてくれてるからみんな不安。
まあ、えんちゃう。そういう回もあっていいと思うよ。
結構がっつり技術系の話ですね。
Graph RAGっていうLROOMのモデルをアップデートする最近話題の方法をちょっとお話ししていく感じ。
グラフラグ、ナレッジグラフ、ネットワークサイエンス。
気になるワードが出てきたらぜひぜひ聞いていただけたらと思います。
それではどうぞ。
隣のデータ分析屋さん。
この番組は隣の席に知らないことを気軽に聞けるデータ分析屋さんがいたらいいなぁ、
を叶えるポッドキャストチャンネルです。
データアナリストのりょっちです。
データサイエンティストのたっちゃんです。
ナレッジグラフ。
何ですかそれ。
今流行りよ。もう。
世の中はすべてナレッジグラフで回っていると言っても過言ではない。
なんか前回、世の中はすべて洋館とか言ってませんでした?
水洋館ね。
そう。
時代が変わったのよ。
そのくだり全部カットした気がするわ。
今回は何ですか?
ナレッジグラフですよ、ナレッジグラフ。
もう世間を騒がせまくってる。
本当に?
多分初めて聞いたっていう人がほとんどな気がするんだけど、
ナレッジグラフは元々概念としてあんだけど、
グラフラグっていう技法みたいなのが、
この3ヶ月ぐらい、もうちょっとかな、半年ぐらいでちょっと流行ってんのよ。
どこで?
世界で。
順を追って話すと、ラグってあるじゃん。
LLMとかGeminiとかChatGPTとかいろいろある中で、
そいつらを、例えば社内のちょっと外に出せない書類とか読み込ませたり、
あとはがっつり教科書とかを読み込ませたりしながら、
モデルをアップデートして、
それ専用のというかそれに特化した回答ができるモデルをチューニングするみたいなやつですよ。
難しい話ですね。
03:01
ラグ自体はさ、その文章にチューニングされたAIモデル作るみたいな、
っていう話で、ラグって言葉じゃなくても認識してる人はある程度いると思うんだよね。
機能というか。
最近流行りの生成AIを作るときに使う技術の一つですよね。
その文章の量が膨大になりすぎたり複雑になってくると、
LLMですらやっぱ探索がむずいというので、文章の構造をグラフデータ、
このポッドキャストで何度も紹介してるネットワークサイエンスみたいなもんですよ。
グラフの形に落としていきましょうっていう思想が最近爆流行りしてます。
やっぱ流行ってるんですね、ネットワーク科学は。
周りに回ってきたよ。
だって元々はSNSでの人の繋がりとか、自転車とか、キックボードのシェアリングのサービスとか、
なんならタクシーの乗車とか、そういう物理的に人が動いたり、人が繋がったりみたいな、
そういうところで使われていたネットワーク科学が、
生成AIとか文章の探索、検索で使われるっていう話、今回は。
文章をグラフで保持するっていう、めちゃめちゃ難しい話ですね。
これね、俺もネットワークサイエンスやってなかったら、正直理解できた気がしなくて、
簡単に言うと、LLMのモデルで文章の中に対する質問とかができるようにするとするじゃん。
論文とか読み込ませたら、この言葉ってどういう意味で使われてる?
とか聞くと、その論文の中での使われ方とか検索してくれたり、
もっと例えば車内規定とか、車内のポータルサイトの構造とかっていうのを全部読み込ませると、
例えば人事評価の指標ってどこに置いてありますか?って言ったら、
AIモデルが教えてくれるし、みたいな。
そういう会社での使われ方とか結構多いんだけど。
めちゃめちゃ便利ですね。
そう、便利なのよ。
で、そういう事例がたくさん出てくる中で、ラグっていうのが注目されてきたんだけど、
文章をめちゃめちゃ学習するわけじゃん、AIが。
そうですね。
車内の書類なんかめちゃめちゃあるわけで。
で、そうなってきた時に、単純にLLMに文章を読み込ませるっていうのをやると、
その文章を単語ごととかにバーって分けて、ベクトル表現に直して、
データとして格納してるのよ、AIの中にね。
だから質問されたら、それっぽいベクトルのものをある程度当たりつけながら全体に探査していって、
06:07
それっぽいの見つけたら回答するみたいな。
それである程度回答はできるんだけど、もっと効率いい方法あんのみたいな発想に最近なっていて。
確かにそうですね。
自然言語処理とかって、膨大な文章とか単語の情報を、
似てる単語とか似てる属性の文章を座標上の同じ方向にマッピングするみたいなことをして、
情報を保持するっていうのが、自分の今までの自然言語処理の勉強で学んだことですね。
そうだよね。
で、それで持ってたところを文章を読み込ませたら、
一個一個の単語を抽出して、文章を全部グラフ構造でAIに認識させましょうっていうのがグラフラグなの。
めちゃめちゃ新しい概念な気がするな。
これ、LLMが発達したからできるようになった。
プラスLLMが自分で能力を伸ばせるようになったっていうなんか面白いサイクルが裏にあって。
グラフラグっていうものを作るためにナレッジグラフっていうのを後ろに作るから、まずナレッジグラフの話をするんだけど、
ナレッジグラフっていうのは文章を入れるじゃん。書類とかPDFじゃあ100枚ぐらいのやつバーって読み込みますみたいな。
やった時に、全部の単語とか出現しているワード、それぞれの関係性をグラフにするっていうもので、
大丈夫、まだわかんなくて大丈夫よ。で、例えば、私は孫悟空です、みたいな。
孫悟空の事例を出しているウェブページがあってめちゃめちゃわかりやすかったんだけど、勉強している時に。
私は孫悟空ですっていう文章があったとするじゃん。
そうしたら、ナレッジグラフっていうのはこれをネットワークサイエンスとかで使われるグラフ構造に落とすのね。
私っていうノードと孫悟空っていうノードを認識して作って、それの間にはっていうエッチを結ぶみたいな。
そうすると、私は誰ですかっていう質問をLLMに投げたら、LLMは私を探しに行って、私からこの人は誰っていう方向のグラフに流れていって孫悟空っていうワードを見つけるみたいな。
っていうのが、もう無限に文章の中に出てくる全てのものをそのグラフ上に落としてあげる。
その文章の中の知識を全てグラフ化するっていうのがナレッジグラフなのね。
私っていう場所と孫悟空っていう場所をノードって言われる繋がりですよね。
09:03
繋ぐっていう線が引かれるってことですよね。
だから、私は孫悟空です。孫悟空はサイヤ人です。
で、ベジータはサイヤ人ですっていう文章が散りばめられてたら、私から孫悟空にワっていう矢印が行って、孫悟空からサイヤ人にワっていう矢印が行くわけ。
イコールみたいな。
で、ベジータからサイヤ人に対してイコールの矢印が結ばれる。
3つの文章をグラフ化するとそういう形になって、サイヤ人は誰ですかって聞いたら、
そこサイヤ人のノードからノードに繋がってる孫悟空とベジータっていうのが回答として返ってくるみたいな。
カカロットは?
カカロットだと孫悟空だね。
で、カカロットは多分孫悟空はカカロットってなるから、またそこにグラフができてみたいなので。
で、どんどんどんどんとにかく文章出てくる言葉全てを繋ぎ合わせたグラフっていうので、
裏の知識を保持してあげるっていうのがナレッジグラフっていう。
で、これ、そもそも文章をその形に落としていくっていうところもLLMで文脈と情報を認識できるようになったからこそ、
ナレッジグラフを作る精度が上がってるらしいのね。
そうなん、それがもうAIが自動的にグラフを作れるようになったんだ。
イメージとしては、もうちょっといろいろテクニックはあるんだけど、
まずそこの分位を認識して分けていくみたいなところもLLMの登場である程度精度良くできるようになって、
文章からナレッジグラフに落とすっていうところの効率が上がったらしいのね。
で、ナレッジグラフ自体は結構昔からある概念というか、だったらしいんだけど、
そのナレッジグラフに落とすためにデータをいっぱい整形しなきゃいけないとかで結構たるかったらしいのね。
文章をね、主語と動詞を分けるとか、ああいう分割が結構めんどくさいし間違いが多く発生しますよね。
そうそうそうそう、特に日本語なんて難しすぎる。
日本語はね、ちょっとね、その難しさがあるせいで日本語で果たして浸透するかっていう課題はちょっとあるっぽいんだけど、
まあ一旦だからそうやって文章をグラフとして捉える。
で、そうするとグラフで捉えれると、その構造の中で、
例えばこの塊ってこういう情報を保持してるよとかっていう、一種クラスタリングみたいなのができるわけよ。
矢印の繋がり方とかで、ここ密集してるな、ここ離れてるな、ここの塊ちょっと別っぽいな、みたいなのって、
なんとなくできそうじゃん。
SNSの繋がりでもありましたよね。
12:02
インフルエンサーはインフルエンサーとして繋がってるとか、まさにまさにそれと一緒だ。
で、だからそうやってクラスターに分けれるから、
じゃあそこに対してAIのモデルが呼び出しに行くときにも、
クラスターである程度当たりをつけた上で、その中で欲しい単語を見つけたら、
そこのグラフから派生していって回答を探していくみたいな、そういうことができる。
確かに人事評価のクラスターとか。
でもその文章を全部単語のベクトルに落として、単語のベクトルでやってもある程度、
ベクトルの類似度みたいな、L2の距離なのか、コサイン類似度なのか、
いろんな指標で一応類似クラスターみたいなのは多分取れるじゃん。
ある程度今までの全探索の文章でもそういうのはできてるんだけど、
グラフ構造で持つことで、より機械が読みやすくなるみたいな、っていう利点があるらしい。
そうなんだ。そのAIが読みやすくなるんですね。
ベクトルってあくまで方向というか、あっち方向に何あるよっていうのだけど、
単語ごとにそれぞれの関係性が明確に繋がれてるから、機械としては分かりやすいんだよね。
ニューラルネットワークのいわゆるノードの重み付けみたいな話と近い概念ですよね。
でもそうかもね。
機械がそれで物事を理解したり判断できてるっていうので、
ニューラルネットワークはどんどん学習を重ねていって賢くなるので、
その概念を使って機械が理解しやすくなったっていうのは直感的に分かりやすい。
っていうので、ラグの裏でデータの裏の抱え方を単純に文章のベクトルで持つんじゃなくて、
グラフ構造で持っていこうっていうのがグラフラグっていう概念というかテクニックというか。
それが流行ってるんですか?
流行ってる。なんかね、日本語の発信量で言うとここ2ヶ月ぐらいでめっちゃ増えてるっていう感じ。
あ、そうなんだ。
で、Googleクラウドの中にもナレッジグラフを効率的に作れるソフトとか、
ソフトというか機能みたいなファンクションが入ってきて、
結構そこがアップデートされて注目だよみたいになってるぐらいスパナーだったっけな。
スパナーグラフみたいなそういう機能があるんだけど。
っていうぐらい、ラグがどんどんここから来る中で、
グラフ構造を自分たちのプラットフォームでできるようにしましょうっていう動きも出てんだよね。
まぁLLMの流行りと一緒に出てきてるから、今後もっと流行っていくのはなんとなく分からない。
え、それって計算効率が良くなったんですか?
15:02
効率は良くなるらしい。
俺もね、直でラグとグラフラグの性能の差分みたいなの取ってるやつの、
なんか見たことある気がするんだけど、記憶にあんま残ってなくて。
なるほど。
で、なんでこの話をしたかみたいな、最初に言えよって話なんだけど、
前回、これの1個前のエピソードってさ、アクロスレシピ仲間出てもらってるじゃん。
ゲストに来てくれました。
アクロスレシピってAI関連のリテラシーを作っていくというか、勉強していってっていうツールじゃん。
で、なんか、俺がその時にもっとグラフラグの話を引き出せればよかったんだけど、
実は裏で、そのグラフ構造で、一人一人だけじゃなくて、
あれって会社とかに、会社の部署とかにまとめて導入させるっていうようなサービスの展開の仕方じゃん。
そうですね。
だから、その目指してるAIのリテラシーのスタックの状態に対して、
どの社員がどのスキルを持って、逆にどこが足りてなくてみたいなのの、
なんかスキルの互換性みたいな関係性で、裏でグラフ構造を作ってるらしいのね。
何?そうなの?
らしい。
なんで知ってるんだ?
Googleクラウドのイベントで言ってたらしくて。
あ、そうなんですね。
そうそうそうそう。
で、その理想的なリテラシースタックみたいな状態のグラフを目指す上で、
どこの能力が足りてないのかみたいなところを判断してくれる。
そこにAIを使ってるのかルールベースなのかはちょっとまた劇だからわかんないんだけど、
多分AI使ってるんだろうね。
っていうので、なんかAIの能力を作らせるっていうだけじゃなくて、
裏でどういう能力が組織的に足りないのかとか、
どういう能力が伸びてきてるのかみたいなところも、
AIで認識できるようにちゃんと管理されてるツールだっていう話を聞いて。
それはめちゃめちゃ有能だし、各会社導入したいと思いますね。
ね、そうだよね。
少なくとも自分が知りたいっすわ。
この会社って営業が強いの?マーケが強いの?エンジニアが強いの?とか。
そうそうそう。そういうところが可視化できるといいし、
確かにアクロスは今後人事領域にも伸ばしていきたいっていうことを中部も言っていて、
そういう仕掛けがあるのかもしれないですね。
っていうので、それを聞いて、プラス俺がネットワークやりながら、
これグラフラグだわ今ってなってる時に、がっつり最近勉強したから、
今一番俺の中でホット。ノードとノードが繋がったんですね。
18:02
もうすごいよ今。コネクティングドッツ。スティーブ・ジョブズ越えのコネクティングドッツ今してる。
熱いっすねそれは。熱いでございますよ。
もっと詳しく聞けばよかったっすねこれは。
だからまあ中村経由でもいいし、たっちゃん経由でもいいんだけど、
グラフラグ詳しい人、教えて。連れてきて。
普通にイベントやろうよみたいな話をしたじゃん。
そうですね。したのに、もうなんならそれの次、
グラフラグだけぐらいの勢いでやってもいいと俺は思ってる。
うわぁコアだなぁ。
前のさ、リュウツーの話した時も、
あれの時もさ、いいんだよみたいな、100人集めるイベントじゃなくて、
15人めっちゃ詳しいやつ集まるイベントでいいからやりたいみたいな。
それが実は意味あるんじゃないっていう話してたけど、
ほんとね、関東近辺にいるグラフラグ、がっつり勉強してなんなら組んだよっていう、
10人集まるイベントやりたい。
それめちゃめちゃ面白いですね。
しかもね、結構ね、実装も面白くて。
あ、そうなんだ。
ネットワークサイエンスをずっとやってきたからこそ、
グラフ構造への理解が、ちょっと人より自信があるというか、
ってなってるから、なんかこうなってんだみたいな。
で、グラフって実はネットワークサイエンスで色々解釈するだけじゃなくて、
色んなとこに使われてて、
多分今回のナレッジグラフとラグとかのとこに近いのは、
ネットワークサイエンスよりももう一段応用的に使われてる、
グラフニューラルネットワークとか、そっちの方が感覚としては近そう。
あー、より機械学習とかの話に寄ってきますね。
そうそうそうそう。
だからなんかそんなに目新しいことでもないかなっていう感じはするのよ。
まあレコメンドとかに使う話ですよね、そこは。
そうそうそう。レコメンドで、
単純にこう、初期の頃の機械学習の思想って、
一個一個のユーザーの特徴量とかを入れて、
未来の状態とか、そいつらのスコアをつけるみたいな、
そんなのをやってたのに対して、
そいつらを一個のノードとかに見立てて、
関係性まで組み込んで学習させるがGNN、グラフニューラルネットワークだから、
それを単純にテキストでできるようになって、
物事の判断がしやすくなったっていうのは、
なんかそんなに、実は目新しくないのかなっていう気もしてる。
確かにそうですね。
なんか以前ネットフリックスの歴史の話したと思うんですけど、
21:02
あー評判良かったやつね。
面白かったですよね。自分も喋ってて面白かったし、
そのネットフリックスがなぜここまで、
オンデマンドサービスまで勝ち残って勝つ世界を制したかっていうところでは、
やっぱりレコメンドの精度が良かったっていうところ。
あれ確か、もともと映画の情報とユーザーの情報を使って、
どのユーザーがどの映画が好きかっていうところを元にレコメンドしていて、
それがどんどんデータが大きくなっていって、
いわゆる最近使われているような協調フィルタリングみたいなレコメンドエンジンができていて、
その時ってまだテーブル形式でレコメンドを考えるって話だったんですけど、
その主流が最近になるにつれて、
GNNか、グラフニューラルネットワークでユーザー同士のつながりを考えるっていうところが主流になってきてるから、
やっぱそうだよね。
なんかそう自然ですよね。時代の変化に沿って。
だからやっぱそのグラフの構造に整理されてると機械が読みやすいというか、
その情報が結構有用だっていうのはもうすでに結構わかってたから、
それのテキストバージョンが出てきたっていう感じだね、まとめると。
テキストになるとようやく超膨大なデータ量を扱えるようになってくるから、
ますます精度も良くなるだろうし、難しいこともできるようになりますよね。
だからGNNでこいつのスコアってどうなんだろうみたいな聞かれるのにプラスで、
なんかその周りのつながってる意味みたいなのも教えてよとかっていうような感覚だと思うから、
時代はちゃんと流れてるというかつながってる感じがあって、今グラフラグなんだよなみたいな。
グラフで全てが考えられるので終わるんですかね、こっから発展する?
どうなんだろうね。けどなんか別にさ、レコメンドのアルゴリズムとかも、
別にGNN一択なわけではないじゃん。
そうですね、実は古典的でもいいっていうのもありますよね。
そうそう、だからなんか一長一短だし、たぶんグラフにするせいでかかるコストとかも多分あるから。
現状課題感はあるんですか?
いやどうなの、なんか新しいものになっていい面が結構フィーチャーされてるから、
まずはなんかそれが浸透していった上で議論されるポイントなのかなっていう。
なるほどね。
まあでも普通にグラフに落とすのがだるすぎるっていうのは多分ある。
難しいんだ、そこは。
うん、そうね。だからそこも結局、そのグラフに落とすところが結構、
それこそGoogleがサービス出してるからGoogleのその能力に依存するだろうし、
あとはなんかNeo4jっていう、これも結構グラフ系を扱うサービスとしては割と死にせいのところがあるんだけど、
24:02
そのNeo4jってところも結構ね、ナレッジグラフを作るっていうところには強みを持ってる。
グラフラグやりたいってなったら、ラグでよく使われるラングチェーンとNeo4jを組み合わせて、
LLMのモデルをアップデートしましょうみたいな。
そうなんだ。
そう、コードとかはめっちゃ出てくる。
そこは既存のその事業者サービスを使ってグラフに落とすってところをしないといけないんですね。
そうね、だってPDF1枚の単語すべてをグラフに落とすだけでも相当な、それだけの特化スキルみたいなのが必要そうじゃん。
確かに確かに。
だから既存の組み合わせる必要はあるんだけど、そこの精度がどうなんだろうみたいな、
特に日本語だとみたいなところはありそうだったかな。
まぁでもそれがどんどん身の回りの生活とかに使われるようになってくるんですね、これから。
まぁかもね。
でもね、使い手側はあんま実感しないんだと思う。
普通のラグで作られていようと、グラフラグで作られていようと、
そんなな、GPT-40からGPT-4 miniみたいになったみたいな。
使っててそんなに実感するかみたいな。
まぁ精度が良くなったなぁとか、こいつ賢いなぁと思うぐらいか。
AIツールを比較してどやってる奴らがちょっと気づくぐらい。
まぁそんなもんですよね、AIを使うってことは。
けど、まぁこのポッドキャストもニッチな人たちが聞いてくれてるから、
ちょっとグラフラグ興味ある人いないかなーって。
人探しですね、ここは。
そう。
でもね、面白かったよ。
会社の人と喋って、面白そうだなってなって。
で、その時たまたま東京出てたから、
その帰りの電車でもうね、LLMと会話しながら、
こうやったらできるよねみたいなのやって、
次の日の朝、ノートブックとかにピッて貼ったら、
ちょっと修正すればできたから、
こうやってやってくんだな、今後のプログラミングはって思った。
なるほどね、チャットGPTとか使って、
大体の背景とか理解して、
もうすぐコーディングして動くもの作れるようになったってことですか、一晩で。
そうそうそうそう。
しかもスマホでね、スマホでやりながら、
ここかーみたいな、こんな感じでやるのかー。よしわかった。
電車降りて家帰って、寝て、朝起きて、
そいつを一旦コピーして貼ってみて、
まあどうせ選べるから、
あ、はいはいはい、つって修正してってやったら、
なんか、こういう感じね、つって。
いやー、分かるわー、でもめっちゃ死後的感は出ますよね。
ほんとに。意外とでも、
そうやってプログラミングやるのはまだ、
27:01
どんぐらいだろうな、もうここ、
数ヶ月、半年以上ずっとそうやってやってるけど、
まだ面白く感じるけどね。
いや面白いですよね、分かります、自分もそんな感じでやってますよ。
どうす、こんなんは俺にはすじゃかけんって思いながらやってる。
いや、かけんかけん。
効率いいしね、めっちゃ。
1ヶ月ぐらいかかっちゃうよ、アンダーコード。
ほんとだよね、ほんとだよね。
そのくせさ、なんか、
本当はなんかゆっくりやれば2時間ぐらいでさ、
LLMと相談しながらできるのにさ、
なんか、1時間ぐらいうまくいかないとさ、
だんだんイライラしてくるのも、
なんか、現代病みたいな感じで。
あー、分かるわー。
普通に勉強してたらもっと時間かかってるから。
って思うんだけど。
けど、
いや、1時間で終わるやん。
みたいな、なんか謎の。
いい回答が返ってこなかったら、
すごいイライラしちゃうんですよね。
ほんとにね。
こっちが悪いのにね。
新しい病気だな、きっと。
プロンプトの入れ方が悪いくせにね。
うーん、そう。
そんな感じでね、ちょっと、
かなりグラフラグマスターになりつつあるんで。
誰かと喋りたい。
いやー、そのイベントをぜひ実現して、
ちょっとLLM祭り的な感じでやりましょうよ。
ね。
ちょっと会社にいたら教えて。
オッケーです、探しておきます。
じゃあ、そんな感じですね。
はい。
次回、困ってるんでしょ?
データサイエンティスト営業するの大変なんでしょ?
大変ですよ。
めちゃめちゃ大変ですよ。
本職営業で動いたことはないけどさ、
個人の仕事とかで、
結構売り込みに行ってるから。
あー、確かにね。
慣れてはいるか。
ポッドキャストもやっぱ案件獲得しに行ってるからさ。
うんうん。
スポンサーもつけてたし、一時期。
うん。
データの人、
営業、
どんななんだろう、
別に正解があるわけではないけど、
やっていかなきゃダメじゃん、結局。
データサイエンティストも営業していかなきゃいけない。
営業していかなきゃいけない。
それは、自分たちの作ったサービスを売り込みに行くっていう話もあったり。
もそうだし、
社内でソリューションを広めていく。
それこそ今日のグラフラグの話を、
誰かにそれを使わせるっていうのが営業だから。
いや、まさにそうですね。
で、そっちから頑張って高数の費用をもらうみたいなのは、
結構営業っちゃ営業だから。
確かに。
そこをね、どう詰めていくかっていうのをちょっと調べましょう。
技術取り分でサービス作っていくみたいな話ですね。
そうそうそうそう。
やっていきましょう。
OKです。
隣のデータ分析屋さん、今回も面白いと思ったらフォローレビューよろしくお願いします。
番組の感想や質問は、
ハッシュタグとなりの分析屋、
隣のがひらがなで分析屋は漢字でお願いします。
30:00
コメントも待ってます。
それじゃあまた。
バイバイ。
