LLM WikiとRAGの基本
そもそも何なんだと? LLMのWikiって何? これLLMじゃないじゃん、このおちつきAIラジオは。
LLMを使って作ったWikiだね。 っていう概念。
もともと中心となるアイディアは、ラグなんだよね。ラグに対抗するというか。 そもそもラグってどんなんでしたっけ? っていうのをちょっと簡単に。
ぜひお願いします。 ラグっていうのは、あれですね、外部記憶装置ですね。 素晴らしいですね。
自分たちの、要はLLMにない、自分たちの会社の事情とかデータとかパーソナルデータとかが入っているデータの塊です。
素晴らしい!正解です。 合ってんの? はい、おちつきAIラジオのWikiにもラグ書いてありますね。読んでみましょうか。
読んで読んで。 ラグ。検索拡張生成。
検索拡張生成、はい。 生成AIの外部に知識を蓄えてそれを参照して答えさせる仕組みと。
はい、いわゆるカンペのようなものとして語られたという。 いい例えだ。
ラグ出てこないよ。 ラグ出てきたよ。ARAGで、ラグ。
はいはい、本当だ。 カネリはね、LAGってラグ書きがちだからね。気をつけてね。 今も打ってた。
そうね、前概要欄のやつ全部間違ってたから直してあげるわけだ。 ありがとう。
落ち着け、ラグがLAGになってたから。 Lっぽいよなーって、LLMだしなーみたいな。
吊られてるね、LAG。絶対今LAGで検索してるんだろうなーって思って。 出てこないとか言ってるから。
RAGでございます。リトリー版です。 そう、ラグっていうもの自体は
何なの?データベースみたいなものってこと? まあそうだね、そういう仕組みのことだね。
検索拡張生成をさせる仕組みで、そのLLMが自分の脳内にある情報以外を参照できるように
チャンク分割と意味検索
LLMに検索しやすいように、その外側にデータを持っておきましょうと。その持ち方とか検索の仕組み自体を
ラグと言います。で、ラグは基本的にはファクトと言ってですね、その情報がありますと。
それを7日の形でチャンク分けってして。 チャンク分けがちょっとさっきも出てきたけどわからない。
一定の長さに区切っちゃう。 1個で丸々ボーンって入らないから。
単語ごとに切るみたいなこと? 単語じゃないね、もうちょっと大きい区切りで、このチャンクの長さをどうするかも結構精度に関わるんだけど
例えば落ち着きAIラジオのチャンク分けだったら90秒で切ってるのよ。
秒で? 90秒の文字起こし分を一チャンクとして切っちゃうと。
結構長いね。 それをインデックスって、まぁこれだいたいこのチャンクの中でこういうこと語られてるよねみたいなところを登録すると。
で、オーバーラップっていってね、検索ある程度意味を繋げて文脈が途切れないようにこれ
全部さ、区切っちゃうと上と下が繋がってないから、それをちょっと重ね合わせるっていうところでつなげながら構築していくんだけど、
そうすると何が起こるかというと、そのチャンク分けされているものが何となく意味として登録されてるのね。
だからその検索ってさ、文字検索って言って完全一致でさ、例えばカネリンって検索したらカネリンって書いてあるところバーって検索するみたいな。
そういう検索の仕方は昔からあるんだけど、これで多分カネリンの好きな食べ物は、みたいなカウントで検索すると、
カネリンの好きな食べ物はって文字が書いてあるところしか検索しないじゃん、文字で検索したらね。
意味として検索できないよね。
うん、できないね。
なんだけど、ラグはそれを意味検索ができるような仕組みになっていて、ベクトル検索って言うんだけど。
ベクトル検索、意味検索、意味領域。
意味領域、まさにそう。チャンク分けしたところをベクトルに変換して、
だいたいこういうこと語ってるよねみたいな領域にポンと飛ばしてあげるのね。
そこに登録しておける。
その辺りにポンと。
その辺りにポンと。だから入ってきた質問が、カネリンの好きな食べ物ってだいたいこの辺りだよねっていうのを見つけに行くと。
そこら辺にある意味に対して、じゃあチャンクこれとこれだ、ここにカネリンの好きな食べ物が書いてあるわ。
その中を参照して答えるっていう。そういう検索の仕組みがラグ。
その意味の領域が検索できるのがそのLLMならではなの?
そう。
なるほどね。イメージできんもんな。
なんとなくその犬だったら犬っぽいものが集まってるよねみたいな領域があったりとか。
そういう感じでベクトルで近いもの、意味の近いものを検索できるっていう仕組みがあって、
そういうふうに1個1個のデータを意味で区分けることによってLLMが検索してこれるよねと。
だから全部を、例えばすごい膨大な情報がある中で全部をバーって検索して、
この辺にガイドあったねっていうふうにやったらすごい時間もかかるし、
そんだけトークンを消費してしまうんだよね。
トークン消費怖い。
見にしみて分かるでしょ。
分かる分かる。
上限バンバン当ててるんだったら。
だけどもっと効率的に検索しようと思ったらやっぱりそういうやり方をしないといけなくて。
その仕組み自体がラグなのね。
で、LLMでいろいろとファクトを持たせて検索させる時にはラグを使いましょうっていうのは2024年の末ぐらいからかな。
ずっと言われていて。
全文検索してBってやってるわけじゃないんだ。
じゃない。全部検索してたらLLM全部読みに行かなきゃいけないから。
そうだよね。これトークンどうなるのとかって思ってたもんね。
それをしないためにわざわざ意味に区分けて。
で、チャンクで区分ける理由もすごい長い範囲で、
じゃあそれをインデックスで登録しようと思ったら意味がさすごく区分けてあるじゃん。
区分けてある。何語られてるのかいっぱいいろんなことが語られてるとどこに登録していいかよく分かんないよね。
ポッドキャストRAGの精度調整
そうねそうね。
いつも俺ら脱線しまくって何の話とか分からんくなる。
90秒ごとだいたいワントピック以内に収まってるというか。
登録しやすいんだよね。
なるほどなるほどね。
じゃあ30秒ごとに話題変わったらもうクチャクチャになるんだ。
クチャクチャにはなる。
なるほど。
まあまあそれは一応精度の。
で、それがあまりにも多いんだったらチャンクを短くしなきゃいけないよねみたいな話になってくるし。
それ90秒はどういう根拠で90にしたの?
LLM聞きました。どのくらいがいいですかって言って。
我々のナレッジ系の番組と雑談系の番組でだいぶ設計を変えた方がいいよみたいな。
まあそういう相談をしながら90って一旦決めた。
あとは精度が悪かったらそこを短くするので長くするなりをしていかなきゃいけなかったんだけど。
それはやっぱり手動で調整しなきゃいけないんだ。
そう。
それもパラメーターなんで自分で決めて、
精度が悪かったらそのチャンクをちょっと調整したりとかオーバーラップ調整したりしながら、
地道に回答が良くなるように積み重ねていくのがラグの作り込みなんだけど。
雑談とナレッジ系で、うちはどっち系なのこれ?
うちはナレッジ系の秒数にしてある。
どっちがどんな感じなの?雑談だったらもうちょっと長めってこと?
短く撮った方がいいよっていうふうに、
その時はクロードはそう言ってたけど、
実際そのポッドキャスト番組文字起こしでラグ作ってる人っていないから、
それを楽しめるかどうか知らん。
ポッドキャスト番組のラグ作ってる人いないっていい単語だね。
いない、見たことないよね。
みんなやんないもんね別にね、そんな。
俺は勉強勝手でやったけど、
そんなラグを作りましたみたいな人、そんないないから。
何秒が楽しいのかよくわかんないけど。
今後はそういうものを作っていく方向に行くんでしょうか?
ポッドキャストに限らずさ、発信してる人とかメディアってさ、
ラグを作る、ウィキを作るみたいなことが当たり前になっていく?
いい質問っすね。
RAGを見直す理由
ちょっと気になったね。
ラグが、ラグ結構定期的にオアコンって言われるのよ。
あ、そうなの?
オアコンじゃないよ、実際オアコンじゃないんだけど。
すごいじゃん意味領域がどうとか。
それは何でラグを見直そうみたいな話になってるかっていうと、
まず一つはコンテキストの量が増えた。
だから1回の入力でAIに入れられる情報の量っていうのがめっちゃ増えたんだよ。
昔はもっと短く記憶がなかったもんね。
そう、2024年とかさ、そんなにいっぱい入れられなかったもんね。
明らかにすごい量が入るようになったから、
トークンかかるけど、そもそもラグを構築するコスト考えたらそこにぶち込んで、
その中から計算した方がいいんじゃない?みたいな。
出した方がいいんじゃない?みたいな話もある。
ただ、ロストアインザミドルっていう特性もあって、
最初の文章と最後の文章に強く引っ張られるよね?みたいな。
そういう特性もLLMは持ってるから、完璧に検索できるわけじゃないと。
やっぱラグの方が正確だよね?っていう話はあるんだけど、
にしてもある程度すごく長く入っちゃうから、
本当に国語辞典一冊みたいにドーンって入っちゃったりする。
国語辞典一冊は言い過ぎだけど、小説一冊とか二冊とかバーンって入っちゃうようなもんだから、
ラグ見直した方がいいんじゃない?っていうのがまず一つあるのと、
ただアンドレ・カーパシーが言ってるのはそこじゃなくて、
そのLLMを検索、LLMで文章を検索させる時に、
いちいちラグだと、チャンクを検索して意味領域から持ってきて、
これとこれがファクトっぽいなっていうのを読んで答えを生成するっていうことをやってると。
だからこれ何をしてるかっていうと、
質問されるたびにLLMが一から考えて、答えをゼロから知識が発見して生成してると。
それをひたすら繰り返してるよねっていう仕組み。
知識を蓄積するLLM Wiki
それはラグがあるよね。
ラグが?
ラグが。
アンドレ・カーパシーはそれを無駄じゃないっていうふうに思ってると。
っていうのは一度聞かれたことは、いい質問だったら知識として蓄積していくべきだよねと。
なるほど。何回も同じ質問を答えて、毎回同じことを再発明してる感じになってた。
そう。聞かれたことはちゃんとこれとこれとこれが繋がって、こうやって回答しましたよって。
だったらここの繋がりも大事だし、その回答も大事だし、失礼。大事だしっていうので、
蓄積が起きた方がいいんじゃないみたいな。
そうだな。
蓄積は起きないんだね。
蓄積は起きない。
データは変わらないんだ、ラグは。
変わらない。
なんかもったいないね。
そこにもったいないねってすごく思ったのがアンドレ・カーパシーなんですね。
質問がめっちゃ来るところは強化するとかさ。
そうそうそう、とか意外なところが繋がったところは残しておくとか、
そういう知識の横の繋がりみたいなのはあまり出てこないんだよね、ラグだと。
ファクト情報として持ってきて、その中で何が語られてるかをあくまでもアウトプットすると。
だからそういうのってちょっと良くないよね。
結局そのノートブックLLMとかも、
ChatGPTのファイルをアップロードしたやつを読み込んでくるとかも、
ラグシステムも基本的にはこういうふうに動くと。
じゃなくてLLM Wikiっていうのはちょっと違うと。
LLMがもう永続的にそのWikiを育っていくと。
もう質問があったら育ってるし、新しい情報が追加されたらまた育ってると。
あ、そう。これじゃあ元のデータ、
俺らのトークしたデータ、文字起こしのデータ追加して育つだけじゃなくて、
質問が来たらそれで強化されていくの?
本来はそう。ちょっとね、落ち着けやいWikiはそこまでできてない。
RAGとWikiの併用、成長と課題
そういう入り口を作ればそういうことだよね。
みんなの質問チャットボックス作ればどんどん育っていくと。
本当はね、ラグのシステムをもう捨てちゃってWikiに繋げるっていうのが正解なんだよ。
なるほど。
アンドレ・カーパシーはラグじゃなくてWikiから検索してこいと。
なるほど。捨てよ。
そうはね、難しいんですよ。
なにが?
そう簡単に捨てられない。
難しいの?
そうなんだ。
一個ずつね、ステップバイステップでやっていくから。
ただそのLMWikiも概念だから、これがラグを超える検索になるかっていうのはまた別だし、
その目的と手段としてね、いろいろ概念があるんでね。
いきなりシフトするのはちょっと危険だなと思ったんで。
両方走らしとく独立してっていうのはどうなの?
今は、あ、そう、それはできると思う。
同じエサを食べさせて。
今はね、本当に落ち着けやいラグはラグで、
あくまでもラグの中でファクトとして生成したものでWikiを作ってるっていう分類をさせてるだけだから、
今後このラグの検索の中にWikiをうまく入れてくっていうのはすごく大事だと思う。
検索されたことで、その検索されたものに対してもWikiが育つしみたいな。
我々が喋ったことに対してもWikiが育っていくよっていうので、
知識が継続的に成長するよねっていう土台をLLMで作るっていうのがLLMWikiの基本的な考え方。
なるほど。面白いね。
そう。だから何が起こるかというと、
知識と知識、一個一個独立した知識の、さっき見せたようなナレッジの繋がり。
何の派生して繋がっていくっていうところが非常に面白い部分。
新しいものが増えるたびに、いろんな項目が追加されていったり繋がりが増えていったりする。
だから本当に知識のナレッジがどんどん膨らんで成長していくようなことが自動で行われていくっていうのがこのLLMWikiのすごいところ。
育っていく感じだね。
育っていく感じ。
じゃあ使ってもらえば使ってもらうほど育っていくけど、攻撃受けそうだね。
そこは何でも質問がいいわけではなくて。
カネリンはウンコ、カネリンはウンコ、詐欺師って言われたら、カネリンとウンコがめっちゃ紐づくみたいな。
何でも質問したらどんどん繋げるってわけじゃなくて、一応データの内容とか古いデータとの矛盾があるかみたいな。
なるほどね。それもLLMがジャッジすると。
ジャッジして正しく修正していくっていうのが、まさに自律的に構築していくっていうところで重要なんだけど。
永続的に成長していて、さらに副理的にどんどん使えば使うほど、雪だるま方式に大きくなればなるほど、副理でどんどん知識が溜まっていくよっていうのがこの成果物なんだよね。
面白いっすね。
この概念はすごく。
多くの人に使われれば使われるほど、どんどん脳のシワが増えていくみたいな。
これは本当にいいところ。ただ今までWikiのメンテってめっちゃめんどくさくて、人間がWikiのメンテやろうと思うと、じゃあこの項目が追加されました。
じゃあこの項目に対してこのページとこのページ更新しなきゃいけないし、ここ矛盾したなみたいなやつを一手でやらなきゃいけないとめっちゃ大変だったのね。
本当は本家Wikipediaみたいにいろんな勇士たちが書いては修正してっていうのを繰り返さなきゃいけなかったんだけど、
それをLLMがやってくれると。自分の持っているナレッジでやってくれるっていうのがこの概念なのね。
なるほどね。