番組RAGの仕組みと将来像
今、おちつきAI RAGっていうのを、結構前に作りました。
それがどういうものかというと、我々がしゃべった内容が文字起こしされて、
それが RAG ですね。レトリバルオーギメンテッドジェネレーションと。
検索拡張生成という技術を使って、しゃべったことが分かりますと。
聞くと、AIが、かねりんがこのタイミングでこういうことを言ってましたよっていう感じで、
今までのエピソードを検索して、秒数とともに回答してくれると。
内容もここで言ってましたよじゃなくて、番組で話した内容を元に質問に回答してくれるよっていう、
RAG というものを作ってました。
めちゃくちゃいいじゃないですか。
そう。で、さらにタイムスタンプもついてますよ、みたいな。
っていう RAG を作っていたんですけど、RAG は RAG なんだよね、やっぱね。
なんか類似のポッドキャストのサービスとかも、結構文字起こしのやつとか検索できるとか出てきてるから、
なんかさ、差別化というか、もっとこう、自分たちの番組に面白い形で絡んでいけるようなサービスにしたほうがいいなと思って。
なんかさ、先が見えないというか、先が決まっちゃってるんだよね。RAG 作りました。
で、RAG の精度上げてきますとか、もうちょっと使いやすくUI変えてきますっていうふうになったときに、
なんかさ、使いやすくはあるけど、面白みがないんだよね、やっぱ。
なんかその先、便利さはあるけど、なんかこうグンとか跳ねたりとか、革新的だねっていうビジョンがやっぱないと。
なんか点数を上げていく作業になっちゃう、どうしても。
そうだね。面白みがないか。
今閉じてるんだ。
今閉じてる。
で、WIKI も。
なるほど。
WIKI はまだちょっと作り込みがいがある。
そうなの?
RAGとWIKIの役割の違い
落ち着き AI WIKI は、RAG の情報したものをWIKI化して、全部記事にしてるっていう感じだから、
あれはもうちょっとガーッと作っていくと、見せ方も含めてもうちょっと面白くなるかなって感じはするんだけど、
あれはあれで、確かに作ってどんどん拡張していくのはいいんだけど、そんなに広がりもないかなっていう感じ。
RAG をどうしようかなっていうのが今悩んでるとこなのよ。
RAG と WIKI となんかさ、ダブってるよね。
そうだね。RAG はあくまでも能動的に検索をするもの。だからこういうのを聞きたいよねっていうもの。
WIKI は文字として起こされてるから、なんか引っかかるというか、選んで検索していけるよねみたいな。
WIKI はどの道そこにアクセスして、情報を探すものなの?これ WIKI も RAG も。
そうね。WIKI はどっちかって言ったら文脈としては、その番組の全体のつながりみたいな、エピソードを越境したつながりみたいなものを捉えていく。
それ面白いよね。オブシリアンみたいなやつ。
そうそう。その前提として作っているから、RAG の検索の中も、もう RAG じゃなくて WIKI を使って検索した方がいいんじゃないみたいな話もあるし、
グラフ構造っていって、ノードと概念同士がつながってるから、それを辿って検索するみたいな。
WIKI からやったもんね。
そう。
だから、クロードコードで WIKI 作ってるもんね。自分の MAC の、いろんな情報を集めたりするじゃん。
WIKI にしといてみたいな感じにしてるけど。
WIKI もね。
検索の時に使えるのかなって。
使えるとは思う。ただ最近あんまり LLM WIKI の話聞かないけど、
やっぱり早いしたりはあるのよ。新しい書が出てきたりとか。
古いの? WIKI。
古くはないけど、アンドレ・カーパシーがその後 WIKI についてどう言ってるかあんま追ってないから。
2ヶ月やってみましたみたいな記事はあるけど、ここまで使い倒しましたみたいなやつは正直今出てないかなって感じ。
このラグをどうしようかなっていうのはあって。
なるほどね。
使われにくさと活用方法の模索
でさ、やっぱ言うほど使われてないのよ、そんなに。
意外と落ち着きラグ、現実的に考えてこの Podcast の中で我々が喋ってたことを検索するシーンがどんだけあるかっていうと、意外と。
やっぱわざわざなんだよね。
このラグの仕組みを使って何かを作るみたいな。
裏でこのラグが動くんだけど、インターフェースをまた違う何かにするみたいな。
LINE とかってこと?
LINE でもいいし、別に喋ってる、AI チューバー意外と作ってないじゃん、作るって言ってなかなか。
そうだね。
その裏でこいつラグを持っててみたいな、喋りかけれるよみたいなサービス。
AI VTuber 稼働させるってことね。
そう、落ち着き AI VTuber とかね。
例えば、落ち着き AI リスナーが楽しめたりとかする形にしていきたいなと。
あとなんかね、できれば参加型にしたいよねってのあって。
参加型。
一緒に作っていけるみたいなもの、リスナーも。
意見を出したりとかもそうだし、なんかこういうの作ったらくっつけてくださいみたいな。
こういうのどうですかみたいなところで。
ラグにくっつけていくのね、いろんなもの。
だからもう別に、最悪サンクコストとして換算すれば、ラグを捨ておくっていうのもありです。
一旦もうラグ終わりみたいな。
ラグ終了。
もう今ね、文字起こし、そもそももう一回1から作り直すか。
結構初期の質の悪い文字起こしのやつが入ってるから。
そうか、それ文字起こし簡単に入れ替えはできないんですか?
入れ替えはできなくはないけど、結構量があるからどうやってやっていこうかなっていう感じはある。
トークンを消費するの?
トークンは消費するね、結構。
その読み込みで。
それも仕組みも、1年前じゃないけど半年くらい前かな?で作ったから。
そのパイプラインとか。
多分設計し直した方がいいところもあるかなっていうのはあって。
なるほどね。
そうだね。でも作るんだったらそれこそサービスみたいにしちゃうとか。
あーそういうこと?
検証さんがやってるポディとかあるけどさ、まず自分とこの番組とか近いところからテストしながら広げていくのを前提で作っていく?プロダクトとして。
でも他の番組もってなってくると、なんかちょっと広げ方難しいよなって思うんだよな。
うん。
落ち着きAIという番組に特化したリスナー用のツールみたいな。なんだけど、結局それどうなんだろう。
AI、それがあることによってAIを学ぶし、この行動変容につながるよねっていうものがやっぱ最終的にあった方がいいから。
うん。
だからいっぱいつけちゃったのね。落ち着きAIラグの中にさ、この前もさ、君、じゃなんだっけあれ。忘れちゃったけど、GLMかな。
新しい無料のモデルが試せますよみたいなやつも下にちょっとつけたりとか。結構もうぐちゃぐちゃなんだよね。
うんうん。無料で使えるやつ使うようにしてたね。
結構ね、なんか枝葉を分かれていろんなものをつけちゃったりとか、実験室みたいなやつを置いとくみたいなね。
ベクトル検索とチャンキング
ラグにする、そもそもメリットってなんだったんでしたっけ。
それも検索、すごく大量の文章の中で、全部読まなくても検索できると。ベクトル化してるから意味で検索してきるよねみたいな。
完全位置とか、あいまいな入力でもなんとなくそれに近い意味を持っているものがここら辺にあるよねと。
なんとなくチャンキングって言ってた。我々が喋った内容が何百文字ぐらいかの区画に分かれて登録されてるのよ。
その近くを読み取ってきて、その内容から答えてくれるみたいな。そういう検索ができる。
聞かれたことに対して。
溜まれば溜まるほど面白い感じになってくる。
そうだね。だから文章が多くなればなるほど、検索の精度が落ちていく。
落ちていくことは若干あるかもしれないけど、落ちにくいし、検索にそんなにコストがめちゃくちゃかからない。ベクトル検索をするから。
最初に作っちゃえばってことか。
LLMでやろうと思ったら全部読むのにバーって。どっか探すっていう。トークンを凄く消費するんだけど。
そういうことなんだ。
ただ今コンテキストウィンドウが広くなってきたから、結構それなりに入っちゃうから、もうラグ組まなくてもいいよねっていうのもあるんだけど。
後から作れるRAGと登録前の工程
我々がやってた量だったらラグでもまだ優位性はあるかなとは思うけど、ラグはラグでちょっと古い技術になってきているんじゃないかっていう話もあるし。
まず全然使われると思うけど。
今構築するよりのとさ、別に将来やりたくなった時に全部文字起こしデータさえあれば一気にラグっていうのは作れちゃう。
作れるよ。
別にずっと地道にコツコツやることに特に優位性はないんだ。
そうだね。別に文字起こしさえあれば思い立った時に作れるんだけど、ベクトル化みたいなやつにちょっと時間かかるのね。
エンベディングって言って。
ベクトル化ね。
一個一個チャンク分けして、カーネリンが喋ってないよ、支部長が喋ってないよ、多分分かれて。
で、この格デッグってチャンキングチャンキングみたいなことをしながら、オーバーラップって言って文章をかぶせてチャンク分けしていくわけだよ。
意味が途切れないようにね。っていう風な分け方をし、で登録しておくみたいな。
だから別に一気に文字起こしの文章があれば一気にバンって何日かかけてずっと処理し続けて登録できるよみたいな感じにはなる。
とは思います。
なるほどね。それをどう活用したら面白いか。
別にもうラグにとらわれる必要はないんだけどね。
意外とだから誰も活用してなかったってことだよね。
週に10件ぐらいはちょくちょく検索が入ってたんだけど。
あ、そうなんだ。
あんまりクリティカルな回答が出なかったからかな。
性能が低かったから。
性能が低すぎたのかな。
こんなもんかね。
性能を高めてもいいけど。
ゴリゴリに性能を高めようと思ったら、結構トークンめっちゃ消費するの?
いや、えーとね、そんなこともないとは思う。
うーん、そうだね。若干は消費するけど、文字起こしのデータさえあるのであれば、そんな大丈夫だと思うね。
今はね、結構文字起こしタイムスタンプ付きに変換、で、そこからエンチャンキングみたいな感じのフローになってるのよ。
かつ、そこに辞書をかましたって、だからAIの用語はAIの用語にするとか、
メタとかさ、チャットGPTっていうのにカタカナにならずに、ちゃんとそのお文字小文字分かれた定型の文章に変換するみたいな。
辞書ね。
辞書変換みたいなやつをかませて、文章を正しくしてみたいな。登録するっていうフローになってるんだけど。
そういう地道な作業は若干いるかなって感じ。
