Gemini Notebookの活用とRAGへの疑問
ちえラジChat金曜日始まりました。 今回はですね、週替わりテーマ、AIについてということで、Gemini Notebookって本当にRAG？って話をしようと思います。
自分はね結構Gemini Notebook使ってます。 まあちえラジChatの毎週のまとめとかは普通にGemini Notebookから出してるんでご存知の方も当然多いと思いますし、
その他にも一人ごとを全部突っ込んで解析させたりとか、 あとはまちのえんがわキャストのゲストさんのリサーチとかもそうですね。
そういうような感じでいろんな方法でGemini Notebook使ってます。 音声概要も作ってますし、ブログの記事を作ったりとか、
ブリーフィングノートを作成したりとか、本当にいろんなことができますね。 まあGemini Notebook自体はね、自分はすごく便利に使っていますし、
Gemini Notebook頼っているところもすごく多いではあるんですけれども、 ただ個人的にはね、このRAGっていう性能というか特徴というか、この機能については正直ちょっと
え?これ本当?っていうふうに思ってたりかしてるんですよ。 なので今回はその話をちょっとしようと思います。
RAGというのはいわゆる検索拡張生成って言われているもので、 基本的に外部のインターネットの情報とかそういうものを検索しませんよっていうのが
まあ機能の特徴みたいな感じになっています。 なので基本的に与えられた情報しか見ない、資料の情報しか読まない。
だから基本的にハルシネーションって言われるような全く全然資料にも何でも載ってないような情報、
まあ間違った情報とかを拾ってきづらいと言われてはいます。 ただ正直ね自分も音声、自分の日々の独り言を録音している時なんか結構あるんですが、
ゲームの話を出した時とかねなんか結構そのゲームのフルタイトル出してきたり、 自分がもうゲームの断片しか言ってないのにフルのタイトル出してきたり、
自分が言ってないようなあらすじを言ってきたり、 これ本当に検索してんじゃないのっていうような内容を出したりするんですよね。
ゲーム情報から見る検索・ハルシネーションの疑い
そしてその内容がぼちぼち間違ってるっていうこともある。 例えば以前はファイナルファンタジー10の話をして、
まあ主人公ティーダなわけですが、途中でね主人公のユウナがとか言ってきちゃって、 ええ?とか思っちゃったんですよ。
まあご存知の方はご存知通り、主人公ティーダのすごく近しい存在として、 ユウナという登場人物がいるわけですが、主人公ではないんですよね。
なのでなんでそんな結果が出てくるの?っていうようなところだったりします。 あとはこちらを公開している動画ではありますが、不思議のダンジョンについて、
高見知英のゲームの話しかしないポッドキャストだったかの方で触れた回の音声概要と動画解説ですね。
作った時、動画解説の方にね、なんか不思議のダンジョンの説明の隣に、 どう見てもこれカッパだなーっていうようなキャラクターが描かれてて、
これ多分風来のシレンのいやすぎガッパかなんかかなーとか思うんですけどね。 そんなキャラクターが描かれてて、
これ検索してんじゃないの?っていうふうに思ったんですよね。
いくらなんでも事前情報で、なんか不思議のダンジョンといえばシレン、シレンといえばいやすぎガッパとそういうのを連想するわけはさすがにないだろうと思うので。
なんかそういうのを見ててね、本当にこれ、 RAGって検索してないの?っていうふうに思ったりするんですよね。
検索してないの?これ実はしてんじゃないの?みたいなね。 そんなふうにも思ったりします。
あるいは、なんか検索をする前の事前学習データがやたら膨大で、 ハルシネーションが大いに含まれるような内容だったりしてるとかね。
資料の精度とAIの不確かさ
そういうようなことになってたりしてんじゃないの?っていうふうに思ったりはします。 まあだからといってね、自分はGemini Notebook使えないかって言うとそんなことないと思ってはいるんですけどね。
普通に使えます。ただ、ほぼのRAGはもっと精密なのか、それともRAGって本来こういうものなのかっていうのが正直ちょっとわかんないなっていうふうに思ったりしています。
そしてまあこういうような間違いって、例えばまちのえんがわキャストの文字起こしを読ませてそれを解析するとか、そういう時には出てこないんですよね。
だから圧倒的にやっぱりこういうような間違いが出てくるのは自分が音声を録音したものを読ませた時だけ。
だからそういう時に限ってあやふやな情報が出てくるなっていう感じがします。 だから資料の精度によってRAGの挙動って変わるものなのかっていうのもわかんないんですよね。
AIってすごく正体不明だなってつくづく思います。
はい、というところで今日の話はこれぐらいで終わりにしていきたいと思います。
明日は土曜日お休みです。
週明け月曜日いつもの通り近況のハナシをしていければと思います。
ではでは。
