00:08
みなさんこんにちは、矢野 哲平です。この番組は、耳で学ぶAIをコンセプトに、初心者・中級者向けにAIを分かりやすく解説する番組です。
今回のテーマは、RAGと埋め込みについて話していきます。 はい、ということで今日は、RAGと埋め込みについて話していきます。
ちょっと聞き慣れない言葉2つ出てきたと思います。 RAGと書いてラグ、それから埋め込み、英語ではエンベディングと言ったりします。
ラグも埋め込みも、普段聞き慣れない言葉なので、なんだかちょっと難しそうと感じる人も多いと思います。
でも安心してください。仕組みの細かい話よりも、これを使うと何ができるようになるのか、そういった内容を中心に、今回できるだけ簡単に話していきます。
実はこのRAGと埋め込み、この耳で学ぶAIシリーズの第2回目でも少しだけ触れました。
生成AIによく登場するキーワード、このテーマの回で話しました。 その中で埋め込みは後のエピソードで詳しく掘り下げますとお伝えしていました。
今日がまさにその回で、埋め込みとRAGについて詳しく話していきます。 今日話すポイントは主に3つです。
1つ目に、そもそも今のAIは何が苦手なのか。 埋め込みとRAGを理解しやすくするために、まずはここからスタートします。
そして2つ目に、その解決策がRAGと埋め込みであることを深掘って解説します。 そして最後3点目、実際にビジネスの現場でどのように活用されているのか。
これら3点を中心に話していきます。 はい、それでは早速話していきましょう。
まずいきなりRAG、あとは埋め込み、そういった説明から入らずにちょっと回り道をさせてください。 今のAIが何が苦手なのか、この話からスタートしたいと思います。
チャットGPTやジェミニー、クロード、最近のAIすごいですよね。 ビジネスのシーンでも歴史でも科学でもプライベートでも大抵の質問は答えてくれます。
でもですね、こういった経験ないでしょうか。 例えば会社でAIにこう質問したとします。
うちの会社の経費生産のルールを教えてくださいと。 これはAIは回答できません。
なぜなら、AIはあなたの会社の経費生産のルールを学習していないからです。 ここをすごく大事なポイントなんですけど、今のAIは世の中に広く出回っている
一般的な知識、情報、こういったものを勉強して賢くなっています。 ですが逆を言うと、学習していること以外の部分には回答できません。
さっきのような、私の会社の経費生産のルールを教えてください。 そういったマイナーな内容と言いますか、学習の仕様がない内容、こういったものに関しては回答できません。
03:11
なので、社内規定や業務マニュアル、自社の商品データ、そうしたその会社だけが持っている情報、 こういったものはAIは学習していないので回答ができません。
なので、今のAIを例えるならこんなイメージです。 世の中のことは何でも知っていると、ものすごく物知りな人。
でも、あなたの会社のことは何も知らない、入社したばかりの新人のような存在だと。 じゃあこの知らないことをどうやってAIに回答させるのか。
ここで登場するのが今回話すラグと埋め込みです。 改めてRAGと書いてラグと読みます。
ラグを一言で言うと、AIが回答する前に関連する資料を探してきて、その資料を見ながら答える仕組みです。
イメージとしてはこんな感じです。 そうですね、学生の頃のテストを思い出してみてください。
普通のテストって自分の頭の中にある知識だけで回答していきますよね。 でももし先生が資料を持ち込んでもいいですよと、そういったテストだったらどうでしょうか。
わからないことがあっても手元の資料を見ながら回答できる。 そうすれば自分が学習していないテストに関しても回答できるようになります。
ラグはちょうどこんなイメージです。 AIが回答する前に参考資料を渡してあげる。
AIはその参考資料をもとに回答する。 イメージ的にはそうですね、AIにカンニングペーパーを渡してあげるようなものです。
新入社員の例えをちょっともう一度話してみましょう。 新入社員が経費生産のルールわかりませんと、そういった状態です。
そこで上司が、これがうちの経費生産のマニュアルだよと資料を渡してあげる。 そうすると新入社員はその資料を読んでちゃんと回答できるようになりますよね。
この会社の経費生産のルールはこういったものだと。 でラグがやっていることはまさにこんな感じのイメージです。
AIが質問を受け取ったらまず関連する社内の資料を探してくる。 そしてその資料を読んだ上で回答する。
こうすることでAIが知らない社内のルールでも回答できるようになります。 ここまで話を聞いてこういった疑問が思い浮かんだ人いるかもしれません。
ラグは資料を探してきてそれを見ながら答える仕組みなんだなと。 でも関連する資料を探してくる。その探すっていうのはどうやるんですかと。
AIが学習していない内容でも回答できるようにAIにカンニングペーパーを渡すと。 カンニングペーパーを渡すことでAIが学習していない内容でも回答できるようになる。
じゃあ回答に必要なカンニングペーパー これはどのように探して渡すんですかと。
06:04
ここで登場するのがもう一つのトピックである埋め込みです。 英語ではエンベディングと呼んだりします。
この埋め込みというのは耳で学ぶAIのシリーズ第2回でも紹介しました。 改めて説明すると文章や画像といった情報をAIが扱える数値に変換することです。
数値に変換と言われてもちょっとピンとこないと思います。 なのでシンプルにこうイメージしてみてください。
埋め込みとは意味が近いものほど近くに置かれる仕組みです。 よく意味の地図と例えられたりもします。
例えば、そうですね、体育館に大きな地図を広げているとイメージしてみてください。 その地図の上にいろんな言葉が書かれた
赤い三角コンを配置していきます。 赤い三角コン。この時意味が似ているものは近くに意味が違うものは遠くに置かれます。
例えば犬と猫。 こちらは動物でペットでもあるので地図の上では割と近くに置かれます。
一方で犬と新幹線。 こちらは意味が全然違うので地図の上では遠くに離れて置かれます。
こんなイメージです。 でこれがラグの探すとどうつながるのかここが一番大事なところです。
昔ながらの検索って言葉がぴったり一致しないと見つけることができません。 例えば私が犬というキーワードで資料を探したとします。
でも資料の中には犬と書かれてなくてワンちゃんと書かれていたとします。 この場合どうでしょうか。
文字が違うので昔ながらの検索だとこれはヒットしません。 人間からすれば犬もワンちゃんも同じ意味なのにです。
これちょっともどかしいですよね。ここで埋め込みを使うとどうなるのか。 犬とワンちゃんほとんど同じ意味ですよね。
なので地図の上では近くに置かれます。 つまり検索のキーワードが違っていてもワンちゃんのワードで探しても犬の資料をちゃんと見つけ出す
ことができるようになります。 検索ワードがぴったり一致していなくても意味が近いものをちゃんと見つけられる
類似度検索とか言ったりするんですけどこれが埋め込みの特徴です。 つまりラグはこの埋め込みという技術を使って質問に意味が近い資料を探し出すことが
できます。 そしてその資料をカンニングペーパーとしてAIに渡すことでAIが学習していない内容でも
回答できるというものです。 今回はイメージしやすいようにその埋め込みの対象を犬や猫
新幹線なんかで表現しましたけど、業務のシーンではこれは社内文書であったり社内規定、会議音声など様々です。
例えば社員がAIに経費の生産ってどうやるんだっけと質問したとします。 でも社内のマニュアルには縦解禁の申請手順というタイトルで書かれていたと
09:05
つまり人間側の質問と実際にマニュアルに書かれている内容 似たような意味ですけどキーワードはぴったり一致していないというパターンです
でも経費の生産と縦解禁の申請これは意味がすごく近いと だから埋め込みを使うとAIは経費生産に関連する適切なマニュアルを見つけることが
できるというわけです。 ちょっと一旦まとめましょう
ラグは資料を探してそれを見ながら答える仕組み 埋め込みは意味が近いものを探せるようにする意味の地図のようなものです
この2つがセットになることでAIが自分の会社のことにも答えられるようになります なぜなら埋め込みを使って関連する資料を探し出し
それをAIに渡すことができるからです じゃあこのラグや埋め込み
実際の企業ではどんなふうに使われているのか ここからはタイプの違う2つの使われ方を紹介します
はいではまず一つ目が会社の中で社員が使うパターンです こういった取り組みしている会社結構増えています
例えば社内向けのAIアシスタントを用意して全社員が使えるようにすると ただ冒頭でも触れたように社内向けのAIアシスタントを用意しても一つ問題が出てきます
それは社内の情報をAIが知らないということです 社内の質問に対してAIが回答できないと
じゃあどうするのかここでラグが登場します 自分たちの会社のデータをAIにつないで社内からの問い合わせに対する対応を
AIに任せることができます 例えば社員がこれってどうすればいいんだっけと質問をしたら
社内の資料をもとにAIが回答してくれる ちょうど社内のことなら何でも相談できるアシスタントのようなイメージです
結構この取り組みって導入しやすいと思うんですよね 例えば問い合わせをする人が社外のお客様だったとします
その場合やっぱり回答の質を担保したりプライバシーに配慮する必要が出てきます 社外のお客様であれば
でもこのケースで使っているのは社内の人間です つまり回答の精度があまり良くなくても社員からのフィードバックをもらって改善する
サイクルを回しやすいです これがラグの活用方法のその1です
会社の中の人社員が使うパターンです はいでは2つ目の使われ方こちらはガラッとタイプが変わりまして社外のお客様が使う
パターンです イメージしやすいのはあのカスタマーサポートです
お客様からの問い合わせにAIが対応する 例えばログインの手続きサービスの使い方返品方法商品のこと
こういった特定企業の内部に関する情報 そういった問い合わせに対してAIが応対します
そしてここでもラグが効いてきます その会社がもともと持っているよくあるご質問の情報
12:06
あとはオンラインのヘルプやマニュアル こういった社内の資料をAIが参照してそれをもとにお客様に回答すると
まさに資料を見ながらお客様の質問に答える ラグの考え方そのものです
はいこちらはラグの活用方法その2で社外のお客様がAIに直接触れるパターンです ちょっと一旦整理しましょう
ラグの活用方法1つ目は会社の中で社員が使うタイプ 2つ目はお客様が直接使うタイプ
同じラグという仕組みを使っても使い方によってこのように応用ができます ちなみに私はAIエージェントを使ってスライド作成をするとき
このスライドで使う画像をAIエージェントが検索しやすいように 埋め込みを使った画像検索システムを作ったりしました
これ結構便利で会議室の画像みたいなキーワードによる検索ではなくて 複数の男女が戦略立案を行っている会議の画像とか
人間が写っていない会議室だけの画像 こういった微妙な違いを自然言語で画像検索できるようになりました
あとはこの耳で学ぶAIのシリーズ 台本を全部読み込ませてみても面白そうですよね
つまりこのシリーズの台本をすべて埋め込みを使って処理をすると そうすることでこのシリーズの内容に関する質問に
AIが回答できるようになると 例えばこのシリーズで紹介したお便りの内容
どういったものがありましたかとか シリーズで紹介したおすすめのAIツールってどのようなものがありましたかとか
こういった質問にAIが回答できるようになります 結構最近AIエージェントの話題多いじゃないですか
私もこの耳で学ぶAIのシリーズでも 3回分の枠を取ってAIエージェントを紹介しました
でも埋め込みやラグのトピック こちらも結構面白いと思います これを機会にぜひチェックしてみてください
じゃあこういうラグどうやって実践するのと そういった話になりますけど 実は私たちすでにラグっぽいこと体験できる状態にあります
例えばチャットGPTに資料のファイルを添付して その内容について質問する
こういった使い方をしたことがある人も多いと思います これも広い意味では資料を渡してそれを見ながら
AIに答えてもらう ラグと同じ発想と言えます あとは以前このシリーズでも紹介した
ノートブックLMというツール あちらも自分が入れた資料を元にAIが答えてくれるというツールです
これはGoogleが開発しているものです こちらもラグ的な仕組みを取り入れたツールの一つと言えます
なのでいきなり大がかりなシステムを作る必要はありません まずは手元のチャットGPTに資料を添付して質問してみる
15:02
ノートブックLMに気になる資料を入れて聞いてみる そうすることで資料を渡してAIに回答してもらうと
こういう使い方をするとまた違った活用方法が見えてくるなと そういう感覚を体験するのがおすすめです
そうするとじゃあ会社の業務でこういった使い方ができそうだなと そういったアイデアもどんどん湧いてくると思います
そこからAIエージェントを使って本格的な埋め込みを使ったラグのシステムを構築する このアプローチも面白いと思います
ちなみに前回話したローカルLLM こちら覚えていますでしょうか
手元のパソコンの中だけでAIを動かすというものです このローカルLLMの環境でラグを構築するというアプローチもあります
つまりこれどういうことかというと社内の文章情報を一切外に出すことなく そしてAIに学習させることなく
ラグの環境を構築することができると ちなみに埋め込みで使えるAIモデルいろいろあるんですけど
Googleが出しているローカルLLMの環境で使える エンベディングジェマというモデルもおすすめです
重ねてになるんですけどラグや埋め込み あまり聞き慣れない言葉だと思います
ですが知識として頭の片隅に覚えておくだけで AI活用の選択肢かなり広がると思います
打ち合わせとかミーティングでラグや埋め込みの話題が出た時に
そういえばなんか耳で学ぶAIで話してたな こんな感じで思い出してもらえれば嬉しいです
はいそれでは今日のポイントをまとめます 一つ目今のAIは物知りだけど自分の会社のことは知らない
新人のような存在です 二つ目そうした課題を解決するのがラグと埋め込みです
これは関連する資料を探してきてそれを見ながら答える仕組みです
三つ目ラグは社内の問い合わせ対応でも社外のカスタマー対応でも使えます
アイデア次第で様々な応用が可能です 今回話している耳で学ぶAIのシリーズはノートにもまとめています
興味のある方は補足コンテンツとしてご利用ください 概要欄にリンクを貼っておきます
はい今日はこのへんということで本日もお付き合いいただきありがとうございました 今回の第9回をもちまして耳で学ぶAIシリーズが完了となります
ここまで聞いていただいた方ありがとうございました どうでしたか
普段の配信はどちらかというと短髪のニュースを取り上げるような形で配信することが多いです
今回ちょっと思い立って前9回で体系的に耳でAIを学べるような音声コンテンツを作ってみました
結構コメントもいただいたりしたので個人的にはニーズがあるのかなと思ったりもしました
とはいえ前9回で連続して配信していくとその間のAIの最新ニュース取り上げることが難しくなるかなとも感じました
18:07
例えば直近ではクロードから新しいモデルが発表されましたファブル5というモデルです
その発表の後アメリカ政府の要請でこのファブル5使えなくなりました こういったAIの最新ニュースがシリーズを展開中は配信できなくなるというデメリットがある一方で
体系的に音声コンテンツを提供しやすいというメリットもあります
ぜひ今回のこの耳で学ぶAIのシリーズ概要欄の感想フォームやプラットフォームのコメント
そういったところから感想やフィードバックもらえると嬉しいです 取り組みとしては結構面白いと思うんですよね
例えばその他にも耳で学ぶノートブックLMとか 耳で学ぶクロードコードみたいなシリーズで展開しても面白いかなと思いました
ひとまず耳で学ぶAIのシリーズ全9回お付き合いいただきましてありがとうございました
はいそして今週はお便りをいただいています 実は少し前にいただいてたんですけど内容がラグに関するものだったので
今回まとめて紹介しようと思いました はいそれでは読んでいきます
矢野さんこんにちは耳で学ぶAI拝聴しております いつも有益な情報共有いただきありがとうございます
こちらこそありがとうございます 職場の業務効率化プロジェクトでAI関連でなんか映えることをやろうとなったので
ローカルLLM、MCPなどトレンドを散りばめつつGIS 確保地理情報システムを人間に代わって操作するAIエージェントを整備しています
AIの力は恐ろしいもので3日ほどでそれなりの形になりました そんな中でラグについてご意見いただければと思います
当初はプロジェクト全体を一つのラグファイルで網羅していましたが現在は5つ程度 本の編書こうで言うと編くらいでラグファイルを分割しています
分割の理由は構築作業時の外部AI クロードなどのトークン節約のためですが矢野さんはラグの管理やファイル形式はどのようにされていますか
ご教授いただけると幸いですよろしくお願いします はいお便りありがとうございました
ご質問にあったファイル形式 私はマークダウンを使っています さっき少し話したAIエージェント向けの画像検索
こちらはJSONで管理していました 理由としてはその画像の情報をJSONで構造的にまとめた方が良いと判断したからです
なのでどういったファイル形式で管理するかっていうのはプロジェクトによって変わってくると思います
ただメインではマークダウンを使っています あとお話にあったトピックごとに分割するやり方
21:03
これあのすごく理にかなっていると思います もし今後AIに質問して回答させる
そういった用途が増えていく場合はあの埋め込みを使って該当の箇所だけ引っ張ってくる こういった形もコスト的に効いてくると思います
よろしければぜひお試しください お便りありがとうございました
番組ではこのように耳で学べるAIを毎週発信しています 通勤中や火事の合間にAI情報をキャッチアップできます
毎週水曜朝に更新していますぜひフォローお願いします そしておすすめの生成AIツールをまとめた資料も配布しています
興味のある方はこちらもぜひ概要欄にリンクを貼っておきます お相手は耳で学ぶAIの矢野てっぺいでした
また次の配信でお会いしましょう
