miiboのデータ分析の重要性
こんにちは、ザ・ディープダイブです。さて今回は、お問わんしの記事にあったmiiboの会話ログCSV分析、これをちょっと深掘りしてみたいと思います。
AIの運用って、なんかこう、どう改善したらいいのかわからないってなりがちですけど、データがその答えをくれるかもしれないと。
そうですね。この記事が面白いのは、miiboからダウンロードできるCSVログ、これが単なる記録じゃなくてですね、AIを育てるための宝の地図みたいなもんだって言ってる点なんです。
宝の地図ですか。
はい。なので、今回はこの地図をどう読み解いて、実際の改善アクションにつなげていくか、そのあたりの実践的な話をしていければなと。
これは楽しみですね。じゃあ早速その地図広げてみましょうか。まず驚いたのが、CSVに入ってる情報の細かさ。お問わんさんの検証だと、たった240件のテスト会話で、20項目以上。
そうなんです。
発話内容とか応答は当然として、検索クエリとか、どの知識を使ったかまで全部記録されてるんですね。
そこがポイントで、基本情報だけじゃなくて、ユーザーIDとかセッションID、こういう個別の対話の追跡できる情報がしっかり入ってる。
なるほど。
これがあると、誰が、いつ、どういう経路で対話したか、かなり具体的にわかるんです。
例えば、あの記事にもありましたけど、API経由が65%で、ウェブ画面が35%でしたっけ。そういう利用実態まで。
はいはいはい。プラットフォームごとの違いが見えると。あと、セッションIDの仕組み、最後の発話から15分で区切られるっていうのも、なるほどなと。
ええ。
単なる技術的な話じゃなくて、ユーザーがそこで会話を一区切りとみなしてるかどうかの、まあ、一つの目安になりますよね。
まさにそうですね。で、この豊富なデータを使って、じゃあ具体的に何ができるのって話ですけど、記事では主に3つの分析アプローチが紹介されてましたね。
3つですか。
ええ。大事なのは、単に何を聞かれたかだけじゃなくて、どこで会話が詰まっているのか、それはなぜかを探るっていう視点かなと。
どこで、なぜ、ふむふむ。
まず1つ目は、まあ定番ですけど、品質質問の特定ですね。ユーザーが実際に入力した言葉、記事でいうアタランスの列を見れば、不安ですとか人間関係みたいな、よくあるパターンが見えてくる。
はい。
そこに集中して回答の精度を上げれば、まあ改善効果は大きいですよね。
確かに。よく聞かれることにしっかり答えるのは基本中の基本と。
ええ。それから2つ目が、プラットフォーム別の傾向分析。
さっきの話ですね。API経由とウェブ画面とか。
そうです。例えばAPI経由だと技術的な質問が多いかもしれないし、LINE連携だったらもっと気軽な相談が多いかもしれない。それぞれ求められる応答のトーンとか内容も変わってきますよね、きっと。
なるほど。チャンネルごとに最適化していくと。
ええ。利用シーンに合わせる感じですね。そして3つ目が、セッション継続率の分析。
これがなぜの部分に関わってきそうですね。
そうですね。セッションIDで一連の会話を追っていくと、ユーザーがどこで会話をやめちゃっているのかとか、
あるいは逆にどういう流れだと満足して最後まで話してくれるのか、そのパターンが見えてくる可能性があります。
ああ、この話題になると離脱が多いぞみたいな具体的なポイントが。
見つかるかもしれないということです。
なるほどな。分析でそういう問題点が見えてきたとして、じゃあどうやって改善するか、ここが一番知りたいところですが。
具体的な改善策
おっしゃる通りです。そこもちゃんと書かれてましたね。具体的なアクション。まずはナレッジデータストア、つまりAIが回答を作るときに参照する情報源、これを最適化する。
AIの教科書みたいなものですね。
ええ、この応答で使われた知識っていうデータがあるので、それを見てよく使われる知識は元質を高めるとか、逆に全然使われてない知識は見直すとか削除するとか。
なるほど、実際のテスト結果に合わせて教科書を改訂していく感じですね。
次がプロンプトの改善。
プロンプト、AIへの指示文ですね。
ここで面白いのが、サーチクエリを見るってところです。つまり、AIがユーザーの質問をどう解釈して情報を探しに行ったか、そのログです。
ああ、AIの思考プロセスを覗き見るような。
そうなんです。もし検索クエリが対当たりだったら、それはAIが質問の意図をちゃんと理解できてない証拠なので、プロンプト、つまり指示の出し方を調整する必要があると。
ここでステート機能、会話の状態を記憶する機能なんかもうまく使うと、より文脈に合った指示が出せるようになりますね。
なるほど、指示の出し方を変えるだけでAIの動きが変わるかもしれないわけですね。
変わる可能性は十分にありますね。そして最後がシナリオフローの見直し。
シナリオフロー、事前に設計した会話の流れですか?
はい。シナリオネームとかで識別されるような特定の会話パスですね。これが意図した通りに機能しているか、もし特定の分岐でユーザーが離脱しがちなら、そこを改善するとか、別の選択肢を用意するとか。
ふむふむ。いやあ、こうやって聞くとかなり具体的ですね。何となくここが悪いかもじゃなくて、データに基づいてここをこう直すべきだって言えるようになるわけですね。
まさに。しかもCSV形式ですから、普段使っている分析ツールとかExcelとかでも扱えますし、計測的な改善がしやすい。
確かに。
だからこのmiiboの会話ログCSVっていうのは、AIエージェントを良くしていくためのすごく実践的な指示書みたいなものなんですよ。
これをちゃんと使えば、何となく運用から抜け出して、データに基づいた改善サイクルをしっかり回せるようになるということです。
いやあ、これは活用しない手はないということですね。
さて、ここまでいろいろな分析とか改善策を見てきました。最後に、あなた、リスナーの皆さんに考えていただきたい問いがあります。
えー、今回の話を踏まえてですね、あなたのAIエージェントにとって、今データが示している次に取り組むべき最もインパクトのありそうな一手は何でしょうか。
もしかしたらそれは、普段感じている課題とはちょっと違うポイントかもしれません。
ぜひご自身のデータと向き合って、その答えを探してみていただければと思います。
