ボットの導入と利用状況
michiru_da
カジカルFMは関西人のプロダクタマネージャーの道理だと関西人のソフトウェアエンジニアのファミリーが春日で配信する雑談ポッドキャストです。お願いします。
うぱ / upamune
お願いします。
michiru_da
今日のテーマは?
うぱ / upamune
うん。会社にヘルプガイドをもとに質問に答えてくれるボットを導入した結果、わらわらわらわら。
michiru_da
にちゃんのすれたい。
何?もう一回言って。
うぱ / upamune
会社がプロダクトを提供しているとするじゃないですか。何かしらの。
michiru_da
お客さん向けね。
うぱ / upamune
そうしたら、開発している方もそうですけど、それを売るセールスの人とか、あとサポートの人とかって、
いっぱいプロダクトがあったら、このプロダクトってこういう機能あるんだっけとか、あることはわかってても、
どっから設定するんだっけみたいな。普通はそれをヘルプガイド、お客様が見たりする。
michiru_da
サポートサイトみたいなやつ。
うぱ / upamune
サポートサイトを見たりして、ここにあるから、これはお客様に案内できるなとか。
まあそれでもわかんなかったら、人に聞いて解決すると思うんですけど。
それをね、今ちょっと2025年なんで、そのLLM、AIっていうやつを使って、
michiru_da
ちょっといい感じにできないかなっていうやつで、やってみた実際の話をしようかなと思います。
うぱ / upamune
結果から言うと、それをSlackっていうメッセンジャーツール、社内のコミュニケーションツールがあるんですけど、
あそこでBotっていう機械というかマシンというか、あれに聞いたら、プロダクトの質問をしたら、
そいつが答えてくれるようにしたんですよ。
そしたらなんか割と使ってもらえてる。
michiru_da
めちゃくちゃ見ますね。
うぱ / upamune
そのいろんな人、セールスはもちろん、サポートの方もそうだし、
なんならそのエンジニアが、あれここの仕様ってこうだっけみたいなのを確認するときに聞いてくれたりするっていう。
michiru_da
私も使いました。
自分が担当してないプロダクトの仕様を確認したいときに、
うぱ / upamune
そのガイドBotを呼び出して質問して、結構いい感じに答えてくれました。
ボットの精度と課題
うぱ / upamune
そもそも大前提なんですけど、
みんなが使ってくれる条件として、まず、精度がまともっていうことがあると思うんですよ。
3分の1でも使ってもらえないかもな。
michiru_da
もう3回に1回は嘘を言ってくるみたいな感じだと。
嫌かも。
うぱ / upamune
嫌で、たぶんその、分かんないことはちゃんと分かんないって言ってほしい。
いわゆるハルシネーションって言われるような嘘つくことをなるべく減らす、みたいな感じとか。
あとは、そのプロダクト関係ない一般的なこととかで、その回答されたくない。
michiru_da
そうね。
うぱ / upamune
本当にヘルプガイドの内容に基づいて答えてほしいですね。
っていうのがあるんで、基本的に今回作ったボットは、会社で作ったボットは、ヘルプガイドの内容をもとに回答するみたいな感じになってます。
なんで、基本的にヘルプガイドにないものはもう分からないっていう感じになってますと。
逆に、そのヘルプガイドには載ってないんだけど、普通はこれこういうふうな案内をしますとか、
そのセールスの方からしたら、こういう場合、例えば売り方の話とか、これとこれって一緒に販売できますかとか、
そういう話って、別にヘルプガイドに載せないじゃないですか。
michiru_da
そうね、別にプロダクトの機能の話じゃないからね。
うぱ / upamune
そうそう、そういうやつは無理ですと、そもそも対応できないんですけど、ヘルプガイドからは。
ヘルプガイドじゃなくて、そういうこれできますかっていう質問。
質問と回答を合わせ持ったNotionのデータベース。
Notionっていうのは、何なんだろうね、ナレッジ、知識を管理するチーム向けのドキュメンテーションのサービスなんですけど、
そこに本当にただのデータベースみたいな感じで、質問と回答がセットでなっているものを用意して、
michiru_da
そこの質問と回答には回答できるようになっているという感じ。
じゃあ参照するソースみたいなのは、ヘルプガイドとそのNotion上のこの質問ボット君用のデータベースが基本参照モードっていう感じ。
そうです。
初心者質問なんですけど、例えば別にChatGPTとか、ノートブックLMもこのドキュメントを先に加わせておいて、
そいつに基づいて回答してくれたりとかもできるじゃないですか。
今回うぱさんが作ったやつはそれとは違うものなんですか?
うぱ / upamune
いい質問ですね。
そこら辺多分簡単で、ChatGPTも事前にドキュメントを与えて、GPTsだっけ?
michiru_da
そう、GPTsですね。
プロンプトも与えておくやつがある。
うぱ / upamune
それでもできるんですけど、問題はですね、
michiru_da
一度入れた知識の更新がすこぶるめんどくさいっていうことなんですよね。
うぱ / upamune
例えばそのプロダクトがすごい月に何か3回も5回もアップデートしますよっていうときは、
michiru_da
その変更したやつをどうやってGPTsに反映するんだっけっていう、
うぱ / upamune
その場合何だろう?
手動で毎回。
michiru_da
そうね、サポートサイト全部抜いてきて、
GPTsにアップデートしているドキュメントのファイルを全部入れ替えるみたいなのが必要になりそう。
うぱ / upamune
ヘルプガイドのページの数も30個とかじゃなくて、
数百ページとかあるんで、
それも大変なのと、さっきのNotionのデータベースの話ですけど、
質問と回答の管理
うぱ / upamune
当たり前だけど答えられないことの方が最初多いんですよ。
AとBのプロダクトって一緒に販売できますかとか、
このオプションとこのオプションって販売できますかみたいなのは分かりません、なるんですけど、
そこから当たり前だけど人間に、そのデータベースにこれとこれは販売できます、できませんとかの組み合わせを登録してもらう必要があるんですね。
で、それをやんないじゃないですか、めんどくさい。
人間が来て、すいませんこれ一緒に販売できないんですよみたいな、
そんなですねありがとうございますみたいな、で終わりじゃないですか。
本当にやってほしいことは、それをデータベースに登録してもらうってことなんですよ。
michiru_da
また次にヘルプデスク君が使えるような形で登録してほしい。
そう、でもねその質問回答の抽出も結構人間がやるとめんどくさいんですよね。
うぱ / upamune
例えばその次来ても使えるような形式で登録したいんですよ。
michiru_da
なんかその特定の事象によりすぎないというか、
うぱ / upamune
でSlackのとかでやってたらこのスレッドっていう一連の会話の流れをうまく組んで、
そっから登録するってさらにめんどくさい。
で今回のBotは質問に回答してくれる以外に最後にわかんないとき、
人間が回答しますとSlackのスレにこれは実はこうなんですみたいな回答したら、
最後にこれをデータベースに登録してって言ったらそのスレを全部Bot以外の情報を全部読んで、
人間の会話だけを読んで、そっから一般的な質問回答を抽出して、
そっから個別の企業の名前とか個人名とかをなくして、
michiru_da
これで登録しますね、でっていうふうにやってるんですね。
なんかそうなんですね、データベースに追加登録するやつも別に最後のコメントだけとかじゃなくて、
なんかスレでやり取りした内容が全部反映されるというか。
うぱ / upamune
そうです。厳密には。
michiru_da
それってその方がいいのかな。
なんか他の内容とかも。
うぱ / upamune
厳密には最後に、これデータベースに登録してって言ってる直前の回答をまず取ってきます。
これをFAQに追加してくださいっていう時は直前に回答があるはずなんで、一番近い回答を取りますと。
michiru_da
その回答してくださいって言うのって、そもそもの確認なんですけど、
Botを呼び出して質問する、でBotからアンサーが返ってくる。
違うなって思って、その人が自分で別のとこで調べたりして、人間が答えを知る。
その人間がそのBotが回答したスレに本当はこうでしたよって投稿してあげる。
さらにじゃあこれを追加してくださいみたいなのをまた追加で言うみたいな。
うぱ / upamune
そうですね。最後の2つはどっちでもいいです。
回答があって、その後にこれを質問登録してくださいでもいいですし、
最後にこれが答えだからこれを回答として登録してくださいみたいな。
いいし、ちょっと細かいことを言うと、その回答がおかしかった時にヘルプを求めるボタンがあって、
そのヘルプを求めるボタンを押したら、その詳しい人にメンションが行くんですけど、
michiru_da
人にわからないので人に聞くみたいなのができるんですね。
うぱ / upamune
そこがグループメンションになってるんですけど、
そのグループメンションはそのSlackのチャンネルによって飛ぶ先が違うっていう感じになってますね。
michiru_da
このプロダクトに詳しいチームに質問メンションを追加で自動で飛ばすみたいな。
うぱ / upamune
なので基本的にはそれを押されて、その詳しい人たちが回答をしてくれてFAQ追加みたいな感じで、
michiru_da
質問と回答がセットになったスレッドになってるんですよね。
うぱ / upamune
なので同じスレッドで複数の質問が交わされる時もあるんで、
一番新しい回答を取得して、それの元となるっぽい質問を取ってきて、
Slackのスレを読んでサマライズするみたいな感じになってますね。
最新の答えに関連しそうな情報だけ追加で取りに行くっていう、すごい賢いですね。
michiru_da
今のところFAQ追加っていうかサマライズする制度は文句を言われたことない。
そのサマライズする制度ってどこでわかるんですか?
また最後にこれを追加するよみたいなのを確認してくれるってこと?
うぱ / upamune
いや、実は私ほぼ全部読んでるんですよ。
Botのフロムで検索して、
なのでたまに追加したよって言ってくれるんで、
そもそも追加したよって言ってくれるんですよね。
Botがデータベースに登録したら、データベースに登録したよって言ってくれて、
そのページのURLもくれるんですよ。
それで違ったときに変えるのって、こう修正してって言うより、
もう修正したいことがわかってるんで。
michiru_da
自分で変えに行く。
うぱ / upamune
そうそう。そうした方が楽なんですよね。
michiru_da
なので今はそういうシンプルな手法を使ってるって感じですね。
うぱ / upamune
これがFAQ登録みたいな感じなんで、
めっちゃ元の話に戻ると、
そんな感じで、ある一定のリソースを食べさせておくだけじゃなくて、
Slackとの連携の重要性
うぱ / upamune
FAQ登録追加とか、あとはプロダクトのヘルプサポートガイド更新とかで、
すごい高頻度に更新されるものを自動的に反映したいんで、
今GPTsとかGEMとかは使ってないっていう感じですね。
michiru_da
なるほど。
うぱ / upamune
あとSlackと連携とか。
michiru_da
そうですね。それはめっちゃ便利だな。
意外となんか精度問題なのかなと思ったけど、
あんまりそっちというかは運用のしやすさとか、
ソースを自動で更新しやすいから別で作ってるって感じなんですね。
うぱ / upamune
手軽に扱いやすいとかだったら絶対GPTsとかGEMの方が非エンジニアでもできるし、いいなっていう感じですね。
もう一個いいのが、うちの会社だと元々そういうGEMじゃないけど、
あるウェブサイトに飛べば質問できるよ、プロダクトに質問できるよっていうページがあったんですよね。
そこで多分今までプロダクトの質問とかしてAIに回答してもらうみたいな仕組みは元々あったんですよね。
なんですけどそれSlackじゃなくてウェブサイトでやってるんで、
そのサイトの回答がおかしかったとしても、この回答おかしくねって突っ込みを入れてくれる人間が不在だったんですよ。
けどSlackでやることによって変な間違ってること言ってたら、
あれこれ回答おかしいですよみたいな人を一般の人間に見つけてもらえることができるんですよね。
ボットのキャラクター性
うぱ / upamune
そうすると精度改善とかもできるようになってきた。
なんでこの間もちょっとこれおかしいって言われて。
でも知らない人がこの回答おかしいなって判断するのってめちゃくちゃむずい。
てかわかんないですよ。言われたことを試してみるまで。
michiru_da
聞いてる人は見つけづらそうですよね。
うぱ / upamune
そうそう。
なので、Slackのそういうみんなが見えるところで使ってもらうっていうのは一つおかしさに気づけるっていうやつだし、
最近やったのは、この答えに対してどれぐらい自信があるかっていうのをやったんですけど、
自信ありますって言われたとて、なんで自信あるかっていうのがわからないんで、
なんで自信があるのかっていう根拠も一緒に返すようにしてるっていう感じですね。
例えば、ヘルプガイドに明確にこの記述があるとか、
Notionとヘルプ両方にこの記述があるとか、そういうのを書いてたらこうとかになるし、
逆にそれっぽい似た記述はあるんだけど、
明確にそれとは書いてないから自信度は中ですみたいな感じに示すことで、
こうって言われたらあれだけど、中だったらあれこれもしかしたらないのかもしれないなっていう一つの目安にはなるかなと思って、
何も書いてなかったら、ああそうだねって盲目的に信じてしまうかもしれないんで、
なんでそういうことをやってるって感じですね。
michiru_da
その間違ってるよって言ってくれる人ってどのぐらいいるもんなんですか?
うぱ / upamune
ああ、
michiru_da
その全体の回答の中で、結構急なんじゃないかなっていう気がしてて、
そのフィードバックかけた方が質問ぼっとくの精度が上がるから、
やったほうがいいなって思ってやってくれる人超限られそうだなと思いまして、
自分が何もそういうの知らなかったら、間違ってたら間違ってるなと思って、
多分そのままにして終了しちゃう気がするんですよね。
うぱ / upamune
なんかそうですね、多分その人が大半だと思ってるんですけど、
そもそもの問題として、ある製品とかにフィードバックする人自体がめっちゃ少ないと思うんですよね。
よくプロダクトとかで何かをやって、この結果どうでしたか、いいねバッドで教えてくださいみたいな、
あれどんだけ押したことある人いるんだみたいな話とかなってくんで、
そもそもそんなに、実際多分全体論に対してそもそも少ないですね、間違ってる。
今って解決しましたっていうやつと、解決しないから助けてくださいっていうボタンだけを置いてるんですけど、
解決したっていうボタンは結構みんな押してくれるんですよ。
そうなんだ、なんで?
いや多分その、ボットのキャラクター作りの話かなと思ってるんですけど、解決したを押したら反応するようにしてるんですよねボットが。
ボットが反応して時間帯に応じてメッセージを変えてて、
昼には押したらおいランチは食ったかみたいな頑張れよみたいな感じとか、
夕方にやったらもうちょいだ頑張れみたいな感じでランダムで変えるようにしてて、
それをなんか1回押した人がこれ面白かったよみたいな感じで、
michiru_da
えーそうなんだみたいな感じで面白さで押してくれるみたいな。
そんなことをしてるんだ。
うぱ / upamune
そうですね、それもなんか一つの工夫ですね。
michiru_da
なるほど、フィードバックしたことへのフィードバックが返ってくるようにしてる。
うぱ / upamune
そうですね、それは実はLLM使ってなくて。
michiru_da
固定なの?
うぱ / upamune
固定なんですけど、時間帯に5つぐらいメッセージを用意しておいて、
そのメッセージはLLMで生成したものなんですけど、こういうキャラクターで5つぐらい用意してもらって、
で、時間帯に応じて朝昼晩でメッセージを5つぐらいを普通にランダムで1つ返すみたいな感じしたら、
たぶん1日に同じものを見る人はほぼいないぐらいになる。
なんでそれでなんか面白がって使ってくれてますって。
michiru_da
すごい。
うぱ / upamune
そのキャラクター性みたいのはやっぱ重要だなと思って、
精度向上のための取り組み
うぱ / upamune
なんかアイコンないし、アイコンなくて、Slackのボットの名前も適当なやつだとみんなすごいただの機械だと思って接しちゃうから、
michiru_da
さっきのFAQ追加みたいなのもあんまりやってくれないのかなと思うんですよね。
うぱ / upamune
今は間違ってたら、いやこれ違うんだよねってFAQ登録してくる人が結構いるんですね。
michiru_da
そうなんだ。
うぱ / upamune
で、あと自分はパトロールというか、啓蒙としてめっちゃ探してるんで、
人が来て解決したみたいなのあるじゃないですか。
誰々さんが質問して、誰々さんが来て回答してくれて解決したみたいな。
その時にその場で終わってるケースって正直結構あるんですよ。
なんでその種類に自分が行ってFAQ追加してって書いておいて、それでFAQ追加しましたって出てくるんですよね。
で、こんな感じでできるんでやってくださいねって言ったら、二人に啓蒙できるんですよね。
michiru_da
確かに質問した人と回答した人。
そうそう。それでただ知らないだけとかのこともあるんで、それをやっていくと結構な人が当たり前のようにやってくれるんじゃないかなって妄想してる。
そのパトロールはそのためにやってるんですか。
うぱ / upamune
そのためと制度のためですね。さっきみたいなボタンを押してくれないだろうと思ってるんで。
michiru_da
自分でチェックして、自分で追加する。人間すごいな、それも。
うぱ / upamune
やっぱその、ちゃんと使ってもらうにはそのサポート、人間のサポートが必要だ。
michiru_da
すごい手厚いですね。
うぱ / upamune
もちろん。で、そのみんなってその優しいんですよ。
どういうこと?
例えばボットに質問して帰ってこないみたいなことがたまにあったっぽいんですね。
michiru_da
けどその文句を言われないから気づいてなかったんですよ。
うぱ / upamune
で、今日はなんかもう退勤してるのかなみたいな。
その優しい、ボットくん退勤してるのかなみたいな。
で、それを見て、あれと思って実際にログ見たら、質問が割と複雑で、動いてるのはエージェントなんで、
何回もその質問を見て回答取ってきて、あれこれ違うな、取ってきて回答違うなって繰り返したらタイムアウト、時間切れになっちゃうケースが何回か存在してるなっていうのが分かって、
それでタイムアウト1分だったんですけど10分に伸ばして、で同じスレで私が全く同じ文句で質問して回答返ってくるようになったんで、
こんな感じで回答できるようになりましたみたいな、すいませんみたいな感じでやって、
それでその、勝手に失望されるじゃないですか、プロダクトって。
そうですね。
精度低いなとか、使えないなとか。
帰ってこないなみたいな。
なんでそれでチャーンを防いで。
michiru_da
すごいね。
うぱ / upamune
地道な活動ですよね。
michiru_da
そうですね、オンボーリングのウッパーですね。
技術力のウッパーだけじゃなかった。今褒めてますよ。
うぱ / upamune
多分技術的にはそんな、私自体はボットを作るだけのところなんで、難しいところはラグとかいう仕組みがあるんで、
それは私がそんなに手を付けてないんで。
やりきりの話ですね。
michiru_da
そうですね、ちゃんと会社に運用が定着するとか、質問するだけじゃなくて、
改善フィードバックまで運用を組織に定着させるところのやりきりをやってたんですね。知らなかった。
うぱ / upamune
精度、ボタンを押してくれないとか、FQ追加してくれないっていうのは当たり前の話なんで、
この今の組織規模とかだったら、全権自分が見てもあるみたいなのが可能なんで、それをただやるっていうだけですね。
michiru_da
一応補足したことは、組織規模400人ぐらいはいるんで、そんなちっちゃくないんですけど。
うぱ / upamune
まあまあ、数千人いなければ。
私って自分のIDとか名前でずっとSlackを検索して、自分のNotionの記事とかを参照して、
何かしてくれようとしてくれる人いたら、ニアリー文字みたいなつけて、自分の存在を見てますよっていうアピールをするっていうネットスト活動をしてるんですけど、その一環ですね。
ネットスト活動の一環です。
michiru_da
なるほど。ちょっと怖かったけど。
どうなんだ。実際精度今どんなもんとか、それは見てたりするんですか?
うぱ / upamune
精度ね、毎回撮ってるんですよ。これで採決したか。
michiru_da
人間のフィードバックに基づいた精度ってことです。
うぱ / upamune
撮ってるんですけど、今きれいに活かしてないんですよね。
なので、後からあの時撮ってたらってなったらめんどくさいんで、一応その特定の必要な情報は全部取るようにしてる。
そのBotの実行履歴のURLとかとSlackのスレのURLとかと質問回答と、この人は解決したか解決しなかったかみたいのは取るようにしてるんで、後で何かに使えるかなっていう感じなんですけど、
RAGの概要と課題
うぱ / upamune
解決したっていうこと自体が本当に解決したとは限らないんで、
michiru_da
そうやね。
うぱ / upamune
って感じなんですけど、解決しないみたいなところはBotの精度、解決した解決しないに関わらず、その一覧って精度の問題を置いておいて質問するってことは分かりづらいとか、
みんな疑問に思うところだから、逆にこれをプロダクトに生かしたりとかサポート、ヘルプガイドに生かすことはできそうだなっていう妄想はしてますね。
michiru_da
ラグのやつで精度検証の仕組みみたいなのも世の中にあるじゃないですか。
ラガスみたいな。
そういうのとかは特にやらずにとりあえず社内でリリースしたみたいな。
うぱ / upamune
あれね、大変なんですよね。
michiru_da
正解データ作るのがそもそも大変ですよね。どうやってるんだろうって思った。
うぱ / upamune
これ悲しいとか当たり前の話なんですけど、AIとかLLMを使い始めたときはめっちゃ楽しいんですよね。
ちゃんとめっちゃいい感じにできてるみたいな。
けどその先に一歩踏み進める現実世界になると急に突然エンジニアリングの話になって、
例えばAIだったらさっきも1分10分とか動かすって話しましたけど、
普通の今までのソフトウェアだったらそんな長時間動くやつって基本存在しないんですよね。
michiru_da
なるほどね。
うぱ / upamune
だからあれそんなに長時間動かす仕組みってどうやってやるんだみたいな話とか。
普通の長時間のやつってバッジとかでユーザーが全然待ち受けてない。
勝手に夜中にやってきますよとかそういうのが多いんですけど、
これってめっちゃユーザーが待ち受けてるじゃないですか。
だからそういう長時間のプロセス作業を途中からでも実行できるようにする基盤だったりとか、
もう一つ制度みたいなところは普通に多分機械学習のエンジニアの方々がずっと今まで取り組んでた分野なんですよね。
その評価みたいな。
で、この間私が相談したんですよね。
また同じような話で、今までサポートの中で質問と回答のサンプルみたいなのはめっちゃあるわけじゃないですか。
こういうことできますかみたいな。
これですよみたいな。
それを個別の会社の名前とか個別の人の名前とか全部排除して、
すごい綺麗な一問一答にめっちゃまとめたんですよ。
そしたら150件、どれぐらいだろう。
700件ぐらいだったら150件ぐらいに収束したのかな。
に一問一答ができたんですよね。
そしたら質問に対する回答が合ってるのかっていう同じ話ですよね。
検証が必要じゃないですか。
michiru_da
その150件にLLMがまとめたやつが本当に組み合わせとしてちゃんとね。
うぱ / upamune
シンプルにこの質問に対してこの回答ってこの回答っていいんだっけっていうやつが必要じゃないですか。
私が思ったのはその質問を同じく新しく作ったボットとかヘルプガイドのラグに対して投げて、
その回答をヘルプガイド元にしたやつを記載して、
それと元の回答とどれぐらい一致してるのかなっていう考えたんですけど、
そのラグから取ってきた回答もどのぐらいの精度があるかわかんないじゃないですか。
っていうやつでMLエンZINE会相談しに行ったんですけど、
それだったら何件ぐらいあるんですかって言われたんですよ。
150って言ったら、150ぐらいだったら全部目で見ればいいじゃんって言って、
ちょっとMLって大変な世界なんだなっていう。
そんな感じなんですよ。
だから朝せいでチャプチャプ遊んで楽しいなと思ったらその先はとんでもない。
今までみんなが頑張ってきた世界だったら、
ちょっと真面目に取り組まないとなって。
michiru_da
そうですね。
その正解データみたいなのが全くない状態から整備するとこだからより大変ですよ。
長期的にだったらサポートの人が回答してくれた時に、
これをナレッジに入れますかみたいなので、
その抽象化したものの組み合わせを一緒にチェックしてもらってちょっとずつ貯めるとか、
中長期では仕組みにできるかもしれないけど、最初はやっぱり気合と根性なんですね。
うぱ / upamune
そうっすね。結局最初のね、そういう組み合わせが結構揃ってるとかないと、
なんだよこれもっと全然使えねえじゃんみたいな感じになっちゃうんで。
なんで、生成AIマジで朝せいでチャプチャプしてる分にはバリ楽しいんだけど、
一歩進んだら普通に真面目にエンジニアリングに向き合わないといけなくて、大変な世界だな。
michiru_da
結局努力さえ検証しないといけない。
うぱ / upamune
早くエンジニアの仕事なくなってくれねえかなと思いました。
長時間動作するプロセス
うぱ / upamune
これじゃなくなんねえわって思いました。
michiru_da
なくならなそうですね。なんなら増えそうな。
うぱ / upamune
そうなんですよね。
michiru_da
朝せいでチャプチャプアウトプットがいっぱい出てくる。
作ったことは知っていたし、存在することとか、フィードバックの仕組みがあることはなんとなく知ってたんですけど、
それを定着させるためのパトロールとコメントをやっているのとかはちょっと存じ上げなかったので、
やりきり力を見せつけられました。
見せつけられました。見せつけてるつもりじゃないけど。
うぱ / upamune
いつリリースしたんですか?今月?先月?
途中でめっちゃ賢くなったんですよ。
実は、実はですよ。多分皆さんもこれはできると思うんですけど、
最初のプロトタイプ版はガイドを一切使ってなくて、
さっきの質問データベースを元に使ってて、
それも全くラグとか使わずに、
Notionのすべてのページをプロンプトの中に導的に突っ込むっていうやり方をしてたんですよね。
michiru_da
すごいね。
うぱ / upamune
それでめっちゃ精度出るんですよ。
michiru_da
そうなんですね。めっちゃコンテキストでかくない?
うぱ / upamune
でかいです。
だから最低限NotionからAPIから返ってきたJSONそのまま突っ込むととんでもない量になるので、
それはMarkdownに変換してめっちゃコンテキストを少なくするんだったら、
michiru_da
100ページぐらいだったら余裕ですね。
うぱ / upamune
それで精度出てたんですけど、
ちょっとプロダクトの知識も欲しいなって言われて、そりゃそうだよなってなって、
ラグに作ってつなぎ始めたんですけど、
そのタイミングで、
イニシングトゥマークダウンっていうリポジトリが爆誕してですね、
Notionのデータベースをすべてマークダウンにするっていうやつで、
これが1時間に1回勝手に回ってるんですけど、
そいつを作って同期することで、
Notionの中身もラグ化したんで、
それが多分みんなに使ってもらえるタイミングかな。
michiru_da
なんで9月の後半とかですかね。
正式版は2、3週間ぐらいですね。
そうですね。
でも確かになんか別に最初だけみんな使ってるっていうか、
本当にもう各所で。
うぱ / upamune
確かに。
鳴り止まない熱狂。
10月、もちろん4月と10月って入社の人数って結構多いですよね。
弊社も例に漏れず多かったんですけど、
その入場員の方が結構当たり前かのように活用してくれてて。
michiru_da
確かに確かに。
うぱ / upamune
なんでそれでも、
多分オンボーディングとかで紹介してもらってると思うんですけど、
それで結構使ってもらってますね。
でこれ実は、
普通こういうのってできたら、
会社の定例とかで言うじゃないですか。
こういうのできましたって。
それ一回も言ってないですよ。
michiru_da
いや思いました。
なんか自分これリリースされた時、
なんかそこかしこでみんながメンションしてるやついるけど、
これ何者って思って、
普通にチームの定例で聞きました。
うぱ / upamune
そうしたらチームの人も知らなかったでしょ。
michiru_da
知ってる人と知らない人がいて。
あいつが作ったらしいよみたいな。
なんかあいつが作ったプロダクトのことが入っているすごいBOTらしいみたいな。
うぱ / upamune
実はこいつ、
うちの会社のGoogleスライドに
セールスの方のノウハウとかが
すごい集まってるやつもあるんですけど、
それの内容もラグ化して知ってるんですね。
そのセールスの作った人と
たまにやり取りしてやってるんですけど、
私聞いたんですよね。
あれこれそろそろ定例で言って
みんなに使ってもらうようにしますかねみたいなことを言ったら、
みんなに一気に周知するより
それを自然発生的に使わせて
便利じゃんみたいな人が
数人定着した状態で
アナウンスした方が広まる。
michiru_da
確かに使いたいってなった人をサポートする人ができた状態だから。
うぱ / upamune
っていうセールスの考えが働いてしまいましたって言われて。
michiru_da
戦略的な。
確かにプロダクトの導入もそういう考えで
営業してる気がする。
そんな戦略的な配慮があった。
素晴らしいな。
でもこれからが楽しみですね。
フィードバックどう生かすかみたいなのとか、
うぱ / upamune
さっきの正解データとのチェックどうやっていくかとか。
実際やると楽しい部分は
プロンプトいじるみたいなのほんの1ミリぐらい。
さっきの簡単に言ったけど、ラグウェイの動機の仕組みとか
ノージョンもあるし、Googleスライダーもあるし。
あとうちはヘルプガイドサポートサイト、Zendesk使ってるんで
Zendeskからの動機もあるし。
michiru_da
Zendeskもめっちゃ記事あるんで、あれをフリで動機したら30分かかるんですよ。
そうなんや。
フィードバックと戦略
michiru_da
それをサブ運動機にして30秒にしたんですけど。
うぱ / upamune
すごいね。
そういう話とかあって、めっちゃ泥臭いことが9割で、
1割が素敵なAIの話。
michiru_da
いわゆるAIの。
うぱ / upamune
っていう感じですね。
これをTwitterでも言ったら結構ね。
michiru_da
めっちゃいいねついてましたよね。
うぱ / upamune
びっくりしたのが、いいねブックマーク比で。
まずいいねが320ですと、
ブックマークが220なんついてるんですよ。
いいねとブックマークの差が100しかないって、
これすごくないですか。
めちゃめちゃブックマーされてる。
だからみんな興味あんのかなと思って、
ちょっとね、実は弊社で文学フリマみたいな、
技術書の文学フリマみたいな同人誌即売会があって、
技術書店っていうやつに出すんですけど。
michiru_da
いつ?
なんか去年は文学フリマと同じ日でしたよね、技術書店。
なんかはしごしてきましたみたいな人いた気がする。
うぱ / upamune
技術書店って年に何回かやってるんですよね。
オフラインは11月16です。
池袋サンシャインシティ。
なんでそこでの内容で書こうかなと思ってます。
michiru_da
今のところ。
今のところ。
泥草の部分がメインで。
うぱ / upamune
全然キラキラしてないぞっていう。
michiru_da
してないぞって。
いい話だった。
うぱ / upamune
いい話だったのか。
michiru_da
なんか同じような取り組みをしている方とかもね、
エンジニアとかIT系の人だったらいそうだから。
うぱ / upamune
多分これ聞いたら、
なんかうちも欲しいっていう人が結構いると思いますよ。
覚悟しろよっていう。
michiru_da
大変だぞって。
ちょっとどんな大変さがあるかを詳しく知りたい人は、
ぜひ技術書店に来ていただいて。
何て探したらいいの?
このポッドキャスト、弊社の社名を言わない。
絶対に言わないことで有名だから。
うぱ / upamune
リンクを貼っておきますよ。
概要欄に。
michiru_da
その会社名で探してください。
うぱ / upamune
話したらお金が発生するみたいな感じですね。
かたくなぎのiPhone17 Proと言わない、
ダイソーのiPhoneフィルムのように。
michiru_da
そうなの?
うぱ / upamune
多分名前言ったらライセンス料が発生する。
michiru_da
そういうこと?
うぱ / upamune
ライセンス料が発生しないように。
michiru_da
ライセンス料も発生しないし、
もちろんアフィリエイトも発生しないので、
ぜひ買いに来てください。
うぱさんいるんですか当日。
本当に?
じゃあうぱさんに会えるし、
詳細の話も直接聞けるし、
技術書店、15人ぐらい書くんでしたっけ?
とんでもないですよ。
うぱ / upamune
うちの代表の2人が書く。
代表2人とも書くって。
michiru_da
やばいよ。
他のエンジニアの人、
技術書店これまでも出したことあるけど、
代表2人の人との協調は今回しかないかもしれないから、
イベントへの参加
michiru_da
やることにしましたって言ってた。
うぱ / upamune
また締め切りが。
待ってください。
michiru_da
確かに11月16日だったらいつ締め切り?
今月です。
うぱ / upamune
今月です。
michiru_da
じゃあ何文字書きましたか?
うぱ / upamune
0文字。
michiru_da
このお話しまして言われた時に、
今回のポッドキャストを書き起こして編集すれば、
すぐ終わるんじゃねって思ったんですけど、
多分今日話してないところを書くから。
確かに。
残念ですね。
うぱ / upamune
こういう話したいなっていう過剰書きのやつは、
1500文字書いたんで。
michiru_da
すごい。
うぱ / upamune
あとはペンションにすれば。
michiru_da
それもカーソルで行けますね。
全部手作りに。
うぱ / upamune
もちろん。
michiru_da
そうなんだ。
私の喋り方にしないといけないからね。
うぱ / upamune
早口。
michiru_da
早口自己紹介。
うぱ / upamune
早口自己紹介しないといけない。
michiru_da
じゃあうぱさんの100%手作り文章も読めるそうなので、
ぜひ11月16日の技術書店にも遊びに来てください。
私はいないので。
うぱ / upamune
もちろん。
michiru_da
みちるださんにも会いたい人は11月23日の。
近いな。
うぱ / upamune
みちるださん作りすぎだな。
michiru_da
本当だよ。
私は別に1個しか書いてないから。
あなたがたくさん作ってるから。
11月23日の文学フリマにも遊びに来てください。
じゃあそんな感じで。
感想・質問・フィードバックは、
Xのハッシュタグ、マヂカル.fm全部小文字、
または概要欄のお便りフォームまでお寄せください。
ぜひファインのベルマークを押すと更新通知が届きますので、
そちらもお願いします。
ありがとうございます。
うぱ / upamune
ありがとうございました。
