ChatGPTのモデリング
CS Harmony Radio のモデリング編を始めたいと思います。よろしくお願いします。
よろしくお願いします。
前回から始めているモデリング編ですけど、前回はコーヒーで、ヤギさんも最後に言ってましたけど、当たり前やんみたいな。保存ちゃんとしないとダメでしょっていう話なんですけど。
それはその通りであるんですが、その当たり前の部分っていうのをちゃんとロジック作って説明してるっていうところが趣旨でもあるんで、身近な題材でやっていきたいなと思ってはいるんですが。
そうは言いながら、今回は最近私がハマってるというか、皆さんも多分すごい使ってると思うんですけど、ChatGPT。これを無謀にも少しモデリングしたいなと思ってまして。
じゃあまず、ヤギさん、ChatGPTって最近触ってたり使ってたりしますか?
前にPodcastで話したじゃないですか。ちょっと触ってみたりはしてますね。
物を書き知るときに日本語の類号を調べたりとか、そういうのをちょっと使ったりしたりしてますね。
作業支援的な感じっていうのに近いですか?
そうですね。原作としてはあんまり使ってないですけど。
僕も全く同じような感じで、ちょっと取っ掛かりとか、最初の一歩とか代行してもらうみたいな、そういう使い方が多いかなと思ってて。
前回話した番外編でのChatGPTの時って、ググっていく話と結構比較しちゃってたんですけど、多分そういう使い方じゃなさそうだよねみたいな話にも。
今の時点だとなってきてて、普通に有能なアシスタントみたいな、そんな位置づけになってきてるんで、恐ろしいな、恐ろしいというかすごいなっていうところですよね。
実際に同じように私も使ってて、結構いい感じのアウトプットどういうふうに出すかみたいなところで、やりとりしてると割と面白くて。
で、ChatGPTに良いインプットをするっていうところを今回テーマで考えていきたいなと思います。
毎回我々にプレップって言われてる考え方を乗っ取ったモデリングなんですけど、まずやる前に定義とゴール決めときたいんで、そこから行きますと。
今回の定義は、自分が欲しいアウトプットをChatGPTに出してもらうために、良いインプットを定義したいなと思います。
その良いインプットの定義って、ChatGPTが期待通りのアウトプットをするためのインプット情報ですと。
当たり前なんですけど、定義的にはそうなります。この当たり前をちゃんと定義しておくっていうのも大事なんで、今やってます。
で、じゃあゴールは何ですかって話になると、期待通りのアウトプットを再現できるようにするってことですね。
つまり、こういうアウトプット欲しいなって思ったときに、こういうインプットしたほうがいいよねみたいなことが分かって、それがちゃんと毎回出てくるようにするためっていうのがゴールかなと思うんで。
ChatGPTのモデリング(続き)
そういうことを目指して、じゃあどういうふうに良いインプットしていけばいいのかっていうことを考えていきたいなと思います。
僕、ChatGPTの技術的な話もほとんど分かんないんですよ。
っていうか、多くの人は別に分からず触ってると思うんですけど。
話も知りません。
でも、いい回答返ってきちゃってるんで、逆にChatGPTに聞いちゃえっていうふうに思いまして、
君はどういう情報をもとにこの素晴らしい回答文を作ってくれてるんだいみたいな話を聞いていくと、いくつかのキーワードを返してきてくれてるんですよ。
それをもとに出てきた内容のやり取りの結果、ChatGPTの言語モデルっていうのがあって、
これいわゆる多分データセットみたいなところの話だと思うんですけど、まずそれが1個ありますっていうのと、
あとは自然言語処理ですね。
これが多分言語処理で形態層解析ですって。
ああいうのやってる人とかだとピンとくる話ですけど、言語をちゃんと処理して分析、解析できるようにしていくっていうところの処理周り。
あとは機械学習、いわゆるディープラーニングだとかマシンラーニングだとか言って言われてる話の技術。
この辺りが大きくて、あとはクラウドのコンピューティングリストースみたいなところが出てきたんで、モデリングをしています。
それとは別に質問部に関しては、もうちょっとどういう情報を求めてるのっていうのも、
GPTに聞いて、そもそも質問の内容っていうのがいりますよっていうのと、質問の文脈っていうのがいりますよっていうのと、
あと言語的な特徴、文法的な構造とか、そういう話と、あとは追加情報、そもそもこういうことの話の背景。
もう一回繰り返すと、質問自体の内容と文脈と文法的な構造の話と前提条件みたいな、4つありますっていうところで、
これが質問文には必要ですっていうふうにChatGPTが回答してくれてます。
その辺の情報を基にモデリングをちょっとしています。
これはまたノートのほうの記事に載ってるんで、それを見てもらえればとは思うんですけれども、
まずChatGPTの技術的なところの話は、今回のモデリングだと詳しくは分からないので、
まず質問文のほうを基本的には見ていく必要があるかなと。
ただ、ここも繰り返しになっちゃうかもしれないですけど、まずは見なきゃいけないところっていうのは、
矢印がいっぱい集まってくるところが定石なんで、そういう意味でいうと質問文と回答文になりますね。
ちょうど同じだけの構成要素が入ってきてるんで、これ両方とも大事だという話にはなるんですけど、
ここから遡っていくと、質問文に入ってきてる内容なんだっけみたいなことになります。
これ見ていくと、ノウハウ系が多いんですよ。
文脈どう説明するかとか、内容どう説明するかっていうところですね。
さらに質問の内容自体も質問文には必要なんで、質問内容ってどういうふうに思うのっていったら、
いわゆる疑問みたいなものがあるのと、それを疑問として見るために、その人の持っている既存の知識、
ちょっとまとめちゃってますけど、そういうものがあって質問内容を作られてくるので、
結局ポイントとしては、疑問や既存の知識みたいなところが根本にはそれぞれあるんですが、
質問文作るところでノウハウが3つもあるんで、この辺がインプットの品質を左右しそうだなみたいなことが分かるかなっていうところが
モデリングから見えてきてるところかなというふうに思います。
質問文の重要性
なので、個人的なノウハウがないけど、うまく質問できないGPTの良い使い方とか、人によってできたりできなかったりっていうところは、
この辺に現れてきてるんじゃないかなっていうのがモデリングしてきても分かるところかなと。
GPTをうまく使うというか、良いインプットをするためには、このノウハウを何とかするっていうのが必要。
こんな感じなんですけど、ヤギさんから見て、このモデリングの現状と、あとどんなふうにやったらこれ解決できそうかみたいなところの話とかって、
どんなふうに見て取れそうですか?
スプレッドの客観的な観点で言ったときに、いっぱい集まってくるところもそうなんですけど、
転選になってるやつも危ないというのが基本型なので、そういう意味で言うとこのノウハウっていうのが転選になってて、
既存の知識も含めて転選になってるので、これが危ないよね。
なんで質問文の品質っていうのが、その回答文に影響を及ぼしているっていうふうに見て取れますっていうのが、言ってもらった通りかなと。
もう一個あるのが、質問文と回答文って今同期関係で、
ブログを見てもらうと分かるんですけど、両矢印の同期関係で書いてありますけど、
同期関係って両方が調整されて決まるものって、もうちょっと具体的に言うと、質問なんか投げるじゃないですか、ちゃんとGPBに。
回答文返ってきますと、違うってなったらもう一回質問し直すじゃないですか。
それをちょっと表してると思ってもらえばいいかなと思うんですけど。
おだしょー そうですね。いわゆる具合の良い回答に至るまで質問をちょっと言い換えたり繰り返したりするっていうのをモデル上表してるのが、この同期って言われる矢印で結んでるってやつですよね。
大平 そうですね。ちょっとこのループの書き方プレップ何種類かあるんですけど、一番単純なのがこの書き方になってて。
質問文の品質向上の重要性
これってどういう書き方かっていうと、これをやりながらノウハウが溜まってくっていうパターンになっているというところなので、
どういう答えが返ってくるのかというのを、この質問者が経験することでその質問文の品質を上げていくっていうことがこの中で行われるという感じになってるので、
多分何にも知らない人がいきなりチャットGTPが良い回答を返してくれるような質問文を一発目で書くのは不可能というのがまず見える話かなとは思います。
亀川 そうですよね。ノウハウがないとうまく結果を出せないっていうことがこのモデリング結果からわかるっていうことですよね。
大平 もう一点、同期してるってやつの特徴は基本的に同時に決まるんですけど、情報量というか存在の意味として見たときに基本的には同等のものとして捉えられるんですよ。
何を言ってるかっていうと、質問に対する回答っていうのはセットになるじゃないですか。
基本的には。なのでダメダメな質問文に対してすごく良い回答ってなくて、逆はあるかもしれないけど、そういうのがないので基本同じ存在として存在してるんですよ。
なので良い回答とか悪い回答はおそらく回答文で出てくるので、チャットGTPとしてもおそらくグッドマークとかつけられますよね。
上げ下げがつけられるようになってるんで、多分あれによって学習をひっくり返してると思うんですけど。
要は回答が良かったよっていうのを質問者が判定してフィードバック返せるように多分なってて。
なんですけど、実際今は質問文のよしらしって選定できなくなってるんですよね、システム的に。
確かに。
そこの部分って、だから今は技術的にやりようがないのかもしれないんですけど、こう上げるということをすると全体良くはなるというふうには見れるのかなってちょっとメタ視点で見ると思います。
あとは質問しやすいがゆえに、求めてる答え引き出すにも聞き手によってそのあたりの品質がガラッと変わりそうだなっていうことは、今の話からもお伺いしている感じですよね。
じゃあ対策としてどういうふうにそれやっていくと解決するのみたいな話になると、このモデルのケースから言うとこのノウハウ部分の俗人化するやつを何とかせにはいかんって話だと思うんですけど。
このあたりってヤギさんから見たときに、どういうアプローチをすると、俗人性による品質のばらつきを抑えていくことが可能かみたいなことって何かアイディアとか考えはあります?
質問文の形式化と解決策の提案
この辺は何かいろいろあるとは思うんですけど、例えば単純に点線なんで形式地下しましょうよが一つだと。
たぶんチップス的にこういうコードを入れたらいいよみたいなのを集めていくとか、あとはこれをやるとそもそもの思想から反射かもしれないんですけど、質問文を成形して出すようなフォームみたいなのに任せてしまって、質問文を作るAIみたいなのがもしいれば、そいつにより良い答えを出してくれる質問文を作れるよというのを開発すると良いかもしれない。
難しいかもしれないけど。
チャットGPTがより進化していくっていう方向かもしれないですね、今の話は。
チャットGPTに取り込まれれば、たぶんあんまり気にしなくて良いのかもしれない。
そうですよね。
あやふやな会話とか曖昧な内容からそれをちゃんと引き出していくって、むっちゃ良い利き手にチャットGPTがなっていくと、まあまあいいよねと。
もう一個はさっき言ったように形式地下するってなると、簡単なのがテンプレートとかマニュアル化みたいな話だと思うんですけど。
そうですね。
もうちょっと気が利くと入力ガイドみたいなのとか、こういう内容をちゃんと質問の中に入れていこうとかっていうような感じだと思うので。
そのあたりとかも結構今サービスで始めてきてるって感じですよね。
タイトルのキャッチコピー作りたいだとか、要約してとか、シェーションに応じてチャットGPTに作文してもらうようなサービスとかも出てきたりしてると思うので。
その辺のツールとかを使うっていうのも一個解決策っていう感じですか。
そうですね。
すでにいろんなスタートアップとかがそういうのをリリースしたりとか、LINEとかもBotみたいなのとかで出てきたりとか。
めちゃめちゃスピード早いですけど、そういう形でチャットGPT APIあるんで取り込んでツール化してとかサービス化してみたいな。
そういうサービスの中で良いのを使っていくみたいなことがひょっとしたら早いかなっていう気も。
そうですね。
ただあれですね、Googleとは根本的には違うっていうところはあるんですけど、本質的なところは多分質問文として良い問いを立てれるかどうかっていうのはGoogleでも一緒だったりはするんで。
そこのノウハウの種別が違うけれども、構成要素としては同じような感じになるかなっていうのが面白いところでもあるかなっていうところですが。
我々チャットGPTに技術的には詳しくはないんですけど、モデリング観点から見た時も気づきとか発見があるっていうところで面白かったなと思います。
ありがとうございます。
ありがとうございます。
