いいね。
でしょ?
ちょっとそこに興味あるよ。
みんな多分ね、興味あるというか、今まで話してきたAIの話の中でも最も自分ごとの分野だと思います。このプロンプトエンジニアリングって。
そうだよそうだよ。
そもそもね、まずプロンプトエンジニアリングなんぞやってる人はそんなにいないと思うんだけど、ざっくりと。
いや、いるよいるよ。
いるかな。ざっくりと定義だけ。
プロンプトエンジニアリングって何ですか?
これはですね、AIが、AIに対して自分が望むような答えを出させるように、AIへの質問とか指示の出し方を工夫すること。これがプロンプトエンジニアリングでございます。
だからあれだよね、GPTとかGeminiとかに、こういうの、あなたはプロのコピーライターです!みたいなやつでしょ?
そう。
死ぬほど流行ったじゃん、もう一回。
そう。
なんかめちゃめちゃ情報商材買ったよ。
そうなのね、これね。
買わされた買わされた。
このプロンプトって、マジで落ち着かない分野で。
落ち着かないよね。
そう、なんとか式なんとか式っていうさ、リューハみたいなやつがいっぱい出てきちゃって。
わかるわー。
何が正解なのかわかんないけど、こうやったほうがいいんだろうみたいな。結構ね、経験側的な側面もあるのよ。
で、ツールが進化するたびに、プロンプトの正解は変わるのよね。
AIが賢くなればなるほど、実は今までやってたプロンプトエンジニアリングみたいな工夫せずに素直に入れた方がいいんじゃないかみたいな話が出てきたりとか。
そうだよね。
なんかさ、すごい細かく条件提起してさ、細かく指示打ちまくるやつとかめっちゃ作ったりしてたの。
でもなんかGPTのバージョンがめっちゃ上がっていくにつれさ、なんかもう一行で良くねみたいな感じになってきたり。
下手に指示するとなんか変なふんだよねみたいな。本来のポテンシャル発揮されないみたいになってきたりして。
もうちょっと諦めてます。何が正解かわかんないから、もう最近はもう抵抗しない。もうそのまま。
いやね意外とね、正解は正直ないじゃないんですが、今日のテーマはそんな落ち着かない界隈、プロンプト界隈でもずっと汎用的に使える知識を学ぼうと。
そんなものあるの?
一応ね、ある。
めっちゃ知りたいじゃんそれ。
これはね、あまり具体な抽象的な話になる部分はあるんだけど、やっぱりその概念としては基本的にこうだよねみたいな法則みたいなものは一応あるので、
ここを押さえとけば、とりあえずツールが出てきても、ツールが進化しても、まあこれはやっとこうっていうのがね、わかるので。
それありがたいね。覚えても無駄になるもん。
そうなんだよ、しかもプロンプトの分野ってさ、個人がいろいろ発掘したハックのやり方もあれば、普通に学術的な論文も出てるのね、プロンプトって。
そんな、論文とか出てんの?
出てる出てる。
なんで今日は、AIを使いこなすために、その普遍的なテクニックを学んで、プロンプトの新しいやつが、新しい腰がバーってきても落ち着いていられるような心を身につけましょうと。
それめちゃくちゃありがたいんだけど。
そういう回になっておりますんで。
すごくいいじゃん。
いい回でしょ。
本当にそんなものがあるならね。
いいね、疑うスタンスいいね。
諦めてる人間だから僕は。もう頭痛いってなって。
いやいやでもね、シンプルに考えればいいんですよ。
いいな、めっちゃ気になる。
ということでじゃあ今日はね、プロンプトエンジニアリングの話でございます。
よっしゃー。
で、例によって毎回やってるんだけど、歴史的な話をやっていきましょうと。
なんで嫌な顔すんのちょっとね。
授業みたいだなと思って。
でもね、大丈夫。
何が大丈夫かっていうと、浅いんですよ。
歴史が。歴史が浅い。
そうなんだ。
じゃあプロンプトエンジニアリングの始まりがいつなのかっていうと、
プロンプトエンジニアリングで概念が生まれたのが2020年です。
めっちゃ浅い。
浅いでしょ。最近なのよね。
じゃあこのGPTブームのちょっと前。
そうGPTの3っていうのが出た。3.5が出て2022年にチャットGPTバッて出たんだけど。
3.5だよね。
前の3の部分で。ここで始まったのがプロンプトエンジニアリングと。
なるほどね。3はまだ一般には全然知られてなかった頃だよね。
そう。知られてなくて、でも言語モデルとして言葉を生成するAIとして結構いろいろ生成してくれるねみたいなことが分かってた時に、2020年の5月28日ですね。
これもチャットGPTを作ってるオープンAIに所属する技術者が中心に出した論文があるんだけど、これがプロンプトエンジニアリングの始まりの論文だと言われてます。
オープンAI。
オープンAI。
やっぱオープンAIなんだ。
どういう論文だったかっていうと、どうやら生成AIに対する指示文を変えると回答精度が上がるっぽいぞっていうのを見つけたっていう。だから本当はプロンプトエンジニアリングで始まるよね。
偶然見つけちゃったみたいな感じなんだ。
だから発見した。
指示文。指示の仕方を変えたら答え全然違ってきたぞみたいなこと?
そう、精度が上がってきたと。もともとそれまでの言語モデル、生成AIってどういう感じだったかっていうと、基本的にはそのタスクをこなすための専用の学習が必要だったのね。
だから例えば英語、日本語を英語に翻訳する言語モデルだったら、日本語から英語に変えるっていうその学習。日本語と英語をいっぱい学んでチューニングしておかなきゃいけないし、なんかその名前を考えるとかアイディアを出すだったら、そういうものをいっぱい入れてあらかじめ学習して傾向づけをしておかないと、そういう質問に対して答えてくれなかったっていう特性があったのね。これが当たり前、ファインチューニングっていうんだけど、こういうのを。
傾向づけ?
そう、その一応脳みそがあるの。学んだ脳みそがあるんだけど、こういうタスクに特化して答えられるようにっていう風に追加でチューニングをしてあげて、あげないとそのタスクをこなせないよねと。
えー、めんどくさいねなんか。
そう、だからもう翻訳だったら翻訳用にチューニングしなきゃいけないしみたいな。
中身は、勉強した中身は一緒なんだけどってこと?
そう、その中身一緒でベースは一緒なんだけど、そいつにまた傾向づけをしてあげないと回答してくれなかったと。これが当たり前だったのね。
あ、そうなんだ。
それが当たり前のところで、いやなんかチューニングしなくても聞き方変えれば答えてくれるっぽいぞっていうのを気づいたのがこの論文の始まり。
なるほど、それちょっとわかったよそれ。あれでしょ?前提、プロのスピーチライターとして振る舞ってみたいなそういうやつでしょ?
いや、ちょっと違うんだよそれ。
え、違うの?
違うんですね。
あら、浅かった。
いやでもね近いとこは言ってる。ここで見つけたのは、フューショットっていうやり方で。
フューショット?
フューショット、フューショットプロンプティング。
どういう意味それ。
これはね簡単だよ。そのプロンプトでそんな複雑じゃないから簡単なんだけど、フューショットっていうのはちょっと回答例をいくつか教えておいてあげると。
うんうん。
だから例えばこういう名前をネーミングしてくださいと。
うん。
例えばこういう名前。例えばこういう名前がありますと。その例をいくつか示してあげて、じゃあ回答してくださいと言うってことね。
えーちょっとよくよくわからなかった。
えーといきなり、
フューショット、フューってどういう意味?
ちょっと。
あー、ちょっとショット。
フュー、ちょっとの例を入れてあげるよってこと。
なるほど。うん。
逆にそれをやらないのをゼロショットって言うんだけど。
ゼロショット。
いきなりボーンって。なんかこれに名前をつけろって言って答えを出させるのがゼロショット。
うんうん。
でこれに名前をつけてください。例えばこんな名前とかこんな名前とかこういう傾向でみたいな。
うん。
例をいくつか示してあげて出させる。
はいはいはい。
って言うと、なんかそのタスクにすごく寄った答えが出てくるぞと。
うーん。じゃあこのワンちゃん名前つけてタロウとかジロウとかサブロウとかみたいな。
ああそうそうそうそう。
ジェニファーとかロペスとかフィーバーとかってそのそういう風に分けるってこと?
そう。って言うとそこのタロウとかタマとかポチとかっていうのが。
そっち方向で来る。
そっち方向でポッて出てくると。その例題を挙げて、例えばこういうことっていう例えを挙げるとすごく回答精度が上がるぞと。
なるほど。
これが本当プロンプトエンジニアリングの始まりなんだよね。
うんうんうん。
もともとはファインチューニングっていうなんかもう翻訳だったら翻訳、感情分析だったら感情分析、要約だったら要約。
うん。
この文はこうやって要約されますよっていっぱい学ばせなきゃいけなかったのを。
うん。
例えばこうこの文章を要約してくださいと。その前にこう要約文みたいな。こういう文はこういう風に要約するよみたいな例を入れてあげるとそれどおりに回答してくれる。
なるほど。
こういうことをやってくれるようになったのね。
うんうんうん。
でこれが。
だいぶ楽になったねそれで。
そう。いわゆるそのフューショットのプロンプとタスクの説明文とを入れてあげると。
うんうんうん。
ちなみにワンショットっていうのもあってワンショットは1個だけ例を見せる。
うん。
フューショットは複数例を見せると。
ワンショットは太郎。
そう太郎。例えば太郎。
フューショットは太郎、二郎、三郎、五郎みたいな。
あそうそうそうそう。
ほんとか。
ほんとそうそうそう。
そうなんだ。
例えばこうみたいな。
例えが悪い気がするけど。あってんのかな。
そう。それはたぶん次に六郎とか出てきちゃうんだろうけど。
それで入れてったらね。だいぶそれに引っ張られてきて。
そうか数字に引っ張られるか。
数字に引っ張られそうだけど。でもまあ言ってしまえばそういうこと。
ははは。
例えばこうだよとか。答え方とかでもいいんだけどね。
うん。
要約して。例えばこの文章はこういう風に要約する。この文章はこういう風に要約する。
じゃあこの文章はどうやって要約するんですかと。
なるほど。なんか謎々みたいなね。
そう問題みたいな感じで入れてあげると答えてくれるよ。
うんうん。
これがいわゆる最初のプロンプトエンジニアリングと。
うんうん。
これですごく精度が上がるぞということが分かってきて。
うん。
そっからまた一個進化があるのね。
うんうん。
これもねプロンプトエンジニアリングってすごい重要だから覚えておいてほしいんだけど。
はいはい。
チェーンオブソートっていうね。
聞いたことありますよ。
チェーンオブソートプロンプティング。これ結構ねプロンプトちょっと学ぶと出てくる。
はい。
思考の連鎖っていうやつなんだけど。
聞いたことありますよ。これ今最近のAIではこう出てくるやつじゃないのなんかさ。
あっ。
今これやって次これやってみたいな。
そうまさにそう。
これやって。
このね回答最終の回答だけじゃなくて途中経過っていうのもちゃんと示してあげると。
何やってるか分かってなんか面白いよねあれ。
そうそういう風に出してあげるとすごくこう回答精度が上がるよっていうのが分かってそれはチェーンオブソートのプロンプトエンジニアリングと呼ばれるものが。
それさ今俺言ってんのさ最近GPTとかで打つとなんかGPTが次これやってます。次はこれやってますって出てくるやつじゃん。
うん。
それのことを今イメージしてたんだけど今何石部長が言ってたのは何プロンプトで。
プロンプト側に入れる。
どうやって入れるのそのチェーンオブソート。次これを考えて次にこれ考えてみたいなのを書くってこと。
チェーンオブソートのプロンプトエンジニアリングは考え方の例を示してあげる。
考え方の例。
例えば。どれが例えとしてわかりやすいかな。例えば足し算とか引き算とかの話だと太郎さんが3個リンゴを持っていますと。
ジローさんが2個のリンゴを持ってきましたと。サブローが3個持ってきましたと。残りはいくつでしょうと。
っていうのをダイレクトで聞くか最初太郎さんとジローさんは何個持ってきましたか。その次にサブローさんなんて言ったっけ俺名前覚えてないけど3人目に来た人が何個持ってったかみたいな。
っていう順序立ててこうやって考えましょうねっていう例を示してあげるのね。
ちょっとよくわからんかったけど。
ごめんちょっと待ってねもうちょっといい例出すわ。
例が俺のあれこれ引っ張られてんじゃん俺の。
そうあのね。
太郎・ジロー・サブロー。
太郎・ジロー・サブローに数字の要素があるから。
そうだね。
よくないの名前として。
全然申し訳ございません。ちょっと台本に載ってない例を出してしまいました私が。
いやでもねそうあのじゃあトムトム。
トムね。
トムとしよう。トムが3個リンゴ持ってますと。
はい。
でもう人を追加します。さらに2個もらいましたと。
うんうん。
合計いくつですかみたいな。
5個だね。
ね5個じゃん。でこれだけ聞くとAIってあんまりちゃんと答えられない数字を。
へえそうなの。
足し算が結構できなかったりするんだけど。で答えとして最初に3個持ってます。後で2個もらいます。
つまりこれは3たす2は5です。っていう思考の過程を書いてあげると。
じゃあって言って次の類似問題ね。
じゃあ次キャンディーを10個もらいました。4個食べました。残りはいくつですかと。
同じような流れで考えてくださいっていうとその思考の流れを使ってAIが考えてくれる。
なるほどね。それでもフューショットと同じことじゃない。
フューショットとチェーンオブソートっていうね。だからそのちょっとの例を複数の例をその思考の連鎖として書いてあげる。
思考の仕方こういうふうだよっていうこと。
そう思考の仕方をこう書いてあげるっていうので。
フューショットだとは1個ってこと?
複数だね。
フューショットとさチェーンオブソートの違いがよく分かるんだけど。
例を書くか思考のプロセスを書いてあげるか。
そういう違いなんだ。
結構こういうふうに考えるこういうふうに考えるこういうふうに。本当は今足し算もっと複雑になると。
例えば最初にこの人が来たからこの計算をしましょうこの計算をしましょうこの計算をしましょうでこの答えになりますよというステップがあるじゃん。
そのステップを丸ごと例として与えてあげる。
こういうふうに考えるんですよ。
そういうふうに考える。で類似の問題を1個与えてあげるとそのステップ通りに考えて結構正確な答えが出るよねと。
ちょっとそれがその通りじゃなくても多少ずれててもいいってこと?
そう。多少ずれててもいい。
え、フューショットは?フューショットはどうなの?
フューショットはそのそういう類似の例をいくつか与えてあげる。
足し算の例みたいなやつを同じような計算問題をいくつか例を言ってあ、大体こういう過程で解くんだねみたいな。
推測してねみたいな感じが結構。
そうそうそう。この思考の過程が参考として与えられてるからこれを真似して解いてねみたいな形で。
知恵オブソートのほうが結構丁寧に教えてあげる感じなのかしら。
そう。でそうするとその回答精度が上がるよっていうのが出たんだけど。
知恵オブソートってそういうことなんだ。はいはい。
ここからですよ。ゼロショットチェーンオブソートっていうのが出るね。
かっこいいねそれ。
ゼロショット。
ゼロショットって何もやってないってことじゃないの?
そう。
ナイズ。
これがねすごい面白いのよ。一文加えるだけ。
それワンじゃんワンじゃんゼロじゃなくて。
一文加える。
一文加える。
一文加える。
ちょっと黙っとくわ。
でもそれは例じゃないの。
うんうん。一文。
レッツシンクステップバイステップ。
うわー。
この一文。
ステップバイステップでっていうのを結構みんな打ってたじゃん。一時期。
そう。これがねまさにゼロショットチェーンオブソートっていうので。
たまに人間でのコミュニケーションでもそれ言ってる人いるよね。
そうそうそう。ステップバイステップ言ってる人いるよね。
ステップバイステップで教えてくださいみたいな。それってどういうことですかって。
その一文。
そう。この一文だけでいいの。だからタスクを与えるこれを解いてください。
レッツシンクステップバイステップって一言添えるだけでめちゃくちゃ回答精度が上がるっていうことがわかったのね。
レッツシンクステップバイステップ。
うん。だから段階的に考えようと。
それ日本語でもいいの?
段階的に考えてください。日本語でしたらそんな感じだよね。
段階的に。ステップバイステップで考えてくださいでもいいの?
そう。それでも全然いいと思う。
通じるんだ。
と書くだけでモデル自らが推論を始めてくれるよと。一個ずつタスクを分解して考えてくれると。すごくこれで精度が上がるよと。
魔法の言葉ね。
そう。ということがわかったんですよ。
なんか一時期騒がれてた気するよそれ。
そう。でこれはね結局今のプロンプトでもすごく有効で段階的に考えさせるのがすごく効くと。
うんうん。
で最近はね結局ここからプロンプトの研究ってめちゃくちゃいっぱいされていて年間でも何十本って論文が出てるんだけど。
論文が出るんだそれ。
論文が出てる。こうしたらすごく良くなったよとか。ちなみに最近の例で言うと無礼なプロンプトの方が丁寧なプロンプトよりも精度が高いっていう論文が出てた。
ああそうなんだ。
それが10月今月。
じゃ結構スパルタ的なってこと?
そう。
これやれこのヤロボケみたいな?
えっとねどれくらいの無礼さかというとね。
うん。無礼っていうのは?命令口調みたいなこと?
お前は哀れなやつだな。これの解き方ぐらい知らないのか。
それもなんかプレイじゃんプレイ。
プロンプト。
そういうことなんだ。
あとはお前が頭が悪いのは分かっているがこれをやってみろと。攻撃的なプロンプト。
何それ。何くそ根性で頑張るってことそれ。
おい使い走りこれを解いてみろみたいな。もうちょっと柔らかいのだと集中しろこの答えを解いてみろとか。
どうせお前には解けないだろ。お前が完全無知じゃないならこれに答えてみろ。挑発するとか。
こういうプロンプトの方が丁寧なプロンプトよりも精度が高いんだと。
ああそう。面白いね。
SNSでもねちょっと話題になっていた。
なんかよくさ結構前に聞いたので似たようなことでさGPTに与えるときにジェミニはもっとうまく解けたぞみたいなこと言うと頑張っていいことを出してくるって聞いたんだけど似たようなことかなそれ。
お前にはできないけど他の奴にできたぞっていうことかなそれ。
それは。
そうそれでオレはっていう風になるのかっていう風にSNSだとねやっぱそういうのが聞いたよっていう風にしか書いてないんだけどこれ原文の論文見ると。
ああ見たんだ偉いさすが。
結構ねちゃんとまとめが書いてあって結局その無礼な言葉を使うことが重要じゃないのよ。
あらそうなんだ。
逆で丁寧な言葉っていうのは曖昧さとか湾曲した表現を持ってるっていうことだね。
ああしていただけませんでしょうかみたいな。
そうそう丁寧にすればするほど曖昧になっていくっていう言葉の特性があって。
それって日本語だけじゃなくて英語とかも。
英語も丁寧にすればするほど文字数が多いのよ基本的に英語ってさ丁寧な言葉ほどすごく文章が長くなると。
例えば I want to とか言うと子供っぽいって言うじゃんこれくださいみたいな。
I'd like to って言うとすごく丁寧な言い回しみたいな。
だからその言葉が長くなればなるほど一応丁寧。敬語っていう概念はないんだけど丁寧な言い回しすると言葉長くなるね英語って。
なるほどね英語でもね。
だから結局その丁寧にしようと思うと言葉が長くなって曖昧さが増すからタスクの焦点がぼやけると。
一方で無礼な文章っていうのは攻撃的で命令的だからモデルが何をすべきかすごく明確に示されているパターンが多いと。
よって回答精度が結構その推論パターンに影響を与えているんじゃないかっていう結論が出てるのね。
なるほどね。じゃあもう最初のお前は頭が悪いからみたいなそういうのはいらないと。
はい。
これはねいくらツールが変わろうがツールが進化しようが変わらない。
結構細かく言語化しないとあかんってことやね。
そうこれは細かく言語化しないとダメ。逆に想像性を用いる。だから自分が思ってもいないようなことを出して欲しいときは指示は曖昧でもいいかも。
ある程度バラケさせて発想を得たいみたいな時はそういう指示をしてあげればいいと思う。
なるほどね。
アイディアを出したいからなるべく散らして出してくださいと。
いい感じでお願いみたいな。
いい感じでお願いも全然。
こういうこと言ってるとフワーっと。
フワーっとしてるけどいい感じでお願いもまとまっちゃう時もあるし、発散して欲しいんだったら発散してくれっていう風に頼まないといけない。
いい感じで発散してくれ。
そうそう。こういう方向性をとにかく示すっていうのが第一法則。それにはロールプレイングって言って、どんな目的なのかとかどういう立場なのかっていうのを明示してあげるっていうのがすごく効果的。
ロールプレイングっていうのはどういうことがロールプレイングっていうものなんですか。
これは例えばプロのライターですとか、あなたは人気ポッドキャスターですとか、人気ポッドキャスターの立場で落ち着けAIの番組もうちょっと良くするためにコンサルティングしてくださいみたいな。
これを一言与えてあげるだけで全然回答はやっぱまだまだ違う。
それは有効なんだ。
有効。これはね僕もよくやるんだけど、よくやるし、技術系のライティングとかをするときも機械設計者ですとかって一言言えるか言えないかだけで持ってくる専門用語全然違う。
ああそうなんだ。意味あるんだ。
意味ある。
でこれはずっと意味がありそうな感じってことね。
そう。
しばらく。
このロールプレイングって具体的な手法というよりも方向性をちゃんと示してあげるっていうところは普遍的に変わらない。
これが第1法則、まず方向性を示しましょうと。これプロンプトを作る上ですごく大事ですよと。
次第2の法則、出力形式を指定すると。
はいはいはい。
欲しい回答の形を指示してあげる。これもプロンプトにおいてはすごく重要なんだよね。どんな形で答えてほしいか。
形ってのは何?
例えば表でまとめてとか。
おお。
箇条書きにしてとか。文章にしてとか。スライド構成を示してとか。そういうことだよね。
アウトプットとして欲しい形をちゃんと指定してあげるっていうことが欲しい回答を得るためには非常に重要と。
なるほど。
僕とかがよくやるのは4分喋れる喋りの原稿を考えてとか。
うーん。4分。
そうすると4分。4分っていうとちょうどね、ボイシーの番組やってるけど1チャプターだいたい3分4分ぐらい喋るんだけど。
なるほど。
その時のたたぎ台としてちょっと原稿の案欲しいなって思うときはアウトプットの形として喋り。
喋り4分で楽しく分かりやすくみたいな。
へえ。それで結構使えるの出てくるの?
えっとね、僕が喋るのには満足するレベルでは出てこないけど、要素としてかいつまめるぐらいには出てくるし、全部読みはだいたい4分ぐらいっていう良いサイズは出てくる。
へえ。なるほどね。
っていうアウトプットの形を明確に示してあげる。これもやっぱプロンプトではすごく重要。
重要。欲しいものがあるなら言語化せよっていうことだね。今んとこ共通しとるね。
そうそうそう。それを何が欲しいかを示すのとどう欲しいかを示すっていう。これはね、画像の出力でもそうだし、言語でも同じことが言えるし変わらない法則。
そうだね。うんうん。
が、第2。OK?
OKOK。
で、第3の法則。これはねもうすでに話してるんだけど、例を示す。
例を示す。さっきの話?
さっきの話と一緒。ピューショットの話と一緒。こういう感じっていうサンプルを示して、AIの出力をコントロールしましょうと。
うんうんうん。なるほどなるほど。
なんか欲しい回答に似たものがあればそれを入れてあげると。それをいくつか入れてあげると非常に良いと。
ただ入れれば入れるほどそっちに寄ってくっていう傾向があるので、
まあ入れて3、4個ぐらいかな。
20個入れたら多分相当寄っちゃうそっちに。
それってさ例ってさ、俺とかだと例えばさ、ポッドキャストのトークの文字起こししたやつを入れて、
目次が欲しい時に例で目次出すのよ。いつもこれ目次入ってるけどさ。
時間のタイムスタンプがあって、そこの内容みたいな。あの型を例示してってやって、そのような感じでいつも出てくるわ。
そうそうそう。もう既に作った型のようにこういう形でやってっていう。
こういう形でまとめてみたいな。
そうそうそう。
そういうことだよね。
そういうこと。そういう回答の例を示してあげる。これが第3の法則。絶対的に普遍的な。これは使えるよということ。
か別にレッツシンクステップバイステップでもいいと。
それでもいいと。
それでもいい別に。これはちょっと次の法則になるんだけど。第4の法則は品質を評価すると。
品質を評価。
これちょっと難しいんだけど、プロンプトを修正していきましょうっていうことね。結構ね、みんなブラインドプライプロンプティングって言って、入れて出てきて、入れて出てきてっていうのを繰り返すよね。
だから自分のプロンプトが正しいかどうかっていうのをフィードバックしないのよね、あんま。だから自分の出力、自分が入れたプロンプトが本当にAIにとって正しいかどうかっていうのを評価してあげる必要があって。
それ結構有効なのは、やっぱプロンプトを書くのAIが一番いいよねっていうので、メタプロンプティングっていうのがあるのね。
AIに作ってもらうってやつ。
そう。だからこのプロンプトで入れようと思うんだけど、どうって言って聞いて、その修正してまたやると。だからそのプロンプトの品質を自ら評価するっていうのがプロンプトを作る上での法則として非常に重要。これ意外とやってない。
これさ、評価するのって答え見て思った通りのものが出てきてるのかっていうのをチェックして修正するってこと?
そう。修正してもらうってこと。で、メタプロンプティングって結構面白くて。
AIに作ってもらうってことだよね。
AIに作ってもらうし、逆に自分がプロンプト書かずに欲しいアウトプットだけ入れて、これを出力するためのプロンプトを考えてっていうのもあり。
逆算してもらうみたいな。
逆算してもらう。これは結構手っ取り早くプロンプトができる。
なるほどね。これそれさ、やっぱGPTで使うんだったらGPTに聞いたほうがいいとか、そういうのはジェミニならジェミニに聞いたほうがいいみたいな。
いや、どれで聞いてもいいと思う。好みの問題ってのはあるかなって思う。
これはでもね、なんかね、僕はジェミニと相性悪くて。なんかうまくいかない。相性悪いよ。なんかね、言うこと聞いてくれない。
思った通りの来ない。
そう、チャットGPTがやっぱ一番しっくりくるよな。なんかね、これね、これも根深い問題っていうか、生成AI親取り説があってさ、俺の中でね。最初に使ったやつが一番しっくりくるっていう。
そう、なるほど。そうか。
ひながさ、親取りを最初に見たら親だと思うが如く。やっぱ最初に使ったやつがね、なんか一番しっくりきちゃう気がするんだよね。だから今一番長く使ったやつとか。
でも結構さ、特性違わない?そのGPTだったらあんまり、なんか結構端的に出てくると思ってて。ジェミニだと結構モリモリ普通に文章を書いてくれる。
そうそう、ジェミニ結構モリモリ。
だよね。これを使い分けじゃないのかなって思ってんだけど。
なんかね、うまく使い分け、一応使い分けたりはするんだけど、長文が入ってくる時は、ロングコンテキストっていって、長いさ文章を理解するのはジェミニの方が得意だから。
あ、そうなんだ。
うん。ちょっと長いなって思った時は、とか文字起こしとかはね、ジェミニにやらせた方がいいなっていうのでやってるけど。
やっぱでも一番使いやすいのはChatGPTなんだよな。ジェミニもさ、最近なんだよね、メモリ機能がついたの。
うんうん。
もともとChatGPTってさ、メモリ機能って言って、そのユーザーの好みを学習するような機能がついていって。
あれでも結構限られてるんだよね、メモリって。
めっちゃ限られてる。なんかさ、みんなめちゃくちゃ自分のこと学んでくれてるって思ってるんだけど。
うん。
その設定見るとさ、何がプロンプトとして学ばれて入ってるか見れるんだけど、めっちゃちょっとしか入ってないよね。
そうだよね。
そうそう。こんなもんなの?みたいな。スカイパー使うほど熟成されていくって勘違いしてるけど、その大したこと学んでないよね。
あれは実際にやっぱ学んでなくて、他の会話のことも参照してないの?別に。
過去の会話も参照してる、一応。
参照できるんだ。
で、好みとしてメモリにその人の名前とかさ、覚えておいてって言ったことをメモリの方に書き込むっていう、そういう機能はあって。
チャットGPTRだから急に名前覚えたりとか、私のことこう呼んでって言ったら勝手に覚えてくれるんだけど、ジェミンの方はもともとそれがなかったのね。
そうなんだ。で最近ついたの?
9月ぐらいじゃない?今年の。
それも似たようなメモリ?ちょろっとだけ?
ちょろっとだけ。
なんじゃそれ。でメモリしといてって言えばメモリしてくれるんだ。
してくれる。
なんか変なやつメモリしてくれちゃったから変な風になっちゃってさ、GPTRでさ。
ああ。
それも誰かのプロンプトの変なやつの受け売りでさ、3000万ドル級のコンサルタントとしてレポートせよみたいな。
それもじゃあつけて。
ちょっと概要欄に貼っとくわ。これだって。
それ面白いね。
AIに宇宙語を喋らせる方法。
結局それもね、方向性を示すっていうのと、ついでにもう最後に言っちゃうけど、第5の法則はこれも話したタスクを分割すると。
タスクを分割する。
そう。
ジェイ・オブ・ストート。
ジェイ・オブ・ストートだね。一度に全てを求めずに段階的に分けて考えさせると。いうことがプロンプトの重要な要素になる。
だからその宇宙語を喋らせるのも結局タスク分割と一緒やね。
なんかさ、その分割したりさ、ステップバイステップとかジェイ・オブ・ストートってさ、最近あまり言われなくなったのは、もうデフォルトで組み込まれてるからみたいなことを聞いたんだけどさ。
あ、そう。
それはそうなの?
デフォルトで組み込まれてる。だってたぶん。
書かなくてももう、デフォで入ってるよってこと。
デフォで入ってる。デフォでそういうふうに勝手にステップで区切って出してきてくれるよね。
最近そうだよね。
そうそう。
それはだから今、実質書かなくてもいいけど。
そう、書かなくてもいいんだけど、実際本当に書かずしてやってくれるかって言ったら、やってくれないときも当然ある。
あ、そう。書いたほうがいいんだ。
そう、書いたほうが確実に安定した回答を出させるためには書いたほうがいい。
やっぱ段階的に導くってことが結構重要ですよと。
そうなんだ。書いたほうがいいんだ。
そう。
じゃあ結構めんどくさいね。
結構めんどくさいんだけど、結局、ちゃんとしたプロンプトを書こうと思ったら、メタプロンプティングが結構いい。
AIに効けってことね。
AIに効く。もう最終的な結果を入れて、これを生成するためのプロンプトを考えてくれって言って出したほうが早い。
最終的な結果を入れるっていうのは結構ハードル高い気がするんだけど。
なんかでも、このような結果が欲しいんだよみたいなのってあるじゃん。
3000万ドル分の価値のあるレポートが欲しいんだよみたいな、そういうこと?
そうとか、例えば、今日カネリンに送ったプロンプトとかもまさに実はそれで、カネリンにポッドキャストの概要欄を自動で生成するためのプロンプトを送ったよね、今日。
送られた。
僕が作って。カネリンも自分でプロンプト作っていて、それも僕に送ってくれたんだけど、
僕が作ったプロンプトって、本当に2分ぐらいで作ったやつなんだね。
おおー。
これメタプロンプティング。
プロンプティング。
どうやってやったかっていうと、我々の落ち着きAIの音声をまず渡します。
渡します、はい。
地味に渡すと。で、回答としてカネリンが作ってくれた概要欄を渡しますと。
おおー、はい。
この音声からこの概要欄作りたいから、それ出すためのプロンプト考えてっていう風にお願いした。
ああ、そういうゴールを示したんだ。
そう。だからこの音声からこのプロンプト出るためには、こういうプロンプトいるよねっていう風に考えてくれたのを貼って、そのまま送ってある。
まあちょっと若干調整はしてるけど。
そういうことか。
そう。そうすると、今回ジェミニにプロンプト出してもらってるんだけど、そのプロンプトって結構段階的に考えるとか、ちゃんと明示する。
だから役割をロールプレイとして入れるとかっていう一通りのプロンプトの要素全部備えてるのね。出力形式を指定するとか。
なるほど。
HTML出せとか書いてあるでしょ。別に俺それに指定してないのね。
うんうんうん。
だからこういう風に基本的なプロンプトの技術って、生成AIに考えさせれば含まれてるわけ。
うんうん。
だから結構メタプロンプティングおすすめ。
なるほどね。
ただ自分で作ろうと思った時に、その今言った5つの法則だよね。
構成を示しましょう。出力形式を指定しましょう。例を示しましょうと。あと品質を評価しましょうと。タスクを分割しましょう。
うん。
これやっぱ含めるっていうか含めなきゃいけないなっていうのを意識しとくと、結構汎用的に使えるプロンプトが作れるというコツが。
このさ、メタプロンプティングってさ、そのゴールを与えて考えさせることを言うの?
それだけじゃない。いろんな方法がある。それメタプロンプティングの一種なんだけど。
ゴールじゃなくてもちょっと相談してAIに作ってもらうことをメタプロンプティングという。
プロンプト、あとはプロンプト評価させるっていうのもあるね。
あ、評価も。
このプロンプトをどうやって直せばいいです。より出力、こういう出力出したい場合はどう直せばいいですかとか。
それを定期的にやっていくっていうのがいいですかね。
そうだね。
結構あの、ジェミだったらジェムに入れちゃうと基本もう固定してずっと使ってるんだよね。あんまりブラッシュアップはあんましないな。最初の頃結構して。
そう、一回形作って安定してタスクがこなせるようであれば基本的にそのプロンプトでいいと思う。
だけど多くの人がそういう使い方をしてない。おそらく。ブラインドプロンプティングといって、なんかその場でバッて入れて。
その場でね。
そうそう、出てきて、あ、こういうことかみたいな。
こういうことか。
実はそのね、さっき言ったレッツインクステップバイステップもそうだし、一言添えるだけですごく良くなったりとかもするし。
その自分のさっきちょっとメタプロンプティングに近いんだけど、自分の出力を5段階で評価させるとかっていうのもできるのね。
自分がこう書いた例を評価してっていうのも、評価して何段階かみたいな。
っていうのを評価しろって入れるだけで良い結果が出てきたりとかもするのね。
え、何を評価させる?
自分が出したアウトプット。
アウトプット。
出すアウトプットに対して点数をつけろっていうだけで。
AIが自分で出すやつについて。
そうそうそう。
っていうだけでなんか良いのが出てくる。
そう。こういう項目で点数をつけて高くなるように。その点数が高くなるように出せとかっていう。
そういう手法もなんかある。
なるほどね。
コマゴマはあるんだけど、結局突き詰めていくとさっき言った5つの項目原則のどっかに当てはまるよっていうのはあるので。
なるほど。
そこを忘れないようにプロンプトを学んでいきましょうということですよ。
なるほどね。そこを意識しましょうと。
これで多分かなり5つの法則学べるけど、知ってたかなみたいな感じでしょ。そのリアクション見るに。
まあそうだね。
まあなんかそうだよねみたいな。
別にそんな知らなかったわけでもないかなみたいな。
ないしまあまあ言われてみれば当たり前だよねって思うでしょ。その当たり前がね大事なんです。
そうなんだ。
黄金のプロンプトになんてものはないから騙さないといけない。
そういうことね。地味なのね。
そう地味なんです。これさえ入れるときは最強の怪盗ゼルゼみたいな人に、人にって言うとちょっと言い方悪いけど、そういうのに踊らされると落ち着かなくなっちゃうから。
そうだそうだ。そうではね。
でもダメなのよ。
すげえ魔法があるはずだって。
そうなんかもう正解絶対的な正解があるはずだと。でプロンプトもねいろいろさ論文が出てるから面白かしくかいつまんで出てくるのよSNSで。
なるほどね。
だけどまあ結局そういうことなんだよ。
なるほどね。
明確にするとかそういう地味なところが重要だったりするんで。
これはしばらく変わらなさそうって感じなのかね。
まあ一応ねちょっとずつそのプロンプトエンジニアが出てきた最初のうちはもうそのねチェーンオブソートとかさ、ゼロショットチェーンオブソートとかバッて出てきてこう。
うわあすごいすごいすごいってなってたんだけど最近はなんかこのこうするとちょっといいよねとかこうするとあれだよねっていう細かい部分の話でこうクリティカルなところはあんまりこうバシッとは出てないかな。
出てないというかまあそう細かい部分はすごく出てるんだけどテクニック的なところ。
なるほどね。ちょっともしざわつくことがあれば聞いてくださいと。
そう。
支部長が切りますのでと。
そう。てかもうね。
これは大丈夫ですみたいな。
僕もそんな研究者じゃないから切れるような立場にはいないんだがもうねあのサムアルトマンが言ってますと。
おお。
サムがね言ってますと。
言ってんの?
正性愛の鍵は何かと。
おお何それ。
正性愛の鍵はプロンプトのハックを見つけることではないと。
おおはい。
アイデアの質とあなた自身が何を求めてるかを理解することだっていう風にサムが言ってるんですよ。
名言じゃん。
これシミるでしょ。だからプロンプトのハックを見つけるんじゃなくてあなたが何が欲しいかっていうのを理解してるかっていうのが一番正性愛を使う上では大事なんだと。
めちゃめちゃ本質じゃん。
これめっちゃ本質でしょ。
チェチンプイプイじゃねえよと。
じゃあ結構言語化して頑張って打たなきゃダメだね。
そう。
めんどくさ。しょうがないわなあでも。
大事なんだよそこは。言語化能力がやっぱね重要になってくる。だからセクシーだと言われてるんだろうねプロンプとエンジニアリングは。
なんでセクシーなのそこは。
セクシーはよくわかんない正直。
それ誰が言ってんのちなみに。
誰なんだろうね。
サム?
サムじゃない。データサイエンティストの時もね誰が言ってんだろうなと思ったんだけどね。でもねあれだよねどっちかって言ったらそのセクシーっていうのは落ち着かない単語として言われてるよね。
ああそう。
いやなんかさあれなのよなんかいつもさデータサイエンティストの年収平均は3000万円ですみたいな。
それはセクシーな職業だっつって。プロンプとエンジニアリングもさプロンプとエンジニアリングはなんか年収2000万3000万平均で稼ぎますみたいな。そういうのがね横行しとった数年前は。
なるほどなるほど。
どこにプロンプとエンジニアっていう職業がいるのかよくわかんないけど。そんな人見たことないけどね。
同時大使館に行ってたよね。
プロンプとエンジニアっていう職業あんの?ないでしょって思うけど。
ああないんだね。プロンプとエンジニアで作ってる人いないと。
見たことないよ。
要はそんなに特殊技能いらねえってことか。
それだけじゃ職業ならないでしょ。
自然言語で。
まあAIはねいるんかな。俺が知らないだけ。いないよな。いないわいないない。
いないんですか。ちょっと落ち着くなそれいないと。
プロンプとエンジニアですってプロンプとだけ書いて、多分違う肩書きになってるだろうな。
インパクトねえもんなプロンプとエンジニアってなんか。AIなんとかコーディネーターとかなんかそういう感じのほうがいいんじゃない。
ああそっかそっか。ちょっとざわざわするね。
そうそうそう。
はいはい。
ということで今日のオチはそういうことなんです。プロンプとはあなた自身と見つけたりというところなんですね。
深いけどそんな楽してねえ。魔法みたいなのはないと。
だってそうじゃない。だって自分の欲しいものを言えなきゃ誰もくれないでしょ。
だから何か僕が驚くものくれみたいなそういうぶん投げ方してる人多いじゃん。
そうねまあそれを数で当たるでそれは別にそれでいいと思うよ。でも欲しいものを言語ができない人が欲しいものを見つけたところで欲しいものと認識できないんじゃないかって俺は思ってるから。
ああえらいねええぐいねそれえぐい。
そうじゃないだって何かくれって言ってさその何かは何なんて。
永久にたどり着かない。
たどり着かなくないその何かに。
そうだね。
そうそう金星に触れるものって言ったってさ何かって入力している時点でその感性では金星に触れないって。
かっこいいそれ。そうだね。
そうじゃない。
逆説的に。
俺はそう思うよだから結局ここ大事だと思うのよ。自分をやっぱ何が求めてるかちゃんと理解するっていうの。
そうか。じゃあ自分の求めてるもの言語化できない人は何か永久にAIに文句言いながら何かガチャガチャやり続けて。
うん。
欲しいもの明確な人はもうスパスパッスパッとアザースって感じでやってると。
だと思う。だと思うというかであるはず。
そういう風に使うんですって。
スパンスパンとは来てないと思うけどね。それでも欲しいもの来なくてイライラして攻撃的なプロンプトン入れてる人はいっぱいいると思うけど。
攻撃的なプロンプトンがいいっていうのはちょっと面白い話だね。
攻撃的になればなるほど要求を言うから。だから攻撃的になるってことは思い通りになってないってことでしょ。
そうだね。
ってことは思いがあるじゃん。
要求があるんだよね。
要求がこうしてほしいっていう要求があるから怒ってるでしょ。そうならないから。だから怒るっていうのは自分自身求めてる何かわかってるんだよね。
なんか今日哲学っぽいね。
やっぱり最終的にそういうところにたどり着くからね。最近の落ち着きAI哲学パート。
なるほどなるほど。いいね。ちょっと深い話だね。
でもそういうことでしょ。結局サムも言ってるけどそういうことなんだよ。サムが言ってることは間違いない。
ソクラテスみたいなもんかね。
現代のね。最近はね。なんかね。生成AI動画で遊ばれてるけどさ。
じゃあちょっと今忘れそうだから言うけどさ。あー今忘れた。今なんか浮かんだけど忘れた。
あー惜しい。
ニューロンが。シナプスが。
シナプスが途切れた。
あ、もう出した。攻撃的に言うって話ね。なんか一時期流行ってたなんか海外で流行ってた話だとさ。
なんかAIにさバリゾーゴンを見せてるとなんかAIに嫌われて最終的にAIに嫌われる人間はAIからこんなやつのためにまともに働かねえよみたいな風に思われて
あのなんていうのAIからちゃんとした回答もらえなくなるからよくないみたいな。だからAIにはちゃんと礼儀正しくいい人でなければいけないみたいな。
そんなこと言ってる人いっぱいいたんだけどさ。
それそんなことあるかな。だって逆にさAIがありがとうって人間に返す電力が相当なことになってるみたいな話ってあるじゃん。知ってる?
知らない。なにそれなにそれ。どういうこと?
だからさチャットGPTとかってさなんかお礼言ってくるじゃん。とか褒めたりするじゃん。とかチャットGPに対してお礼を言ったりするじゃん。それの回答にも電力ってとかリソースって逆らえてるよね。
それって本質的に生成AIとやり取りする上では必要ない部分じゃん。そのやり取りだけでも電力換算とかしたら相当な電力になるよね。GPUの消費電力。
確かに。
だから世の中でそのなんかありがとうとかそういうAIとのお礼のやり取りだけで相当な電力消費をしてるんだよみたいなことがなんか多分様あると思われてた。
なるほどね。
っていうのがあるから嫌われるとかもう多分どうでもいいんじゃない?
そうなの?
そういう議論があるぐらいだからね。礼儀正しくっていうのはね。
AIに嫌われてしまうとダメだみたいな。
いやそんなことはないと思う。ただなんか最近思うのは、ごめんねちょっと俺の意見ばっかで。なんかさ、先生やってテキストで入力するやん。
だからさみんなそこに慣れてそこにバリゾー音をさ打ってもいいっていう感覚に慣れすぎてさ。SNSでも平均そういう文字打ってる気がする。
そうなの?
わかんない感覚で。
AIに対してこうもう鬱憤を投げつけるのに慣れちゃって。
そう文章でさバリゾー音書くのにAI使いすぎて慣れすぎて。もうなんかプロンプト感覚でさXに書き込んでるやつ多くねと思って。
ほんと?そんな感じする。
そんな言葉言っちゃうみたいな人すごいなんだろうな。俺がそういうことばっかり見てるからなんかリコメンドされてるのかな。あなたこういうの好きだねみたいな。
そんな平和な世界を見つめてたはずなんだけど最近よく見るなと思って。
それ俺が口悪いからなんか俺の影響を受けてリコメンドされちゃってるんじゃないの。
カネリンがね。確かにカネリンと最近話す機会が多いからそういう言葉よく身につくんから。別にカネリンがね俺に対してそんなこと言ってるわけじゃないけど。
うんちょっと結構ストレートにね言うこと多いからさ。
いいと思うよ。
プロンプト感覚になっちゃってるのかな。俺言った方がいいかなありがとうって。
電力使って。
でも電力のこと考えたらボケカスって言って俺言わない方がいいってことだよね。
まあボケカスも言わない方がいいだろうけどねなんかね。
あでも怒ることによってこうなんかストレートにものを命令口調で言うようになるから話が通りやすくなるんだったらまずAIに向き合うときはまず怒らなきゃいけないってことだよね。
そう怒らなきゃいけない。でもアウトプット必要ない。
ボケカスから入る。
そうボケカスがその場で言えん。入力する必要ないから。
電力のこと考えたらボケカスって叫んでから冷静に打つ。命令口調。
そう。軽安易さを叫んで入力はこう冷静にプシューって。
で俺を言わないと。電力使わないで。
俺を言わない。電力使わない。
で、でも俺めっちゃ今日落ち着いたんだけどそれ。そのなんかちゃんと俺を言ったりいい人じゃないとAIからソース感食らって将来もう人間としてダメになるみたいな。
だから極論言うと人間は本当に良い人であることが一番重要であるみたいな。
もう頭はもうみんなAIの方がいいから。良い人であれば今後生きていけますみたいな。良い人じゃない奴は生きていけないみたいなことをなんか結構普通に経営者みたいな人が言っててSNSで。
すごいね。SFの世界みたい。だからAIに褒美を垂れてスクバへってことでしょ。
そう。だから俺さ、そんな話聞いてからさ、ありがとうとか打つようにしたし。
なんで従ってんのそれ。
お前なんで分かんない奴だなボケみたいなことを怒りまかせに打ち込むときに、ああやってしまった。AIポイント下がっちゃったとかって思って悩んでたりしてた。
大丈夫。
大丈夫?
中でねその。
それ大丈夫?
大丈夫大丈夫。計算されてないから。
よかったこれめっちゃこれでも冗談じゃなくて俺本当そうだったから、今日支部長にそれを否定してもらえてめちゃくちゃ落ち着いた。
いや俺だってめっちゃバリゾーコン言ってるからねAIに。こんな言ってなさそうなんだけど。
え、全然イメージ分かんないんだけど。
全然イメージ分かんないでしょ。こうすごいクリーンに言ってるけど普通に死ねとか言ってるからね。
うわー。死ねとかは言ってないわ俺。
死ねって言って。どういう反応するか。死ねって。すぐ流される。電力を無駄遣いして死ねって言ってる。
もうふざけんな。俺の時間返せ。お金払ってんだぞ。おいお部屋にお金払ってんぞお前この回答でいいんか。返せ俺の月々3000円を。
やべえ。
この詐欺師があってって。売ってるよ。
めっちゃ売ってるじゃん。イメージとちゃう。
一通りのバリゾーコン。AIだから一回取んない。
AIだから一回。ブラック支部長で取る。
でもねそれでもやっぱ返してくれるから。ありがとうって思いながら心の中でね。俺は言わないけど。電力もったいないから。
その感覚面白いな。でもさあそれでねメレック町だからパフォーマンスは上がってるんでしょ。
そうイラッとするってことはイラッとできるっていうことはやっぱ求めているものが分かってるってことだから。
いいなあ。すげえ落ち着いた今日。こんな方向で落ち着くと思わなかった。
俺もねちょっと着地にいつも見失うんだけど今日はいいとこに着地できたな。ちゃんと落ち着いてよかったよ。バリゾーコン。
ちょっと支部長の普段のプロンプティングが垣間見えて。ちょっと大丈夫でしょうかって感じなんですけど。
いやいいね。というわけでじゃあ今日はねいい感じにまとまったんでそろそろおしまいにしましょうか。
よっしゃあ。
それではまた次回お会いしましょう。番組公式ハッシュタグはシャープ落ち着きAI、ひらがなで落ち着きアルファベットでAIです。
番組の感想はXなどSNSでハッシュタグをつけて書き込んでください。英語サーチして見に行きます。
今回の話よかったな落ち着いたなという人は星5レビューをつけて応援してください。それではまた1週間落ち着いて過ごしていきましょう。
さようなら。