生成AIの仕組みと「わかっている」という誤解
AI新規事業担当しみと生成AIをフル活用して一人起業家やっているゆとです。
親友はAIラジオ始まりました。
始まりました。よろしくお願いします。
よろしくお願いします。
今日のテーマは、生成AIの仕組みからやろうとしたんだよね、もともと。
はいはい。
なんだけど、なんか堅苦しくなりそうだなと思ったんで、
落とし穴的な生成AIの仕組みについて、
はいはい。
多くの人が誤解してそうなこと何?みたいなことを
いろいろ話せたらって思っております。
え、生成AIって賢いしりちゃんみたいなロボットが返してるんじゃないんだっけ?
賢いしりちゃんとは。
すみません。
え、なんか実はオープンAIが大量にIQ200ぐらいのオペレーターを雇ってて
チャットで返してるんじゃないんだっけ?
チャットサポートみたいな。
マジスーパー人間だね。
逆にすごい気になる、その人たち。
そのアルバイト気になるね。24時間いつでも。
超誤解されてそうなことをチャットGPTさんに出してもらったので、
なるほど。
これを一旦読み上げつつ、一個一個取り上げながら
オッケーです。
それをそのトピックごとにおしゃべりできたらなという感じでございます。
承知しました。
とりあえず3つ言っちゃいますか。
一旦全体的にまとめておきます。
見出しだけ。
オッケー。
まとめて3つ。
1つ目、誤解1。
AIは分かってるし正しい。
え、違うんですか。すみません。
誤解2。
いい答えはAIの性能で決まる。
え、違うんですか。
え、違うんですか。
誤解3。
長文は全部読めて覚えてる。
え、違うんですか。
読んでるじゃんね。
読んでると思ってます。
この3つなんかつまみ食いしながら行こうかななんですけど。
上からというか1個目から行く?
1個目から行きましょう。
AIは分かってるし正しい。
この分かってるっていうのは何だろう。
何か答えを知ってるみたいな。
そうだね、答えを知っている。
なんかこっちの言ってること、人の言ってることを理解しているみたいな。
あー、そういうことか。
正しい。
ちゃんとだから。
正しいは多分理解しているし正しいことを言っている。
みたいなのが誤解。
あー、なるほどね。
じゃあ、よく多分聞いてる皆様も聞いたことあるやつで言うと
ハルシネーションってやつですね。
ハルシネーション、嘘ついちゃうよみたいな。
もっともらしい嘘つくよっていうやつはこれですね、きっと。
正しくないことを言うかもしれません。
正しくないことを言うかもしれない。
ハルシネーションってもっともらしい嘘ですよね、多分。
言い方変えたニュアンスだけどさ、ハルシネーションしないときもさ、
あっていそうなことを言っていてたまたまあってるぐらいのノリだよね。
あってるときも。
あってるときのノリの話だけど。
大前提、確率装置というか確率的に回答していて、かつ
つい性愛の仕組みは確率だと。
確率ですね。
与えた言葉とかいろんなやりとりでのメモリーとかを元に
次に来る、一番どういう言葉が来るかっていうのを確率で並べて
くじ引きをしていきながら並べていって
それをまとめて返すと、実はすごく人間にとって
オットモらしい文章になってるよっていうのが
ざっくり言うと、生成AIの仕組み。
実は意味そのものも理解してないんだよね。
言葉を理解してるというよりも、その言葉が来るということは
次に来る言葉はこういうことであるってやっているだけで
美味しいとか感覚とか言葉の意味をわかっているというよりも
美味しいって言われると投げかけだなって思うと
共感してあげたほうがいいから確率的には
美味しかったんですね、よかったですねみたいなのが
AIの仕組みなので、理解している風であるし
正しい風である。
正しい風。
そうだね。結構な確率で正しいけど正しい風でしかないっていう。
本当は。
そう。だけどその風が限りなく正解率というか
正しいと感じる割合が高くなるぐらいに
多分いろんな仕組みと技術が進化してるよっていう。
どうですかね、おっとさん。
そういう仕組みのイメージ。
そして使っててのなんかあったかなーってのをちょっと考えてたんだけど
はい。
難しいね。1と2と3が絡み合ったりしそうだなと思って、その誤解の。
あー。
仕組みに関してはおっしゃる通りなので
先にAIのやついっちゃおうか。
AIのやつ?
対策って出してくれてるのがあるから
それ触れつつ思い出すのがあればその話とか。
じゃあこれ受けてどう付き合う的な感じね。
そうそうそうそう。
こう付き合ってるわとか。
はいはいはいはい。
の方に行きましょうか。
OKっす。
で、やつが対策として
これもChatGPTが出してるのでそれこそ最もらしく言ってるんだけど
AIとの付き合い方：誤解への対策
はいはいはい。
3つこういう誤解に対して対策をするといいよってのが入ってて
1個目が根拠を出させる。
はい。
2つ目が反対意見を出させる。
3つ目が自信度や不確実な点を明示させる。
なるほどね。
とのことでございます。
あー。
なんかすごい日々やってる。
意識してる?
なんか正しいとかで正しいで言うと
確かにその今のChatGPTとかって
リンクつけて出せるじゃないですか。
このページを見てこう答えましたみたいな。
はい。
あれは結構出させる。
言葉だけで返してくるやつほど疑う。
リンクついてて
なるほどこのページのことを言ってるんだとかは結構信じるみたいなのは
結構やってる気がする。
それでさ、でも最近じゃない?
うん。
出典出し始めた時ってさ出典元全然リンク切れだったりさ
出典元全然嘘じゃんみたいな。
出典元のURLすらそれらしく出してる説だったもんね。
存在しないURLを書いちゃうみたいな。
ね。
わかってないからさ。
そうそうそう。
それができるようになったのはめっちゃ最近。
これまで結構今ゆうとさんいうようなリンク切れがあったりとか
今でもたまにある。
このページないじゃんみたいな。
あるんだ。
このページにはさすがに書いてないんじゃないかみたいな。
たまにあるあるあるね。
でも一定それはあったり
それと合わせると事実と推測を分けてもらうみたいなのも
たまにいるかもしれない。
だから事実はリンク付きで答えて
それをもとに推定してる部分?
それめっちゃやる。
事実とそれをもとへのあなたの考えを分けて書いてもらって
プラスでそれを言ったものに対して
事実って言ってるものが事実かをもう一回そのリンクに行かせてる
あのワンクッション。
そこまでやってるんだ。
それめっちゃやってるわそういえば。
すごいねそれ結構プロンプトにちゃんと3段階入れてる。
次の会話かな?
次のこっちのインプットで
じゃあそれを
ああそういうこと?
じゃあそのファクトは本当のファクトなのかっていうと
すいません本当のファクトではありませんでした。
いやそうあいつら爪よると謝りを認めてくるというね
あれ良くないよね良くないよねっていう
でも今日正しさのところはやるわ
そうだよね
あとね反対見解で言うと
もしかしたらちょっと話がぶれるかもしれないんだけど
分かってるっていうのを基本的には使ってるユーザーのことを否定しないようになってるじゃないですか
特にチャットGPTは褒めるというか共感するというか強めだよね
なんかあれがそれこそ何か新規事業担当目線で言うと
なんか自分が思ってるやつがイケてるかイケてないかわからないのを
褒めてくれるのは嬉しいけどイケてるって言ってくれるのはいいんだけど
イケてないかもしれないんだったらフラットな意見が欲しいのにって思うこともあるよねとか
結構なんか全部イエスマンなんだよね割と
よく言われてるね
イエスマンなんですよ超イエスマンなので
反対意見というよりもあえて
同じだな
否定的な意見を書いた上であなただったらどうするみたいな
あなたは基本肯定するからそれに対しての論破できるじゃないけど
カウンターもセットで出してみたいにすると
ネガティブな否定要因が最もだなって思うことも結構出てきたりとか
カウンターを見た時にカウンターすら最もだなってなれば最強なんだけど
どっちかもっと強めたいなって時にもっと批判的になれるよねとか
カウンター弱いよねみたいに戦わせるとかよくする
戦わせたいし反対意見っていう感覚なかったから思い出してなかったんだけど
これもよくよく考えたらやってて
企画でもいいか方針ABCとか案を出してもらってこれがいいですよとか言うじゃん
ABCあってAがおすすめですよとか言うじゃんチャットでも人でも
その時にAなんだって言わずに
じゃあBがおすすめになるとしたら前提がどうなってる時みたいな
Cが最善の甲斐になる時もあるのみたいな
答えが変わる時の条件というか
意見をもらうっていうのはよくやってるね開発とかで
それ面白いね
じゃあ確かに最近の性能が良いから結局Aになること多いんだけど
じゃあ確かに今回だとAだねみたいなことが安心して言えるみたいな
なるほどね
反対意見
それ面白いね
いずれにせよ多分これを聞いてる人は
AIの答えを鵜呑みにしてるみたいな人はいないような気がしてて
きっとね
鵜呑みにするよ
その上でするよね
鵜呑みにしないけど嘘つくんだよで止まっちゃうところへの対策としては
優秀な部下と思った時とかと一緒ですね
確か
広告が怪しいって思って
なんかただめっちゃ詰めるというよりもちょっと質問していきながら
あれってさせるみたいな
メンバーとかもある気がする
やり取りしてるうちになんか変だなみたいな
仕組み改めてこのAIわかってるって正しいじゃないんだよってのを考えると
結構初期の方でよく使われてたアイリエーション
ブレスト的にバッと出してもらうとか
正解があるわけじゃないやつの伝え方
たくさん出したいとかバリエーションとりあえず欲しいとか
そういうのはなんか理にかなった使い方なんだなと改めて感じますね
初期の制度でも有効だったっていうのがそもそも怪かもしれないけど
なんか逆に言うとそれだったのが
今はや結構その開発の意思決定とか事業開発の方針とか
一本道じゃないけど出せるじゃないですか
確かに
そう思うと相当優秀になったよね
付箋にいっぱい案出してくれるだけの人ってなんか嬉しいけど
それと比べると今相当実務に近くない?
実務の判断にサポートできるところまで確実に来てるっていう
間違いない
感じますね
いやー誤解1でしたっていう感じですかね
こんな感じで2個目に行きますか
次行きましょうか
誤解2
依頼の設計が回答の質を決める
いい答えはAIの性能で決まる
とのことでございます
誤解ですね
確かに1のさっきの対策の話もねちょっと絡みそうだけど
確かに
答えがいいかはAIさんの性能ももちろんパーセンテージで言ったらあるだろうけれども
これもあるよねこれもある
AIの性能が100じゃなくて
そうだよね
っていうことが言いたいんだよね
補足で言うと回答の質はAIの賢さより依頼の設計でほぼ決まります
こっち側がどうお願いするかが
ほぼ決まるって言ってるから
7、80%とかいうイメージなのかな
まあまあ
6、70%
まあでも
性能が3、40%みたいな
それはそうじゃないっていうのも
なんか1個目の話した仕組みをもう1回すごく簡単にさらうと
やはり人間が入れた言葉に対して確率で返すから
例えば人間が教えていない前提条件みたいなのがある場合
なんかいい例が思いつかないな
チームの仕事とだったら暗黙の了解というか
暗黙的なやつは絶対伝わんないよねとか
人との比較になっちゃうけど
うちの会社だったら絶対こうじゃんみたいなとか
当たり前だけどこうじゃんっていうのを
人間同士だと言葉になってなくても伝わるものを
さっきの仕組みで言うと
AIは言葉として正しく理解してるというよりは
与えられた言葉を元に次の確率を予想しているから
言葉にならない言葉はできるだけ全部与えてあげないといけない
ですよねきっと
それを与えないと
それがない状態で仕事の設計をするから
それはミスるよねみたいな感じ
人間だとしても
新規事業担当で例えると
いい新規事業作ってよのだけ与えられると
さすがにあなたは何のお仕事をしていて
どういう新規事業
どういうっていうかね
予算いっぱいあるのとか
お店型がいいのかインターネット型がいいのとか
そういういくつかさすがに知りたい
すぐにリリースしたいのか
10年後にリリースしたいのかわからないけどね
極端ですけど
そういうことを知らないと
さすがに答えられんよみたいになったりとか
するよねっていう
いいアイディア頂戴って言われても
いいアイディアって
どういうアイディアが
あなたにとってのいいアイディアですかみたいな
なるほどね確かにな
未来の設計か
一旦チャットJPTの対策いっちゃいますか
対策1
ゴールを一言で言う
はい
2
形式と制約を指定する
3
OKとNGの例を一つずつ出す
はいはいはいはい
なるほどね
形式と制約みたいな
なんか堅苦しいけど
それはなんかめっちゃ
うんやってるとこではあるねきっと
そうだろうね
こうやって返してねーとかこれダメだよとかね
あそっかこれダメだよね
あNGの例
なるほどね
禁止事項はよくめっちゃやるわ
そのNGのゴールというか
物体例というよりは
うんうん
なんだちゃんとネットから参照することとか
はいはい
ルールか
NGの例もあればこうやれもあるからちょっと違うけど
あでもそれ制約だねどっちかというと
こうやることをみたいな
めっちゃルールを補足的に言うのがよくやってるわ
でもここの2でね言いたいのはね
対策のまたその先かもしれないんだよな
ちょっと小ネタというか話したいな
あそうなんだ
一旦対策周りで
直感でもなんか2とかってその
形式と制約
あこの3つともこの誤解の対策の
あはい誤解の2ね
これってなんか開発でいうなんかの
ユーザーストーリーというかなんか要求定義みたいな
要求定義だから要求しようみたいなところとかね
こういうことができることってゴールが
ユーザー視点で決まっていて
多分形式と制約は
要件定義っぽいねもう一歩先の
要件ぽいね
さっきの新規事業屋
新規事業屋の方で言ってもやっぱり
いい新規事業って何?みたいなさっき言ってたように
なんかそれがどういう会社での条件で
何年後に何年ぐらいのリソースで
どういう領域でやりたいの?みたいなとかは
形式と制約になるのかな
制約の一部なのかもしれない
なんか補足情報に近いのかもしれないけど
やるね補足情報
文脈として与えてあげないと無理で
ただゴールはあれだね
その事業アイデアが欲しいなのか
これはありなしなのか
なんかその辺は結構明確に
厳してる気がする
この仮説が丸か×かと理由を教えてみたいな
これね今話聞きながらやっぱ
思ったけど人でも一緒でさ
外部の人でも社内の人でもさ
誰にお願いするかによって
同じ依頼事項でもさ
このゴールとか形式制約とか
どんぐらいふわっと依頼するかって変わるじゃん
それめっちゃ人でも俺
気をつけてというか
この人と気持ちよくやるには
この温度感かなみたいな
この詳細度かなみたいなやつを
結構やってるんだけど
さっき話したいって言ったのは
AIはこの温度感めっちゃむずいなと思って
日々試行錯誤
人だったらある程度一回仕事したらとかさ
仕事してる途中に掴んでくるみたいな感じなんだけど
AIの場合は依頼するタスクによって
その必要な細かさも違うし
なんか進化したら逆に指定しすぎると
俺が依頼したいことのレベルの範囲でしかできなくて
それを超えてこないとか
これがめっちゃ頑張ってるんだけど
人よりむずい気がするんだよね
一定じゃないから確率だからなのかな
これは悩みというか
確率だから
チャットGPTとクロードコードで
もしかしたら考えが違う可能性があると思っていて
クロードコードって
アプリとか作るときね
開発のコードとかを含めた一本の
クロードコードの中限りなく
一人の人であり続けてる感覚があって
開発担当
県なんとかなんかを県務してるかもしれないけど
一個のチャット変えて何かを聞こうというよりも
一個の開発案件は一つのスレッドですよね
感覚としてはそうなんだけど
一瞬クロードコードのチップス挟むと
あれってしばらくして
メモリというかトークン
いっぱいいっぱいになっちゃったら
完全に記憶喪失になって
前のやり取りの要約みたいなだけ引き継ぐんだよね
そうなんだ
続いてる風なんだけど結構すぐリセットする
仕組みでいうと
言わんとしたことが
チャットGPTみたいなチャット形式の場合
2つの指示で迷ったら
両方スレッド2個立てて2個聞いちゃう
どっちがいい回答くれるか
なるほどね確かに
抽象的にふわっとさせる方が
それって人間にはできないじゃん
人間にはどっちかしか出せないわけですよ
一人との対面で
その瞬間はどっちかのカードを切るっていうのを
生成AIは両方ともカードを切ってみる
っていうことができるってことを言おうとしたら
クロードコードってでも
そうやってじゃんけん分けるの難しい
確かにそれはそうだね
結局本当に手元のコードとかいじってるから
そうそうそうそう
両方でやって
それは結構やばそうだけど
親友AIのタイトル案でめっちゃやってるんだよね
タイトル案出してとかをスレッド1で聞いて
もうちょっと情報を与えようかなとか
自分のタイトル案も含めて出したりとか
3スレッドくらいで
案を出してるみたいなことをやってる
でもまさにそれ
確かに形式制約
前提条件とかもいろんなパターン出してるみたいな
そうだよね
やってますね
その時スレッド形式というかチャット形式便利だね
便利やり直せるし
シミュレーションしやすいね
いっぱい試せる
確かにめっちゃそれは
なるほどね
あとチャット形式の方
AIとの対話における実践的なテクニック
普通のチャットGPTとか
一応クロードコードとかできるけど
今スレッド分けるタイプで言ったけど
前のメッセージを編集とかできるじゃん
できるね
結構意外にやってなさそうなことでいくと
スレッドで次のメッセージ次のメッセージで
ブラッシュアップとか改善するんじゃなくて
前提ミスったなとか思ったら
前のメッセージを編集してもう1回送るわ
なるほどね
これ実は俺やったことがなくて
これ編集完了するとそいつが投稿される
そうそうもう1回送られる
だから直前のメッセージなくても
3、4個前とかに戻ってやり直す時もあるし
直前のメッセージはよくやり直すね
なるほどね
編集そうそう
1回ミスった文脈が
うまく機能する時もあるけど
傷って邪魔な時もあって
あるなっていう感覚があって
なるほどね
これチップスだわ
実はやってなかった
ミスったと思ったら1個戻るというか
編集は結構おすすめでございますね
なるほどね面白い
潔くやり直すってのはね
クロードコード的な時も大事
潔く諦めるというか
変な答え返ってきたら
大体こっちが渡せてないんだなとか
思うよね
それぐらいAIはね
分かってる風で正しい風だけど
IQはマジで高いから
前提賢いから
それがこの回答をするってことは
多分何か大事なことを渡してない
みたいなことに気づくかな
そんなとこで誤解にはそんなもんですね
OK、NGの例あんま触れなかったですけど
いわゆるフューショットってやつ
ゼロショット
何も与えないやつがゼロショット
っていうやつで
ゼロショットワンショットが
初耳すぎるんだけど
例えばアイディア出してねの時に
例としてこういうアイディアだよって
入れてあげると
それぐらいの情報量
レベル感で答えてねっていうのが伝わる
一個も入れないと
どのぐらいの情報量かが
平均化されたやつが返ってくるから
よりゆるふわなやつが返ってくる
もうちょっとねってほしいときは
このぐらいの文字量
このぐらいのレベル感でっていうのを
OKな例として与える
NGな例は逆に一言
しょぼいやつとか
しょぼいと思うやつ
こんなん書いてきたらおこだよ
ってやつとかを入れてあげると
そのレベルじゃダメなんだな
なんかちょっと多分抽象
でもそれが僕は抽象的に
捉えてくれると信じるとしゃべってますが
問題があって
具体的な言葉としても
理解されるというか
わかるふうに入れられちゃうんで
OKなやつにすごい引っ張られることはある
OKな例に忖度されて
すごいそれの言葉をちょっと変えただけみたいなのを
叶いましたって出してきて
それがOKなんでしょみたいな
アイデアになってないみたいなのはやっぱあるよね
NGのやつもその要素をわざと弾いた結果
そういうことじゃないって
伝わり方することも結構あるので
NGとOKの意味合いというか
それすら
そのニュアンスまで届きにくいよね
そのニュアンスを言葉にすると
どちらかというと制約とか形式によって
抽象的に何文字ぐらいとか
こういうこととこういうことを答えてねってなるので
例はあんまり入れない
歯棚を引っ張られちゃう
OKは最初のプロンプト的なので
OKとNGを出したことはほぼない気がして
出た後の
単純になんかフィードバックでしかないけど
なんか出たアイデアとかでさ
これはOKで
この点こういう観点とか
こういう面が良かった
それを踏まえて別案を出してとかやるね
自分からOKの事例は出してないな
あえて引っ張らせたい時とかに
例は超具体の会社名とか出して
この会社のことを分析して
ここに来るやんみたいなことを
でもその会社にとらわれずに出してねみたいな時に
使うくらい
意識してみよう
完全に使ってなかったな
でもOKとNGの例というか
ほぼ事実なんだよな
こういう書き方はダメですよみたいな
例か
ドキュメント集みたいなのは確かに作ってるね
チェックリストみたいな
NG例
プロモットというよりは資料として作ってるわ
2つ目は
今回のいい答えはAIの制度で決まる
依頼
こっち側の依頼の仕方頑張りましょう
っていう話でございますね
そうですね
次回予告
今回はここまで
次回は生成AIの誤解3
長文は全部読めて覚えてる
とまとめのトークです
お楽しみに
