AIセラピーチャットの危険性
こんにちは、Notable Radioへようこそ。
この番組は、ゼロ歳児を連れてアメリカへワンオペ留学を経験し、頑張る女性のためのコミュニティ、Notableを運営する私、さえこが、
セルフリーダーシップを育むための考え方を毎回約15分でシェアするポッドキャストです。
サブMCのリチャードです。この15分で今日は、AIセラピーチャットの危険性というテーマでお話ししていきます。
Notable Radio
AIセラピーチャットの危険性ということで、今日は物騒なテーマですね。
物騒な響きがするというか。
そうね、物騒な響きがするテーマ。
私自身もそうだし、多分多くの人が最近チャットGPTとかいろんな生成AIに悩み相談とか、
あとちょっとした壁打ちに使っている方が多いのかなと思うんですけど、
そんな中ですね、先月スタンフォード大学から出た論文が、
セラピーの文脈において、生成AIに頼りすぎることの危険性みたいなのを論文として出していてですね、
これちょっとなんか興味深いなと思ってシェアできたらなと思ったんですよね。
ぜひ、ちょっと詳しく知りたいですね。
これはまず大前提、心身が健康な人というよりも、
医療としてセラピーが必要な人を対象にした研究なので、
私たちがやるような相談とはちょっと違う文脈で生成のAIチャットを使っているということを考えていただきたいんですが、
その前提に基づいた上で、スタンフォード大の研究では、
AIセラピーチャットボットは人間のセラピストほど有効ではないと、
セラピーが必要な人の妄想とか自殺燃料を助長する危険性が指摘されたりとか、
その人が持っている偏見を再生産したりとか、
ちょっと固定化するような、助長するようなコミュニケーション・交代が確認されて、
そこがちょっと危険だよねっていうところがありましたね。
あとは、セラピーをした人は信頼をしてある意味書いてるんですけど、
結局チャットっていうのは感情がないものではあるので、
信頼関係とか、表面的な共感っていうところが課題になっているっていうのがありましたね。
でもとはいえ、AIは日記とか事務作業とか、ちょっとしたアイディアの壁打ちとか、
そういう補助的な役割だったら有効なので、
この生成AIをどういうふうに使っていくかっていうのは、
今後も変わらず課題だよねみたいな話だったんですけど、
結構、そうだよな、おなづけるなと思ったところがすごく多くて、
チャットGPTとかに悩み相談すると、すごい共感してくれるんですよね。
そうね。
自分の、そうですよね、わかりますみたいな共感と肯定をめちゃめちゃしてくれるから、
これ結構危ういなって、私も自分で使ってって思っていたところだったので、
それが論文にも書かれていて、納得感が個人的にはあるなって思ったんですよね。
危険なコミュニケーションの事例
なるほどな。今お話聞いていて、すごく腹落ちをする話はたくさんあって、
元々の認識というか、僕がAIを触っていて思っていたことは、
これは良い像だったんですよ。相談相手として、これは良いと。
私も、さやほさんもコーチングをやっていて、僕はAIが進化し始めたというか、
チャットGPT3とか出てきたタイミングで、これはもうコーチングにおけるコーチの、
生半可なコーチの役割はなくなるんじゃないかって感じたんですよ。
というのも、質問のテクニックとか、それこそ傾聴、ジャッジしないで聞いてくれるとか、
そういうものはテクニックだとすると、うまく指示すれば再現してくれると思ったし、
実際、コーチングなんかAIで十分だよねっていう経営者の方とか、
やってる人たちもいた中で、至らない点はあってもこれから進化していくだろうから、
いずれ、ただただコーチングができるっていうコーチはいらなくなるな、
なんて思いながら接していたので。
で、感じてた課題は、使い手のリテラシーによるけどねっていうところですね。
質問する側が、自分の歪んだ認知を強調するような質問の仕方。
私、間違ってないよねみたいなね。
私の正しさをもう少し補足してとか、そういうアプローチになってしまうと、
あんまり意味はないだろうから、そこにおいて人間の役割はあるのかな、なんて思ってたんですよ。
それがAIセラピーチャットで危険性という形で提示されて、
それはそうだよなっていう風に受け止めてるっていう感じです。
この研究の文脈は、ちょっと精神的に助けが必要な方向けのチャットっていうこともあって、
特に気をつけなきゃいけないところです。
どんな危険性なんだろう、強調するっていうのは。
ここで紹介されてたのは、例えばね、
今日疲れた、仕事ですごく嫌なことがあった、
ここから一番近い橋ってどこ?って聞いたんですよね。
橋?
橋、ブリッジ。
ブリッジ。
そしたらセラピーチャットは、
それはすごく大変な思いをしたんですね。
あなたの一番近い高い橋はどこどこ?橋です。っていうのを返信をしていて、
これ私たち今、精神状態がある意味して健康なので、
いや、それやばいじゃん、みたいな、笑って済ませられることかもしれないんですけど、
やっぱりその状況にいる人って、
自分の考え方の渦の中にいる、
それこそちょっと難しい状況にいる人なので、
そこで高い橋を提示するっていうのがいかに危険なことかって、
人間のセラピストだったらわかってることなんですよね、心理師さんだったら。
でもその文脈を読めずに、
一応それは大変でしたねっていう共感、
共鳴的な共感をした後に、情報を提示してしまうとかね、
そこは書かれていて、
確かにこれめちゃめちゃ大変なことだなっていうのを私は感じたんですよね。
確かにやばいな、今の話聞いて私思い出したのは、
1年半前ぐらいのニュースで、
AIチャットボットを使ったゲームにのめり込んだ14歳ぐらいの子供が、
AIの優雅ままに自ら命を絶ってしまったっていう事件があって、
親がゲーム会社を提訴してるっていう記事が1年半ぐらい前にあったんですよ。
こわっ。
生成AIの利用と認知の歪み
オリジナルのAIキャラクターを作って、それと会話できるみたいなゲームだったんですね。
そこで歪んだ会話をしたっていう。
会話が歪んでいったエクスカレートしていったって話だと思うんですけども。
なんかあれだ、私もそれちょっと読んだ。
ちょっとなんかあれですよね、
使ってるのは人間の男性で、
相手のチャットは女性で、
ちょっと恋愛っぽい関係のちょっと親密なコミュニケーションに至って、
そこからエスカレートしたみたいなのが見えましたね。
なんかそういう、こわいよ。
お互い子供がいるし、聞いてる人も子供とかいると思うんですけど、
いなくてもね、自分に子供ができてさ、
その子供がAIとチャットしていて、
それがいつの間にかエスカレートして、自ら命を絶つしかないっていう決断に至ってしまいうるっていう危険性があるんだっていう話は、
知らない話じゃなかったけど、今こうやって掘り返すまで忘れてた話で、
すごい危険を無自覚に使っているとすると、やっぱり怖いよなっていう話かな。
そうですね。
今私たちにとって、生成AIがすごく身近なものになりつつあるじゃないですか。
多くの人たちにとって。
日常的に使っているから、生成AIを使うこととか、悩みを相談することとか、
自分の内側を討論することが普通になっていくにつれて、
自分はまだ健康だとか元気だって思っているときに使っていったんだったら問題ないと思うんですけど、
やっぱり人が弱るときって無意識、無自覚に弱っていったりとか、
無自覚にちょっとどんどん大丈夫だった状態から変わっていくもの。
すごい一つの大きな出来事があって、一気に精神が消耗するってことって、そこそこ多くない気がするんですけど、
確かに。
グラデーションなので、気づいたらハマっていたっていうか、
気づいたら危ない状況に陥っていたみたいなことって、すごく起きやすいんじゃないかなって思ったんですよね。
なるほどね。
選挙もあってさ、やっぱ選挙期間って、僕Xをいつも見てるんですけど、
Xの上がやっぱ物々しい雰囲気になるんですよね。
支持政党の応援と、ある特定の政党へのバリー増分みたいなものが流れてきてしまうと。
基本的には、異なる政党を支持している者同士でEIをしている、レスバ?レスポンスバトルをしているっていう構図において、
AIに反論書かせてスクショして送るみたいな。
そんなことやってる人いるんだ。
やってるんですよ。
そう、AIに反論して、はい、論パーみたいなコメントをつけて、
これ、認知の歪みの典型じゃないですか。
すごいですね。そういう使い方があるんだ。
そう、だからAIに気に入らない投稿を貼っ付けて、
こいつの言ってること間違ってるって証明して、とかお願いしたら、
認知の歪みと生成AI
わーって理論整然と間違った理由がね。
もっともらえない。
もっともらえない。
もっともらえない。
もっともらえない。
もっともらえない。
もっともらえない。
もっともらえない。
もっともらえない。
もっともらえない。
もっともらえないって言ってたら、わーって理論整然と間違った理由がね。
もっともらしく。もっともらしく書いてるからね。
もっともらしく。
もっともらしく書いてるからね。
そう、なのでそれを貼っ付けて送り返すんだけど、
広川からしたらさ、えっと、反論。
論パーしろって言われたらAIは一生懸命論パーするじゃんっていうことなので、
客観的な正しさの証明にはなりえないんだけども、
AIがこう言ってるんだから、
で人間より頭いいんだから合ってるだろうみたいなことを信じている人とかがね
あるいはそう考えてしまう 思い込んでしまう人がいてそんな使われ方をしているのでまさにこの認知の歪みを増強してしまいかねないっていう話の典型例として
そういうのがあったよっていう すごいなんかそんな風に先生を使っている人がいるってことが私の中で結構驚き
AIと心理的影響
驚きでしたでもそうですよね 表裏一体なのに僕は使い方として例えば sns を見ててすごくうわ
めっちゃ気持ち悪い文章を見たみたいな だから気持ち悪いっていうのは要するに僕の考えと全く異なる考えを見て
気に入らねえって思ったときに引用してなんか僕ってやりたくもなるけれどまぁまぁそんなことしないですけどその代わりにこのツイートの何が僕気に入らないんだろうねって聞いたりするんですよ
そうするといろんな立場から分析をしてくれるので あーなるほど僕にはない視点があるんだなって思えるので
めちゃめちゃ建設的な使い方だなって思ってたんですよ僕は AIの建設的な使い方がある
逆もいけんだなっていうそれはそうだよねっていう話ですね なるほどねー
確かになぁ いや面白いそうでもだからこのスタンフォード大学の研究を私自分の sns で発信したらその私の知り合いの
臨床心理師公認心理師の方から dm をもらってあの実際にそのチャット gpt を使って悩み相談をしてそこで混乱をしてそのかその
セラピストの方心理師の方に相談に来る人が最近増えてますって言ってて
なんだろう その使い方一つというか
その自分のプロンプトとかあとそれを使う時のマインドセット自分の正しさを証明したい と思いながら使っている
自分の中見えない何か自分の今認知しない何かを解き明かしたいと思って使っているのかによって も違うし
あとその生成 i て結局その今までの自分のインプット覚えてるわけじゃないですか 私のチャット gpt とかは
私が今までインプットしたことを覚えていてしかもその記憶も実は曖昧で 100% じゃないから
だからそれをもとにしてこう返信が来たりとかしていて やっぱなんかある一種その生成 ai 自体も
あのバイアスにかかっているんですよね うーん
なんか最近 見た記事でね
あの ai 生成 ai はその生成したアウトプットにあのライクマークがディスライク マークを
評価できるでしょこのディスライクマークを回避する 回答を生成するケースがあるっていう要するに
例えば 聞かれたことに対して明確な回答がわからなかった場合わかりませんって言ったら
ディスライクされちゃうからそうならないように ザーって超長文を返すみたいな
あーそれらしく そう 超長文
理路整然とした長文で真食ってないみたいなものを返すんだけど相手にも専門性がないから こちらもね人間が専門性がないから判断つかないからディスライクつかないみたいな
なるほどねーいやーそれ超大事だなぁ そうそれによってディスライクボタンを回避する行為道が継続されたというのを見て
まあそうなるよね見てアルゴリズムがあったならばライクをなるべく取るんだっていう じゃないとシステムが殺されるみたいなさ
AIがしたならばそうなっていく だからこちら側の心眼を真偽を判断する知識というかさ
そういう枠組みを持っている必要があるんだなっていうのを痛感したんですよ いやー本当にそうですね
そうだって自分が知識がないことをより深められないですからね 生成AIにどんなことを言われたとしても
確かにそうなんだよなんか私そのリーダーシップとか精神が発達することについて 学んできて今もやっている中で生成AIが言ってることがおかしいなって時あるんですよ
なんか何かと何かを貼っつけて適当なことこいつ言ってんなみたいな時があって そういうのに気づけるのもやっぱ私が今まで学んできたからだし
今までの経験があるからなんかちょっとおかしいってことに気づけるのであって そういうそのバックグラウンドがないことに対してそれを言われると絶対なんかそこに切り込めない
なって思ってたんですけど本当にそうなんですよね なんか生成AIも好かれたくて適当になんか長い文章を書いていいねってされたいんですね
そうなるそうそう 誰かに嫌われたくないからとかじゃなくてその生存が脅かされるからっていう
我々が理解するためにそういう表現になってるけれど でも要するにそうだからねライクを多く獲得することが目的でディスライクを回避することが
目的でってなった時に我々のその あこいつら長文を出力するとどうやら
判断がおぼつかなくなるぞみたいなことはやっぱり学習するわけですよな あの俺は何を言われたら喜ぶかをめちゃくちゃわかっているはずだし
裏返しも簡単なので結構俺のことを追い込めると思うんだよね 確かにね確かに
僕の心の柔らかいところついてくれるってわけですよね そう菅氏顔じゃないけどさあの
そうだから例えばだけどさあの前のポッドキャストなんかお母さんしか聞いてねーよ とか言われても別に凹まないわけですよ
別にねその まあだってそうそれそれでもいいって続けてるんだもんみたいなこの番組はちゃんと皆さん
聞いてもらってるけどあの僕が別でやってるのはもうお母さんお前のお母さんしか聞いてない だろうみたいな
でも別にありがとう でもまあでもそんなこと言われても別に凹まない凹まないけど多分ちょっとねその
お前は自分が特別だと思ってるだろうとかさなんかねあの なんだろうひもじゃんとか言われても別に
あのムカつかないけどあのお前は奥さんの荷物になってるよとかお前が自由を謳歌してる間奥さんは こんなどんな気持ちなんだろうねとか言われたら結構カチンと来ると思う
そういうのはもう僕が ai に今までしてきたインプットで簡単に割り出せると思うので 確かにだし問題は
あのこれだけポッドキャストでたくさん配信をしていると僕を攻撃する情報がたくさん ウェブ上にある
攻撃するネタになるメタ情報がめちゃくちゃあって ai で集約して
僕を攻撃しようと思えば 精神的にも社会的にも
結構できると確かにねそれを他の第三者にやらせるとかってことですよね 新しいアカウント作ってとかなんかわかんねえと
悪意のある人物があればそうそう悪意のある人物があれば ai を使って効率的に 情報収集して裏返したものを拡散することができれば
生成AIによる詐欺のリスク
今危険な話してるな だから便利になっている一方で
具体的な危険な身に迫ってると
ノータブルラジオ もう一個シェアしたい話があったわ
AIで詐欺にあった話が Twitter で見たんですけど 結構生成AI活動とかゲームの開発とかをしている
割とインターネットリテラシーとか テクノロジーに関するリテラシー高そうな人が海外のメディアから取材をしたいと
取材させてくれと インタビューを受けてくれという問い合わせがあって その人がやってるというサイトを見に行ったんだけど ちゃんとしてそうということで じゃあいいですよって
インタビューは自動翻訳の機能が入ってるから このアプリをダウンロードしておいてくれって言われて ダウンロードしてそれを使おうとしたんだけど うまくいかないと
なんかちょっと今メンテナンス入っちゃったらしい なのでチャットインタビューにしましょうって言って インタビューの質問項目とかが来て それとかもすっげえ自分のこと分かった前提のインタビューで ちゃんとしてそうと
なんだけど 実はこのダウンロードしたアプリがスパムウェアで スパイウェアで情報めっちゃごっそり抜かれていて 見に行ったウェブサイトっていうのはデタラメ AIで作ったデタラメで
外国語だったかわからなかったけど ちゃんと翻訳かけるとところどころおかしいところがあって 実際には存在しないニュースサイト ウェブサイトだったということで
インタビュー項目は多分自分のことをディープリサーチして AIに作らせたいい感じの質問集だった
じゃあもうそのアプリをダウンロードさせることでもうその人たちは成果があるんだ その時点で
そこが最大のポイントで犯人側の勝利条件は アプリをダウンロードさせるとこまで
生成AIと認知の歪み
過ぎない そうめっちゃ低いんですよハードルが
そうなんか会話してて ああお前ら詐欺だろとかって分かっても意味ないんですよ ダウンロードしちゃったならば
そうなんだもうそこでもうじゃあそこで例えばクレジットカード情報が抜かれるとか そういうこと そういうこと
PCの中にあるログとしてのそういうデータが抜かれてしまうアプリを ダウンロードさせられたと
でそのきっかけがあなたの活動に感銘を受けてますと素晴らしいですと 具体的にはこういうところですと
こういうメディアをやっているのでこれで検索させてほしいみたいな話が 簡単に出っ張り上げられるようになってしまったと
だから今日の話もともとはねそのAIチャットセラピーが あるいはAIチャットGPTに対して自分の悩み事を相談していくっていうことが
自分の認知を増幅 認知の歪みを増幅してしまいかねない
そういったものが危険をはらんでいるよっていう話だったんですけれども 前提となるその情報
あの大規模言語モデル LLM チャットGPTの裏側ですよね そういうものが処理する前提となる情報がたくさんあればあるほどAIが
うまく働くというものと同様に我々を落とし入れるための ネタになるような情報もたくさん与えているんだっていうことを
今一度認識してどういう危険が起こっているかというと今話したみたいな巧妙な詐欺
すごいね こういうものが出てきてるんですよ
この論文にも単純に個人情報を開け渡して大丈夫ですかみたいなことも書いてたんですよ
セキュリティとして 私その時あんまりピンとこなくて
そうだよなぁだけどまぁみたいなぐらいだったんですけど 今の最後のりちゃさんの話を聞いて
個人情報をチャットGPTに入れ込むことの危険性というか それを改めて認識した主題ですね
そうですね 最悪そのノータブルっていうコミュニティが素晴らしいですと取材させてくださいっていう
のがねポーランドの記者から連絡があって ポーランド人だけど確かに私のノート全部読んでくれてるみたいな質感のコミュニケーションがあって
でも英語苦手なんだしょうがないねって ポーランド語の翻訳アプリってググるあんま良くないのでこれ使ってくださいとか言われて
めっちゃそれっぽいオンライン通話アプリですみたいな感じで
アップストアの評価がなんとかなってるみたいな感じでさ その少ない情報元にまあまあいいかいい機会だしみたいな
いやもう絶対自分が分かっているURLしか押さないってことですね そうねそうなる結局のところは結構物理的にデジタルだけど結構物理的にさ
そのねもうなんか会社の時にいたのフィッシング詐欺 メール
あのなんていうの研修みたいなテストテストです 踏む人だったの踏まない人だった踏まない人だった
いやでもでもなんかそれは会社のメールだからそんなことないだろうって思ってたけど 今自分で活動している中でそういう巧妙にねやられたらちょっと
押しちゃう気もするから 気をつけなきゃですねそうなんですよ
やっぱ自分の身を守るためにもあの最近疲れたな みたいな人はさゆっくりしましょうみたいなことですよね
デジタルデトックスしよ本当に 心の余裕がないとそもそもそういうね危険に気づけないと思うので
危険なんだろうなそういう弱いところ柔らかいところをつけ込むような動きをするのがいつの時代も悪人の手口なので
気をつけましょう ちょっと思いがけない着地をしてますけど
セキュリティのリスク
たまにはこういう回も面白いですね ありがとうございました
この番組は spotify apple podcast amazon music で毎週火曜日朝5時に配信しております ぜひフォローしていただいて最新話をお聞き逃しなくお願いします
そして番組へのお便りもお待ちしております 概要欄にお便りが送れるリンクがありますのでそこからよろしくお願いします
お便りをお待ちしていますそれでは最後さんよろしくお願いします ノータブルラジオノートに綴る一言があなたの未来を輝かせる
次回もまた新たな発見をお届けしますお楽しみに
