ドーパミンと現代人の関係
レンさん、ドーパミン出てますか?
ドーパミンはドバドバですね。
それもやばいと思うけどな。
いや、現代人、ドーパミンドバドバでしょ。
確かに、あれね、スクロールしてね。
スクロールして、ショート動画とか見ちゃってさ。
確かに確かに。
ドーパミン付けでしょ。
それは言えてますね。
ドーパミン付けに疲れた人たちが、ポッドキャストとか聞くようになると思ってる。
なるほど。
そんな出ない?
いや、出るって言って欲しいけどな、そこは。
いやいや、疲れた脳に癒しを届けるポッドキャストじゃないですか、これ。
そうでした。はい、その通りです。
皆さんの疲れた脳に、デフォルトモードではないですけど、癒しを与える、そんな時間にしたいと。
デフォルトモードね。
はい、ということで、今言ってくれた依存の方じゃないんですけど、
今日は、前にニューラルネットワークの時に話した誤差電波学習法っていう方法で、
AIが学習してますっていう話をしたんですけど、
その時にレンさんが、人はそういうのないのって聞いてくれたんですけど、
あるよってちょっと喋ってたんですけど、
その人バージョンですね、報酬予測誤差ってところの話がありまして、
それに関わったのが、ドーパミンなんですけど。
なるほどね、全然まずちょっと単語を忘れてる可能性が高いけど、
なんだっけそれと思うけど、
AIの話から逆に脳の話するってこと?
はい、逆に脳の話していきたいと思ってます。
ということで、今日は報酬予測誤差についてパカッとしたいと思います。
お願いします。
皆さんこんにちは、脳に詳しい研究者のリリです。
ドーパミンが止まらないレンです。
もうやばいやばい。
ごめん、何か言わなきゃと思った。
そうじゃないことを願いますけど、
脳パカラジオは脳の不思議、皆さんの疑問をパカッとするラジオです。
ドーパミンはそんなに出ないかもしれません。
はい、出さないでください。
いや出した、適度に出してください。
適度に出してください、はい。
報酬予測誤差の学習メカニズム
はい、ということで今日は報酬の学習に関わっているところですね、人の報酬予測誤差についてやりたいと思います。
はい、ではレンさん問題です。
はい。
報酬予測誤差とは。
いや、どちょっきゅうだな、質問が。
報酬予測誤差。
えっと、前のAIの話でも、それも報酬予測誤差でしたっけ?
いや、あれは予測誤差、違う、誤差伝播学習法です。
あ、誤差伝播学習法。
そもそもだから予測誤差は、もともとそのまんまだけど、もともと何か予測してて、
その答え合わせみたいなのをしたときにどんだけ合ってましたかっていう、逆向きの流れよね、たぶん。
の誤差よね、予測誤差。
はい、もうそうです、それです。
え、報酬は?報酬予測誤差。
あー、あ、そっか、報酬に引っかかってます?
うん、え、報酬は何なの?
あ、そうですか、なるほど、失礼しました。
じゃあまず報酬系からやります。
報酬系、ま、ざっくりでいいけど、要はあれ?脳を興奮させるような物質が報酬ってことですか?
そうですね、カイの感情を抱く、ま、気候ですね。
あー、カイ、カイカンのカイね。
カイカンのカイですね、えっと。
それこそドーパミンとか。
あ、そうそうそう、その場所で言うと脳の首根っこあたりぐらいのところにある中の黒質っていうところが中心になる脳の気候なんですけど、
ドーパミンがそれを制御してるって言われております。
なるほどね、ってことは報酬予測誤差はそのドーパミンがどんぐらい出るかみたいな予想の誤差?
違いまーす。
いや、無茶すぎた、ごめんね。
おー、え、なんかその繋がりがどうなっているのかわかってないわ。
そうですね、まず大前提、もうちょっと報酬に、経緯について話しますけど、
中の黒質ってところが一番最初の起点で、そこからドーパミン出して絶対を制御してるんですけど、その中で戦状体って呼ばれる場所があります。
戦状体ね、はい。
そこは報酬の学習をして、こういう行動をしたらこういう報酬がもらえるみたいな学習をして、行動を変えていくっていう場所で。
あー、だからより快感のある方に行くみたいなそういうことですか。
そうね、そんな感じですね。
スマホ気になったら見ちゃうとかそういう。
わかんない、それ違うかな。
ちょっとスマホはね、あれなんだけど、今の報酬予測誤差っていうのは、報酬を学習するときに自分が予想してた報酬-実際の報酬イコール報酬予測誤差っていうことなんですけど、
そこの誤差を使って学習していくんで、っていうところに使われているっていうイメージです。
誤差で学習してるのね、だからどんだけ出たかみたいな絶対値みたいなことではない。
報酬が、そういうことじゃないですね。誤差で学習していくっていう話ですね。
例えばどういうことなんだ、報酬予測と実測っていうのは。
例えば、まず一番最初はまっさらで何もなくて、なんだろうな、例えば実験的なところで言うと、お猿さんにバナナあげるじゃないですか。
バナナあげるときに一緒に音を鳴らすじゃないですか。
ピーって言ったらバナナがもらえるっていうのを繰り返すと、ピーってなったらバナナもらえるっていう学習が成立しますよね。
なんですけど、ピーってなったけど、鳴ったときにもらえるって予測するじゃないですか。
しますね。
予測できるようになったけど、例えばもらえなかったとするじゃないですか。
この現実と予測の差が予測誤算っていう感じです。
なるほど、だからピーってなって絶対もらえてたやつがもらえないときもあるっていう、それが学習ってことね。
そうですね、それも学習です。
そうやって行動を変えていくっていうのが報酬学習になるわけですけど。
なるほど。
伝わりました?
伝わりました。
この誤差を司っている、誤差というか、報酬予測に誤差があったよっていうのをシグナルにしてくれてるのが、中脳のドーパミンニューロンなんですよ。
センサー的な。
なので、例えばさっき言ったバナナの話ありましたけど、バナナあげるとドパミン神経が活動するんですけど、さっき言ったピーっていう音だけでも学習がちゃんと成立してたらドパミン神経発火するんですよ。
そうだよね、期待しちゃうもんね。
なんですけど、予測に反してもらえなかったりするとドパミン神経の発火が弱まるらしくて、だからつまりそこの中脳のドパミン神経が報酬予測誤差を表現してるっていう感じで、シグナルを司っているって感じですね。
で、結局そういう誤差を学習して最終的にその行動が変わってくるっていうのが大事なんですけど。
まあそうだよね、もしかしたらピーって鳴ってもわざわざ毎回反応しなくてもいいんじゃないかとか。
そうそうそうそう。
そういう学習ですよね。
その学習自体は腺状態ってところで起きるんですけど、この中脳のドパミン神経がちゃんと腺状態に行ってて、どう運動するかみたいな運動系の情報も同じように腺状態に入ってきてて、
腺状態でそれが統合されて最終的な行動の選択に至るという流れだそうです。
なるほどね、ここで誤差判別するんだ。まあ確かにAIでもありそうな感じだね。
うんうんうん、まさにそういう感じです。
というのが報酬学習の機構ですね。
で、このちょっと計算神器とかがいろいろあるんですけど、この原理っていうのがすごい計算効率がいいらしくて、すごい強力なんで、前に話した人工知能のアルゴリズムにも応用されているらしいです。
AIだとね、でもそっか、実際の生物でもやっぱ学習ってそういうところで統合してやった方がきっと効率がいいから、そうなってるんだよね、調べようがないけど。
うんうん、調べようがない。
動物実験と報酬系の進化
そうなんですよね、どうなんだろうな。ちょっとこの誤差学習までは一緒かわかんないんですけど、報酬系自体はめちゃくちゃ古い脳の構造というか、昔からあるで、脳の真ん中の方にあるんですけど、だから魚…
ああ、古いってそういうことか。
そうそうそう、進化的に古いんで、だから魚とか哺乳類かなり共通点が多いんですけど。
うんうんうん、なんか反射っぽい感じするもんな。
そういう、いわゆる下等って言ったらいいのかな、樹形図的な生物とも共通してるんですけど、ただ人間だけちょっとすごい特殊な、ちょっと進化して、
人間同士の共感性とか、パートナーの愛情とか、そういう社会的な報酬みたいなのを、より他の生物よりすぐ感じるようにできてるらしくて、っていう違いはあるみたいですね。
ちょっと報酬系の話ですけど。
まあまあでもそれはそうか、人間だいぶ特殊だもんな。
うんうんうん、結構報酬系の話はいろいろ研究されてるんですけど、
うん、研究しやすそうだもん、なんか。
そうだね、みんな興味もあるし、研究しやすいのも多分あるんですけど、なんか見てたら、働いた後にビールがうまくなる現象みたいなのを、こう、解明しましたみたいなのがあって、
いやでも結構、なんか当たり前の話な部分もあるんですけど、やっぱり、ちゃんとこう、頑張って得た報酬の方が、何もせずに得た報酬よりも、すごい主観的な価値が大きくなって、価値は相対的だよねっていうのがわかったっていう研究なんですけど。
ああまあまあ、そりゃそうだって感じだね。
そりゃそうだけど、それ脳の中を調べてもやっぱりこう、強く反応が出るみたいな、そういう話。
そうそうそう、これ猿を使ったやつですけど、そうなんですよ。
猿、猿でどうやって仕事終わりのビール再現するのかよくわかんないけど。
いや、仕事終わりのは、難しいタスクをした時と、簡単な時とで、同じ報酬を与えた時にっていう感じで、やったってだけでビールをあげたわけではない。
いやまあまあそうだけど、結構気になるなと思って、仕事終わりのビールは猿にとっては何に相当するだろうと思って。
何やった後のバナナとかなんだよ。
ちょっとそこまではわからない。
難しいタスクか、なんかパズルとかやらせんのかな。何なんだろう。
なんかあの、よくあるのはなんか、最初はちゃんとあんまり理解してないんですけど、GO!NO!GO!タスクみたいなのがあって、こう、何だったかな。
何だそれ、GO!NO!GO!
忘れちゃった。とりあえずあの、テレビ画面とかに何か映し出してた時にボタンを押して答えたりするやつなんですけど。
あー。うんうんうん。
まあまあでもなんかこういうのは主観とだいたい合ってるよな、それは。
確かに。で、あとなんかハイコストの方が学習効果が高いみたいなのもこれでわかったみたいですけど。
ハイコストってどういうこと?
心理的負荷と学習
大変なって意味かな。何ていうか苦労したって言ったらいいの?負荷がかかってる状態って言ったらいいのかな。
あーまあでもそれも体感あるね。
あるね。
教科書読むだけより問題集解いた方がいいみたいな、そっちの方が負荷がかかって覚えるとかそういう感じかな。
まあでもそういう負荷か。なんか個人的に心理的負荷かと思ったけど、でも。
あー心理的負荷?まあテスト前日とかの心理的負荷だったらかけれるけどな、たぶん。
追い詰められた方が。
まあやるって感じじゃない?
やるって意味では学習効果が高いかわかんないけど、学習効率は上がる気がする。
まあ効率は確かに上がりそうだな。
っていうのがあります。
当たり前すぎて。
そう、でもまあ証明するのは確かに難しい。
まあそうか、その証拠を出せって言われてもね。結構個人の感覚だもんな。
うん。みんな共通して思ってるけど。
なるほどね。それを意図的に刺激したら本当にやばそうだな。その報酬系とか。
結構麻薬とかそういう系なんじゃないのって思うよね。
あ、でもうんうん。体の中でもその麻薬の成分みたいなもともと持ってて出るんですけど、この辺で出してるんでそういうのも。
そうだよね。同じところ刺激してるよねきっと。
なのでまあ依存とかも確かに関係してきちゃうってですね。
あー依存とかありそう。
報酬の話になってきちゃった。
で、なんだっけ。結局報酬の誤差を調べる機構があるよっていうことね。言いたいのは。
あ、そうですそうです。そうなんです。で、なんかこれ、さっき、さっきじゃない。前回赤ちゃんの話、赤ちゃんというか子供の話しましたけど、
子供が予測できるものと自分で動かせるようなものを好むみたいな話がありましたけど、
で、真似っこして、その動きの微妙に自分の動きとの違いで、自分の予測から外れる相手の動きとかを見て、だんだん自分と他人を区別できるようになるみたいな話がありましたけど。
それも誤差か。
あ、そうそう。これも誤差なんですよ。で、どんどん誤差学習していくっていうのもあるんですけど、
確かに。
で、前回レンさんがそのちっちゃい子に参加してもらってやった実験の話とかをしてくれましたけど、
ここでもちょっとあって、これもちょっと簡単なんですけど、プレイの上にポイントライトみたいなのを映して、
で、赤ちゃんの動きに合わせて動くものとそうじゃないもの、つまり自分で制御できるものと制御できないものを両方見せたときに、
赤ちゃんもどっちが自分が制御できてるかみたいなのを分かるらしくて、7ヶ月とかでも。
その時点で結構予測を使って生きてるという。
そっか、それも誤差か。だから大体誤差で学習してるんだな、そう考えると。
そうね、それでどんどん更新して。
ドーパミン報酬予測誤差の仮説
なるほどね、言われてみればそうか。
はい、そうなんです。っていう感じなんですけど、誤差の話を今してたんですけど、
まあ予測誤差って最初言いましたけど、正式にちゃんと言うとドーパミン報酬予測誤差仮説みたいな話なんですけど、
これいわゆるニューラルネットワークで言う誤差伝播学習法で言うと、重みを学習するための話だったと思うんですけど。
重みね、AかBかの選択肢でどんだけAに行きやすいかみたいな、そういう重みね。
そうね、どんだけAを重要と考えるかみたいな、っていうそういう重みですね。
そこの重みを学習するために、人の報酬学習をニューラルネットワークにまた置き換えて考えると、
このドーパミンの報酬の予測誤差の仮説っていうのは、重みを学習するところの話に当てはまるって考えることができてたんですけど、
ちょっと最近なのかな、最近か。
最近、そもそもこの入ってくる入力自体の全体を学習してるんじゃないか、
ドーパミンで学習してるんじゃないかみたいな話が出てきてるらしくて。
どういうこと?全体を学習してる?これAIじゃなくて生き物の方ね。
生き物の方ね。たぶんこの場合は、たぶんニューラルネットワークの考え方をした方がいいと思うんですけど、
重みを学習してるって思ってたんですけど、じゃなくて、そもそも元の入力の部分、もっと大きい情報を学習してたっていう仮説が出てきてるらしくて。
入力の中に強さとかそういう、なんだろう。
ここで言うと構造っていう言い方をしてるんですけど。
構造。
ちょっとあんまり深掘りできてないんですけど。
だからその入力自体がどういう構造をしてて、どういう中身なのかみたいなところを学習しに行ってるっていう話らしいです。
これ以上はわかりません。
え、むずいな、なんかそれ。
急に難しくなったの。
だから、シグナル自体に何か性質があるってこと?
おそらく。それを学習しに行ってるんじゃないかみたいな。学習する機能があるんじゃないかっていう。
え、じゃあ同じドーパミンでも受け取り方が違うと入力も違うみたいなそういうこと?
受け取り方が違うと入力も違う。
なんていうの?ドーパミンが何かにくっついてシグナルが出ますっていうのが入力でしょ?
うん。
だからその時点でも何か情報を持ってるっていうこと?このそもそも学習するっていうのは。
この仮説自体が生物学的な話から出てきたのか、計算論的な話から出てきたのかっていうと多分計算論的な方だと思って。
え、計算の話?
結局神経科学を計算で解明しようみたいなのがあるんですけど。
ああ、そういうことね、そういう話か。
あんまり違ったらごめんなさい。生物学的なところまで落ちてないような気がしてるんですけど。
ああ、だから人間の脳を機械学習みたいなものに置き換えるというか、模倣したときに起きてることを解明しに行ってるってことか今。
多分そういうモデル神経活動とかを数式に落とし込んでモデリングしたときに、
もともとそのドーパミンの報酬予測誤差仮説で重みだけ学習するような形だと思ってたけど、
入ってくる入力自体の予測っていうか、学習するような形になってたっていう感じなのかなと思ってますけど。
ああ、だからAIの計算してる過程がブラックボックスですよっていうのとは、それよりさらに前ってことか入力ってことか。
あ、そうそう、その入ってくるもの自体を学習してるっていう話なのではっていう仮説が出てるっていう話で。
ちょっとごめんなさい、ここは勉強不足なので。
むずいなこれ。
ちょっとごめんなさい、予測予測って言うからあれだったんですけど、もう一個の方の話、今言った話は、
ドーパミン報酬構造学習仮説ってやつなので、予測はちょっと一旦置いといて、
学習する構造
そもそも入ってくる報酬の入力自体を学習してるっていう仮説なんで、予測はごめん、置いといてもらえると。
そっか、だからもしかしたらどっちもあるかもみたいなことか。
入力自体の報酬のところもあるし、逆に出てきた誤差もさらに学習してるみたいなってこと?
あ、そうそう、たぶん。
あー、なるほどね。なんとなくわかった。
そういう仕組みがあるんだっていう。学習って言ってもだから全部誤差だけじゃないよってことだ。
うん。難しいですね。
いやー、前回の…前回じゃないわ。お便りでね、ちょっと難しすぎましたって。
え?
ニューラルネットワーク会。
あ、そう?
申し訳ございません。あのー、なんだっけな。ちょっと話が…
あー、結構難しいよな。
あのー、重みの計算の仕方がよくわからないだと。
うーん、うんうん。それは俺もよくわからない。
数式というか方法はいろいろとあるんですが、頑張って解説できるようにしたいと思っております。
はい、おいおいですけれども。
うん、それはおいおいね。
でも結構メジャーな研究領域ってことか?そういう脳の動きを数式化して、こう、AI側から研究するみたいなアプローチが結構やられてるってことだよね。
いや、めっちゃやられてますよ。計算論的神経科学的な。
うーん。
最近どうなんだろうな。人工的に脳を作ろうみたいなのをバイオ的に作るんじゃなくて、
計算というか数学的に作ろうっていうのと、たぶん逆に神経を模倣することで効率的なAIとかみたいなのを作ろうみたいなのとかがあるんですけど、
計算の時神経科学みたいなのは、シミュレーションというか。
あー、そうだね。シミュレーションだよな、言ったら。
計算で脳をシミュレーションして、病気のメカニズムを解明したりとか、製薬会社とかだと薬の効果予測したりとか。
あー、なるほどね。
はい、そういうのに使ってるやつですね。
面白いな、それ使えるって。
うん、面白いね。
まあまあ、でも学習のシステムとして報酬誤差みたいなのがあるっていうのはわかりましたね。
はい。
今回の目的それであってます?
はい、今日の目的はそうです。そこを理解していただければ、ただ今日の目標を達成しております。
なるほどね。まあそういう学習があるから、より難しいタスクができるわけですね、我々。
はい、そうですね。というかこれはどうだろうな、やる気に関わってくるような気もしますけど。
やる気?あー、やる気ね。報酬だからやる気か、そっか。
またモチベーションの話をね、していこうかなと思ってますけど。
うん、まあ仕事終わりのビールの良さみたいなのをいろんな角度から話していけばいいんじゃないですか。わかんないか。
じゃあ、仕事終わりの、お酒飲めない人向けには?
お酒飲めない人向けの、こう気持ちいいみたいなやつ?
あ、そうそうそうそう。
なんだろうね、俺なんかさっきからこう誤差が誤差がっていうからさ、なんて言うんだろう、サイゼリアにあるめっちゃ難しい間違い探しのやつとか思い浮かべてたんだけど。
え、何それ知らない。
え、知らないの?知らない。
サイゼリアといえば間違い探しでしょ。
え、知らない。
まじで。
まじ。
激ムズの間違い探し置いてありますよ、サイゼリアの関に。
最近行ってないからあるかな、わかんないけど、まじでめっちゃ難しい間違い探しが置いてあって。
わからないの?
うん、超細かい間違い探しなんだよ。あと一個わかんねえみたいなの結構多い。
毎回あれ、僕全力で取り組むんですけど。
素晴らしい。
そういうのもだから誤差修正して学習して間違い探しができるようになってるみたいなとこもあるじゃん。
なんか違う気がする。
違う誤差だな。
ちょっと違う誤差だけどね、それは。
サイゼリア行く機会があったらあるかな。
ぜひ行ってみてください。安いんで。
あんま見かけない気がするんですけど、見かけます?あれ?
あるよ、サイゼリアいっぱい。
注意しました。
報酬予測誤差の重要性
ということで、今日はニューラルネットワークから派生した人の報酬予測誤差についてやりました。
いかがでしたか?
今回も結構難しかったけど、こういうワードの積み重ねでしょう。
たぶん報酬系なんていろんなやつに関わってるよね。
うん、関わりまくりです。
結構重要なとこだから、そういうシステムがあるんだっていうのを知っておくだけでもいいんじゃないですか。
そして、そこからやっぱりコントロールする方法を学んでいきたいみたいなところがありますよね。
報酬を?
報酬系に支配されすぎないっていうのが大事じゃないですか。
あー、確かに確かに。
最初に言ったドーパミン付け生活じゃないけど、適度に脳を休ませるみたいなのが必要っていうのも最初の回でやりましたし。
あー、やりましたね。とても大事です。
これ結構大事ですよね。
寝込んでたんですけど、年末にし、意図せずスマホ立ちができたんですけど。
おー、いいじゃん。
そういう手もありますよね。
デジタルデトックスね。
私は使わなくてもソワソワしたりみたいなのあんまりないんですけど、あります?レンさん。
いやー、ずっと何か見たり聞いたりしちゃってるから。
あー、そっか。
そう、ボットキャストずっとつけとくとかさ、YouTubeずっとつけとくとか。
あー、そうなんだ。
なんかやりながらとかね。
やっちゃうんで、よくないなーって思って。
最近あの、瞑想してますね、たまに。
本で読んだんで、瞑想がいいって書いてたんで、ちょっと7分ぐらい瞑想したらいいらしいです、1日。
そうですね、瞑想良いですよ。なんか瞑想の研究が確かあったんですよ、脳科学生の。
まあまあ、それ自体いいっていうのもあるし、多分こう、報酬系に踊らされすぎないみたいなのも多分いいんかなって。
そういう時間作るのはいいのかなって。
おお、素晴らしい。
気はしますよね。
大事です。
はい、まあこれはもういろんなビジネス書の受け売りでしかないんだけど。
最近なんか本読んだりして、世界の一流の休日の過ごし方みたいな本読んで、それにも書いてました。
やばいな、世界の一流だ。
いや、面白いよ。めちゃめちゃ面白いよ。
いやでも私も読んだことある。なんだっけな、世界の一流の人の習慣を上げていくみたいな。
ああそうそう、ありますよね。いくらでもあるよね。
確かに。
そう、ちょっとこの間飛行機で暇だったんで、Kindleでいろんな本ダウンロードしてひたすら読んでたんだけど。
それ、いや別に全然悪いことじゃないんですけど、そもそもそれもデジタルデバイスだなと思っただけです。
いやそうなんだよね。だからダメじゃんと思って。
まあでも別にしょうがないよね。
しょうがない。
そこから改善していけばいい話。
はい、脱線しましたけど。
まあなんで、その学習のシステムの一つとして学びました。報酬予測誤差を。
はい、よかったです。今度はね、やる気のところとかね、やりたいと思ってるんで。
デジタルデトックスと瞑想
ぜひ。
はい。
えーと、いかがだったでしょうか。毎度のことながらお便りを募集しております。
やる気のところの質問とかね、なんかあったらぜひ。
確かに。
送ってほしいし、まあなんでもいいですけど、脳に関する質問があればぜひ聞いてみてください。
まあ具体的に質問した方が答えてくれるっていうことですかね。答えやすいってとこあるよね。
そうですね、なんかどの辺が聞きたいかとかちょっとわかんないと外しちゃう場合もあるんで。
うん、そうね、っていうこともあるんで、ぜひそういうのはお便りだったり、SNSだったりにコメントをいただけるとありがたいです。
ハッシュタグのオパ科で見てますんで。
ってことでコメントもなり感想なりもお待ちしております。
よろしくお願いします。
今日はこれで終わります。ありがとうございました。
ありがとうございました。
