マガーグ効果の実験
もちこさん、突然なんですけど、今日は実験から入りたいと思います。 そのYouTubeの動画をまず見て、何の音が聞こえるか、ちょっと聞いてみてください。
バーバー、バーバー、バーバー。
はい。何て言ってると思います?
ダーダーですね。
ダーダーって言ってるように聞こえました?
はい。
わかりました。では、今度は目を閉じて、もう一回音声だけでその動画を見てもらえますか?
はい。
バーバー、バーバー、バーバー。
バーバーですかね?
バーの音に聞こえますよね?
聞こえますね。
はい。実はこの映像すごく面白くて、バーって言ってる音声に対して、ガーって言う。
ほう。
要はBAの音の発音に対してGAの映像、GAを発音している映像を当ててるんですね。
へー。
で、もち子さん最初に何て言いました?この音。
ダー?
ダダと思ったって言いましたよね?
はい。
つまり我々、耳で音を聞いてるんじゃないんです。
目で音を聞いてるんです。
というのが今日のテーマです。
はい。
Welcome to Deep Structure Radio。この番組は言語学者のケイト。
アシスタントのもち子が。
言語学の面白さを広めるべく、私たちが普段何気なく使っている言葉について、
言語学という特殊なレンズを通じて面白おかしく語っていく番組です。
今回は先ほどご覧いただいたマクガーグエフェクト。
マガーグエフェクトっていう方が日本語では多いかな。
についてお話ししていきたいと思います。
それでは今日も言語の深層へ潜っていきましょう。
はい。ということで、101号室の言語学のお時間です。
今日はね、先ほど言ったマガーグエフェクト。
英語で言うとマックガーグ、マックガーグなんですけど、
日本語にするときはマガーグエ効果とかって言われたりしますね。
BA・DA・GAの発音と第三の音
これは先ほど体験していただいたのでわかると思うんですけど、
口の動きに音声の知覚が引っ張られるっていうお話です。
一般に皆さん音声を聞いているとき、人の話を聞いているときって
音だけで聞こえていると思ってませんか?っていう話なんですけど、
実はこの見えている情報っていうのを結構うまく活用してるんですよね。
それを最初に提示したのがこのマックガーグのマクドナルドさんの1976年
Hearing Lips and Seeing Voices
唇を聞いて声を見るっていうタイトルの
いいタイトルですね。
いいタイトルですよね。論文で最初に提示されていて、
これが元でマクガーグ効果というふうに呼ばれるようになった現象です。
4種類あんねんとかの回でも何回かやってて、そのうちIPA回撮りたいねって話はずっとしてるんですけど、
これも結構IPAの話が少しかかってきます。
まず前提としてこの番組でも何回かご紹介していると思うんですけど、
シーンっていうのは基本的に超音点、どこを狭めるか、どこでコンタクトを作るかっていうのと、
超音波、息の流れをどういうふうに止めるかっていうのと、
あと優勢性、声帯が震えてるかいなかっていうその3要素で整理できるわけですよね。
さっき迷っていたバとダとガっていうのは全部優勢のシーンなんですよ。
声帯が震える音ね。
そうですね。
バが両親音、唇を閉じて弾く音。
ダは歯茎音、上の歯茎と歯の後ろですね。
舌先がくっついて、それが破裂を起こす音。
ガっていうのは口の奥の方で、軟膏外で破裂を作る音だよっていうのは多分前から聞いてくださってる方はご存知だと思います。
さっきもしこさんに見ていただいた幕開く効果の映像っていうのは、先ほどもちょっと言ったんですけど、
ガの映像にバの音声を合わせてるんですよ。
なので目を閉じて聞いてもらうとバの音が聞こえるのに、映像を見るとなぜかダの音が聞こえるっていうことがあったわけですね。
これ非常に面白いのが、バの音声が聞こえていて、ガの音声が見えてる時、実際に知覚するのはダなんですよね。
要は映像とも音声とも合ってない音を聞いてるんですよ。
第三の音が出てきてますよね。
そうなんですよ。これは何が起きてるかっていうと、発音上は奥の方で発音してそうだなって見えているのに、
聞こえてる音が口の前の方で発音してる音なので、間を取ってダって発音してるんだっていうふうに考えるわけですよ。
どっちも違和感を知覚した結果、間を取った結果、見てもなければ聞いてもない音を回答しちゃうっていうことなんですか?
そうなんです。結構な確率でダって答える人が多いんですよ。
しかも、この効果のことを知ってても、映像を見ながら聞くとダって聞こえちゃうっていう。
心理学の実験とかで、答え知っちゃうと引っかかんないよみたいなのってあったりするじゃないですか。
そういうのが一切ない。
仕込みなしでダに聞こえましたわ。
絶対に引っかかるって言っちゃいけないのが、人間の認知がそういう構造になっているので、
結構目で実は人間音を知覚しているところがあるんだよっていうのを最初に見せてくれた例なんですよね。
さっきちょっと言いそびれたんですけど、バっていうのは両親音だから、唇なんで一番人間が見やすい前の方にあって、
ダっていうのはその間ぐらいですよね。ガっていうのがかなり後ろの方で発音する音なので、口の下の奥が上にくっつく音なので、
ガとダとバっていうのを比べると、バが一番前、ガがかなり後ろ、ダはその中間っていうことになってるわけですよね。
逆に両親音が一番美女で見やすいと思うんですけど、バの映像でガが聞こえてたら逆にしたときもダになるんですか?
それは確かならなかったはずです。
バが勝っちゃうのかな?美女的にバだわみたいな。
確か私の記憶が正しければ、ちょっと後で確認しますけど、バガとかガバって聞く人が多かったはず。
そうなんだ。さすがに引っかからなくなってくる。
引っかからなくなってくるんだと思うんですけど、確かにバガとガバのどっちかになるっていうパターンが。
ダは出てこなくなるんですね。
耳を信じるか目を信じるかで回答が分かれるみたいな。
話になってたはずです。ちょっと後で総数も一回確認しますけど、確かそういうような研究成果があったような気がします。
これしかも面白いのが、見えない声帯の振動っていうのはずっと保ってるわけですよね。
そうですね確かに。
これガっていう映像を見せられてるのにバって聞こえてる段階で、
例えばタとかカとかその声帯が振動しないシーン、クククみたいなシーンと間違うってことはしないんですよ。
だから優生性っていうのはその声帯が振動するかどうかなので、そこの部分はもう絶対に目に見えないわけじゃないですか。
その部分は一切影響されてないっていうのも面白いポイント。
なんか私も一瞬わからなさすぎて生で選択肢にちょっと入ってきたんですけどね。
鼻に引っかかったら、両親じゃないなってなった時に、どっかで引っかかってるなっていうのがわからなさすぎて、
多分ダとナってちょっと似てるかなって思っていて。
一周回ってましたけどね、私なんか多分。
へー、なるほどね。
ナに関しても見えないので、鼻に抜けてるかどうかっていうところは近くしない部分なので、
結構耳に頼りがちなのかなと思うんですけど。
そうですね、揺れてるかみたいなところは譲れないポイントなんだと思います。
そこは間違いないなみたいな感じはあるのかもしれない。
ナの音も優生音ですからね。
また、元の論文でも対象条件を出していて、音だけを聞いた時とか、加工してない映像を見た時はほぼ正確にバとガっていうのは区別できる。
視覚と母語がリスニングに与える影響
だからこのミックスした視覚の情報と耳から入ってきてる音の情報が合ってきてない時にだけ、合ってない時にだけこの間隔効果が現れる。
これの非常に面白かった革新というか、センセーショナルだったところは、音声知覚っていうのはそもそも聴覚だけのプロセスだよねって思われてたのが、実はそうじゃないかも。
人間、目からの情報を結構頼りにしてんじゃない?っていう通説をひっくり返した。
マスクでコロナの時ありましたよね。ここが見えなくなった途端すごい聞こえないみたいな。
しかもこれ母語によっても結構違うって話もあったりとかして、どうもなんかこれも聞きを読んだ話なのであれなんですけど、日本語の母語話者の方が聴覚に依存しがち。だから外語効果は比較的弱いっていう風に言われた
りしてるんですよね。
これ私確かにコロナの時に今言おうと思ってたんですけど、アメリカにいたんですよねコロナの頃ってまだ向こうで大学院生やってた頃だったんで、マスクしながら喋られるとまあ聞き取れない。
難しいですよね。
母語じゃないからっていうこともあるかもしれないんですけど、見えないって結構難しいんだなと思って。
それは結構なんかびっくりした覚えがありますね。なんか日本語はそうでもないなっていうのはなんとなく感覚的にはあるんですけど、母語じゃない英語を話してる時に口元見えない。
あと電話も難しいんですよ。
難しいですね。
電話ってほら音声に加工がかかるじゃないですか多少。それも多分影響してると思うんですけど、やっぱり英語っていうかその第二言語になると突然めちゃくちゃリスニング難しいなっていうのは口元が見えないっていうの
も結構大きいのかななんてことを思ったりしました。
確かに私日本語でもなんとなく自分耳苦手だなって思ってるんですけど、電話とか目つぶって聞いてます。
もう見えないんだったら徹底的に今聞こえる音に専念しなくちゃって思って、
ウェブ会議とかで見えるんだったら見たいんだけれども、電話とか相手がカメラがオフになっていて明らかに音だけでしか仕入れなきゃいけないってなるなら、いっそのこと視覚情報をシャットアウトしよう、他のノイズを
消そうって思って、結構目つぶって電話聞いてる時ありますよ。
なるほどね。そこの情報に集中できるようにってことですね。それもいいアイディアなのかもしれませんね。
とにかく人間思ってる以上に目の情報に頼ってるっていうのがこの幕握効果の面白いところかなと思います。
言葉を聞くとか音を聞くっていうのは耳だけの仕事じゃないんだよっていうのが今回の一つまとめ。
そして幕握効果自体は結構いろんなところで知られてもいるかなと思っていたんですよ。私当初。
この映像を小学生の時、中学生の時にテレビ番組かなんかで見たことがあって。
だから意外と有名かなと思ってたんですけど、もしかしたらこれは全然知らなかった。
知らなかったです。
結構言語学、特に音声知覚、知覚音声学だとか心理言語学の世界では結構有名な話なので、
その意味でもシェアしてみると面白いかなと思って今回お持ちしました。
ということで10154の言語学はここまでなんですが、この後お便りコーナーに行きたいと思います。
そしてそのお便りの内容も非常にこれと関わりのある面白いお便りをいただいたので、ぜひそちらもお聞きください。
ミッドナイトオフィスアワー。
はい、続いてのコーナーはミッドナイトオフィスアワーのコーナーです。
口の動きから発音を学ぶ
このコーナーでは大学のオフィスアワーになぞらえてリスナーの皆さんからの質問にお答えしていくコーナーとなっております。
それでは本日のお便り読みをもち子さんお願いします。
はい、5歳さんからのお便りいただいております。
Kさんもち子さんこんにちは。
こんにちは。
今日は日本語のうんって4種類あんねんの回を聞いて思い出し、共有したいことがあってお便りを書いています。
聴覚障害を持つ方が発音の習得を行う際に、うんには種類があると気づいたとお話をされている動画がYouTubeに投稿されているんです。
南朝ゆか子の挑戦、デフサポチャンネルというチャンネルの方です。
生まれつき南朝で聴覚障害を持つゆか子さんは、話し相手の口の動きを読み、口の動きを覚えて発音を習得し、日常会話をされています。
ゆか子さんは、発音の習得のために口の動きを観察、練習される中で、文や単語によってうんの音、口の形が違うことに気づいて、それを一つずつ覚え、正しい発音を習得されたとお話されています。
言語学の勉強をされていたり、IPAを知っていたりしたわけでもなく、口の使い方を観察していて、それに気づいたというのは、うんの発音の差なんて気にしたことがなかった私にとって衝撃的でした。
ゆか子さんのお話で、人参と発音する際、実際は両親をぶれ合わせないで発音する単語なのに、分かりやすくしようとするあまり、一文字ずつ区切ると、うんで口を閉じて、に・ん・じ・んと発音してしまい、南朝字が同じ
音だと認識できず混乱するというのも、聞こえている私には知らなければ絶対に意識ができないことでした。
Kさん、もち子さんや、DSRでうんの種類を初めて意識することになった方にも、このお話をぜひ共有したくお便りさせてもらいました。
はい、素敵なお便りありがとうございます。私このデフサポチャンネルさん知らなくて、今回のこれで初めて見たんですけど、この方すごいですね。もち子さん知ってました?このチャンネル。
私もですね、知ってました。何の流入かで上がってくることあって、時々結構海外行かれたりとかされてる方で、本当に日本語もペラペラなんですよ。変な言い方かもしれないんですけど、なんで知ってました。
そう、だから耳が聞こえないと結構情報が入ってきにくかったりとかっていうのもあって大変だと思うんですけど、そのままいわゆるリップリーディング、日本語だと口で話すって書いてこうはって言ったりするんです
けど、
要はその人の喋ってる人の口の動きを見て、そこから何を言ってるかっていうことを、いわゆる独身術みたいなことですよね。やって理解しているっていうことで、これすごい努力だなと。
これに自分で気づけるって確かに耳が聞こえる私たちにはちょっとできないというかしにくいというかですよね。しかもここに書かれてる通り人参とかもそうなんですよ。
この音声学の授業とか私やるときも普通のスピードで言わなきゃダメだよっていうふうに言うんですよ。っていうのは意識的に言おうとすると場所変えちゃうんですよ。
ぶった切った言い方っていうのと繋がった言い方っていうのは当然発音する場所が変わって当然ですし発音の仕方も変わってくるので、普通に喋るようにやって書き留めてごらんっていうふうにやるんですけど、IPを使
ってね。
自分の発音を書き留めてごらんっていうことをやるんですけど、これに気づけるってなかなかないと思うんですよね。
うろ覚えなんですけど、ヘレンケラーさんとかもそうじゃないですか。サリバー先生の口に手突っ込んでみたいな感じで、どういうところから音が出てるかっていうところは、単語っていう概念を習得してからは確か本当に
口に手突っ込ませて確認させてたみたいなのを幼いながらに読んだ記憶があるので、
それもこれに通じる部分なんだろうなっていうふうには、やはり聴覚情報っていうのがない中で習得するってなった時に出どころを探るじゃないけれども、そういうのがアプローチなんだろうなっていうのは、ゆかこさんの
話とそれを思い出して感じました。
そうですね。これってある意味我々にとってもすごくポジティブな側面があると思っていて、ダイニング言語の発音で苦労する人って多いと思うんですけど、結局そのシーンってどこでコンタクトを作るかであったりだ
とか、どういう風に息の流れを変えるかみたいな話なので、口の動きなわけですよね。
口も舌も筋肉なので、マッシブなこと言いますけど、筋トレと一緒でトレーニングしたらできるようになるわけですよね。
出せないってことはないんですよね。使ってないだけで。
だから、それを自分で気がつける環境なのか、外的に教えてもらって気が付くのか、どういうあれなのかわかんないですよ。人によって違うと思うので。
なんですけど、ある意味視覚からでも情報が取れていて、音が聞こえていて、こういう方がいらっしゃるっていうことは、我々が第二言語を勉強する時にも、発音の練習とかにも視覚だったり聴覚だったり、いろんな語感
をフル稼働して勉強していくことができればいいのかなっていう、ある意味そういう勇気を与えてくれるかなと思って。
ティッシュを置いたりしますよね。それこそ息の流れを確認するときに。韓国語の練習とかで、こっちの皮ティッシュが揺れたらダメで、こっちの皮ティッシュが揺れなくちゃダメみたいな感じで。息が出てるかとか息を止
めてってわかんないじゃないですか。
だからやっぱりわかる形に変換させるっていうのは、もちろん言語教育の賜物かなとも思いますし、そういったふうに変換をしてわかるように見えるかっていうんですかね。なんかさせるっていうのはすごく大事なアプロ
ーチなんだろうなと思いました。
そうですね。韓国語のあれってのはたぶん大気温、濃音とか激温とかそういうやつですね。
かの時にティッシュ前に置いて練習させられました。
英語でもあるんですよ。大気温って言ったりするんですけど、アスピレーションって呼ばれるのがあって、それはそれでまたどっかでお話ししてもいいかなと思いますけど、とにかくそういう視覚でわかるところはうま
く視覚の情報を補いながらっていうところで素晴らしいなと思って。
今回この回自体はね、人間は目で音を聞いてるっていう回自体は前々からやろうと思っていたんですが、すごくいいタイミングでお便りをいただいたので。
仕込みのようなセットになってますね。
もう今日やるしかないなと思って、今日ここに入れたんですけれども、非常に面白いチャンネルを教えていただいたので、私もこれからちょっと追ってみようかなと思います。
小西さんお便りありがとうございました。
ありがとうございました。
視覚と聴覚のズレが生む違和感
さて、そろそろ101号室の明かりを消す時間です。
もち子さん今回の人間は目で音を聞いているというお話いかがでしょうか。
そうですね、なんとなく視覚優位だよみたいな。視覚優位とか聴覚優位とかってある中で納得感はあります。そっちが勝っちゃうんだろうなっていうのは。
人間って語感を結構フル稼働させてコミュニケーションとか日々の世界を見てるんだなっていうのもちょっとわかるかなと思って。
でもなんかその違和感が面白いみたいなのありますよね。お正月の格付けで消えた後の芸能人をお笑い芸人の方が再現してくれてるみたいな。
ハリウッド雑魚師匠さんね。
声は元々の芸能人の方なのに、動きがしかも角に面白おかしくやってくれてるみたいなミスマッチが面白いとか、
吹き替えにギャップがあるとか、やっぱり目で見てるときに想定される。こういう音くるだろうなっていうところと音が違うって。
なんか一個その笑いを取る鉄板にもなっているのかなって思うと。それだけ大前提として、
同じ情報が来るだろうと目で見てるものと聞こえてくる音はセットだろうと思ってるからこそ、
そこに違和感があった時に面白かったりズレが発生したりするっていうのは、人間が優秀なんだかポンコツなんだかっていうのを考えさせられるなぁと感じました。
そうですね。この後の回とかでもお話しすると思うんですけど、人間っていかに効率的に処理をするかっていうことに意外と特化しているので、
結構全力でサボりに行くっていう。
そう。で時々そういう視覚情報とか違うズレた情報に引っ掛けられちゃうっていうのも面白いし、
またこういう実験を思いつく先生たちも結構天才的だなって思っていて。
ちょっとしばらく心理言語学とかの話も交えていこうかなと思ってるんですけど、実験手法って面白いんですよね。
だからその辺も今後楽しみにしながら聞いていただけたらいいかなというふうに思っております。
番組ではリスナーの皆さんからの言語に関する素朴な疑問や番組の感想などお待ちしています。
詳細は概要欄にあるGoogleフォームズのリンクまで。番組のフォローと高評価もお願いします。
はい、それから番組公式Xもございます。XのIDはDSRLOOM101。
アットマーク大文字でDSR、小文字でROOM、数字で101です。そちらのフォローもお待ちしております。
皆様からのお便りお待ちしております。それではまた次回お会いしましょう。
Deep Structure Radioお相手はアシスタントのもちこと言語学者のKでした。