1. 脳パカラジオ
  2. 5.異分野システムの共演!ニュ..
2024-12-10 45:34

5.異分野システムの共演!ニューラルネットワークをパカっとしてみよう

ノーベル物理学賞を受賞したニューラルネットワークをパカっとしたら、システム X システムですごいシステムだった.


出演

リリ(https://x.com/riri_nopakaR)

レン(https://twitter.com/REN_SciEnTALK)


サイエントークプロジェクト

https://scien-talk.com/media/

脳パカラジオへのお便りはこちら

https://forms.gle/ViE19eM1opvgJDWu9


#科学系ポッドキャストの日 に参加しました! 12月のトークテーマ「システム」 ホスト「工業高校農業部」 参加番組をまとめた特設ページは下記ウェブサイト内に掲載予定 https://scien-talk.com Spotifyプレイリスト https://open.spotify.com/playlist/1jFW3UoThyGUZVD8vBvy3Q?si=em2nTyAaQeq09wefx8rcTA&pt_success=1&nd=1&dlsi=dca4817f998e4675…


サマリー

今回のエピソードでは、ニューラルネットワークに関する基礎知識が深められ、特に機械学習との関係について詳細に説明されています。また、最近のノーベル物理学賞受賞者に触れ、その業績について言及されています。このエピソードでは、ヒントン氏とホップフィールド氏のノーベル賞受賞に関連して、彼らの物理学的理論がニューラルネットワークにどのように応用されているかが探求されています。さらに、ボルツマンマシンや逆誤差電波学習法の役割についても紹介され、これにより深層学習の進化が明らかにされています。エピソードでは、ニューラルネットワークの多層構造とその機能について詳しく説明されており、特に逆誤差電波学習法を用いた学習プロセスと、それに伴う情報処理の重要性が強調されています。また、脳の仕組みに関連する考察も行われています。このエピソードでは、ニューラルネットワークの理解を深めるための試みや、他のポッドキャストとの連携について語られています。具体的には、生成AIに関する情報や投票システムについても触れられ、リスナーに対するメッセージが込められています。

体調不良からの科学トピックへ
レンさん、元気ですか?
いや、また体調崩しちゃってさ。でもさ、あれでしょ?今回、あなたも人のこと言えないでしょ?
あ、そうですね。私もちょっと折れてますけど。
足折れたんでしょ?
足折れてますね。
足折れてるって、全然大丈夫ですかっていう側じゃないでしょ?言われる側でしょ?
いや、もうね、本当ですね。二人ともボロボロですけど。
そう、ちょっとボロボロなんで、また間空いちゃってるよね、これ多分。
空いてますね、ちょっと。
申し訳ない。
どっちかが元気だと、どっちかがヤバいみたいになるっていう。
そう、ちょっとね、体調というか、コンディションがね、悪い。今年。
でも、私、レンさんよりはマシだけど、最後にちょっと全治2ヶ月っていう。
まあまあまあ、僕4ヶ月で39度以上の熱3回出してますから。
ヤバすぎ!
それに比べたら全然大丈夫ですよ。
あ、よかった。よくはないけど。
いや、もう気を付けましょう。
はい。
なんとか。今年頑張りましょう。
機械学習とニューラルネットワークの関係
今年頑張りましょう。
今日何ですか?
あ、今日はですね、あれです。
12月の科学系ホットキャストの日?あってる?
おお!はいはいはい。
インスパイアーというかあれで、フィーチャリング?わからない。
すごいね。これ僕何も言ってないですからね。
あ、本当ですか?あ、そうだね。
なんか前回、いわゆる前回、レンさんがちょうど担当で初めてやったんですけど、
もうあれが永久命令だと思ってて、やらなきゃいけないんだと思って。
まあ、いいんじゃない?毎月参加したら、やるかっていう気もなるでしょ。
そうね、それはそう。とりあえずそれはそう。
いいんじゃないですか?参加するので。
今回のネタっていうか、あれもちょっとやりやすいかなと思ったんで。
しかもなんといっても、ノーパカ名付け親の。
あ、そうね。工業高校農業部っていうホットキャストの牛若さん、マスボウさん2人でやられてる番組ですけど。
お2人の番組で、お2人と飲んだ時にというか。
そうそう、飲み会でね、ノーパカラジオって生まれたんですけど。
はい。
その場に言い合わせてたもんね。
はい。
なんならなんか、あれ、ノーパカラジオいつから始めるんですか?ってもうなんか決まってたんで、名前が。
多分最初にハッシュタグ、ノーパカでツイートしてるんじゃないかな。
そうなんだ、それ知らなかったな。
そのレベルですね。そこの2人がホストだって言うから、参加しないわけないよね。
本当にそうなんです。
これ間に合ってる?でも。
間に合わせます、間に合わせます。え、だって明日までだよね。
明日までとか言ったら。
明日。
あ、明日に間に合わせるんですね。
はい、もう頑張ります。
頑張ってください。
はい、もう頑張ります。
という感じです。
ということで、何をするかですね、今日はついにやってまいりました。
ニューラルネットワークについてやろうと思います。
はい、来ました。
先日、先月。
流行りの。
流行りの、先月じゃないな、10月にノーベル物理学賞を取られたやつですね。
はい。
偶然僕も自分のポッドキャストで話します、それ。
はい、ぜひどちらも聞いてください。どちらも聞いてください。
れんさんの方も聞いていただいて。
ということで、ニューラルネットワークパカッとしていきたいと思います。
はい。
みなさんこんにちは。脳に詳しい研究者のりりです。
脳に詳しくない研究者のれんです。
ボロボロの二人でお送りする。
はい、脚も体も身も心もボロボロの二人でお送りしてます。
大丈夫かな。
そんな脳パカラジオは、みなさんの脳に関する疑問や脳の不思議を、れんさんと二人でパカッとする番組になります。
はい。
ということで、ニューラルネットワークですけど、れんさんでもちょっと勉強されたってことですよね。
本当にちょびっとだけね、ノーベル賞どんなもんかなっていうのを知るために、その周りはちょっと勉強したりとか。
あとは単純に興味でちょっと調べたことありますけどね。
なるほど。
やっぱ流行ってるじゃないですか。
流行ってます。
自分の仕事でもAIみたいなものを使う機会もあったりするんで、ちょっと知っとこうと思って調べたことはありますけど。
なるほど、なるほど。
私もちょっとお仕事でかじってるんですけど、結構難しいですよねやっぱり。
これどっちの話をするの?機械学習みたいな話なのか脳の話なのかどっちなんですか今日。
機械学習ですね、確かに。ちょっと今日は脳というよりは、ちょっとサイエントオークよりになっちゃったかもしれないですけど。
まあ脳つながりっていうことでやる感じね。
はい、脳つながりってことで、システムというか。
ああ、システムね。
ちょっとシステムフォーカスでやりたいと思ってます。
はい、お願いします。
でですね、れんさん勉強されたってことなんですけど、よく言う話ですけど、
AIとか機械学習とかニューラルネットワークってどういう関係性って言ったらいいですけどね。
いいですかね、どういうものかみたいなのってどうですか。
AIとニューラルネットワークの関係性。
AIって人工知能で、言ったらもう脳のそのものみたいな、僕はイメージなんですけど、全体みたいな。
なるほど。
で、それを支えてる脳だと神経細胞が支えてますけど、脳の働き。
それがニューラルネットワークかなみたいな。
ああ、なるほどなるほど。
ほぼそう考えることもできるというか。
いやわかんない。
機械学習はニューラルネットワーク、関係性か。
ニューラルネットワークが、いろんなサンプルというか、
例えば犬を判定するAIだったら、いろんな犬の画像をバーって見せてっていう過程が学習みたいな。
で、それによってニューラルネットワークが学習して、
で、なんか知らんもんを見せても犬かどうか判定できるっていうAIができるみたいな、そんな感じですか。
ああ、なるほど。
はい、合ってるんですけど、ちょっと整理しようかなと思います。
整理してください。
言葉の定義なんですけど、最初にまず基礎的なところで。
で、説明しますと、まずAIっていうのは、今レンさんが全体的なところというか、全体包括してるような感じで言ってくれましたけど、
そんな感じで、AIってArtificial Intelligenceなんで、
ああいう機械学習とか心相学習みたいなのを全体を総称してというか、AIと呼びますね。
はい。
で、機械学習なんですけど、その中の一つって感じですかね、手法というか。
AIの中の一つ。
そうですね。
で、データを分析する方法の一つになるんですけど、さっき言ってくれたみたいに、
データから何らかのデータの中の特徴を学習して、データの背景にあるルールやパターンみたいなのを見つけてくる。
で、よくあるのがさっき言ってくれた未知のデータに対して予測とか判断するみたいな。
うんうん。
話をやってるのが機械学習っていう手法ですね。
はい。
で、今回のニューラルネットワークなんですけど、ちょっとここがあれなんですけど、基本的には機械学習に入ると思うんですけど。
機械学習の下?
そうですね。機械学習の部類に入ってて、
うんうん。
で、心相学習とかあるじゃないですか、ディープラーニングってやつですね。
ディープラーニングはまた別?
それは機械学習の中に含まれてます。
うんうんうん。
で、なんで心相学習っていう名前がついてるかっていうと、
イメージ的には、何かを学習するときにニューラルネットワークっていうものを紙の上に書いたとするじゃないですか、そういうネットワークを。
はいはい、二次元で。
二次元で。
はい、二次元で。で、それを何層もつなげていって、学習させてるっていうのがディープラーニング。
多層になってて、深くなってくっていうので、心相学習っていうんですけど、多層の学習ですね。
はいはい。
なんで、発展系って感じですね。
で、ニューラルネットワークっていうのは、学習のさせ方っていうか、人の神経を模倣したみたいな話があると思うんですけど。
うんうん。
なんでその単層のものも、そういう多層で心相になっているものも、どちらもニューラルネットワークって呼んでいいと思うんですけど。
だから、根本のシステムみたいなこと?ニューラルネットワークっていうものが、ベースの技術みたいなこと?
あ、そうそうそうそうそうですね。
なんで一番その単位って言ったらいいのかな?ニューラルネットワークの最小単位は、ハーセプトロンっていうやつなんですけど。
ほう。
のが一番最小単位で、で、どんどんいっぱいつなげたりとか、多層にしていくと、ディープラーニングとかまで発展するみたいなイメージですね。
なるほどなるほど。
いけそう。
僕言ったやつ大体あってました?
あー大体。
でも機械学習がちょっと違ったか。
そうね、そうね。なんか、合ってるところと、なんかおよっていうところが混じってて。
あ、そっか。
なんというか、うん。
あーまあだから。
なのでちょっと一回整理しようかなって感じでした。
ニューラル、下からいくとニューラルネットワークがあって、それを使ってるのが機械学習で。
まあ機械学習の一つの手法として、ニューラルネットワークっていうのがあって、みたいな感じかな。
他にもあんのか、他に何あんの?機械学習。
機械学習は、そもそも大分類すると、教師あり学習と、教師なし学習って言われるやつがありますね。
なんか答えあるかないかみたいなやつか。
そうそうそうそう。正解があって学習するやつと、正解ないけど、なんというか既得性を見つけて学習するやつみたいな感じですね。
だから犬で言ったら、これが犬だよっていう情報ありだったら、教師あり学習になるって感じかな。
そうそうそうそう。そんな感じですね。
で、なんていうか手法、私もなんかすごいめちゃくちゃ詳しいわけじゃないんですけど、
なんかその、いろいろありますよね。決定義とかなんだったかな。
とりあえずその教師ありは、分類とか回帰をして、予測とか判断しようみたいなやつですね。
で、その方法にいろいろ手法があるんですけど、忘れちゃった。なんだっけ?
え、それってニューラルネット、違う、それって機械学習はどっちも含まれる?
機械学習は、あ、うん。どっちも含まれる。総称して機械学習。
あー総称してね。
なんだっけ、あのかっこいい名前のやつ。ランダムフォレストだ。
ランダムフォレスト。で、えっと。
オートマトンみたいなやつもそう?
あ、なんかあったね。私も詳しくないけど。
ごめん、ややこしくなるわ。
ややこしくなる、やめよう。
ニューラルネットワークは、まあ教師あり学習に含まれるって感じですね。
なるほど。
まあ一つの手法って感じですね。
うんうん。
ノーベル賞受賞者の業績
はい、どうですか、ここまで大丈夫ですか?
ここまで大丈夫です、整理できました。
はい。で、えっと、ノーベル賞の話に、じゃあ移りますけれども。
うん。
お二人ですね、受賞されたの。
うんうんうん。
ホップフィールドさん。
うん。
と、ヒントンさんですかね。
そんな笑うとこじゃないんだよ、ヒントン。なんで笑うの。
いや、なんか。
結構かわいい名前ですよね。
そう、かわいらしいからちょっと笑っちゃった、ごめんなさい。
でもこの人も90歳超えてる人だよ。
ああ、そっか、そんな人か、すごいな。
そう、ホップフィールドさんはすごい。
会ったことある?
ないよ。
ないね。
ノーベル賞受賞の背景
ないか、私もないわ。
うん。
はい、で、レンさんお二人のノーベル賞、勉強されたと思うんですけど。
はい、多少。
どんな感じですか?
えっと、ヒントンさんが、あの、真相学習のゴッドファーザーってことは知ってます。
はい、おっしゃる通りで。
え、ホップフィールドさんは?
ホップフィールドさんも、いやもう、え、なに、どう説明しちゃうよ。
いや、わかんない。
でも私なんかこの二人の、なんかなんで物理学賞だったのかが改めてわかった。なんか勉強した。
うーん、いやなんか、結構この二人ノーベル賞受賞するって予想した人少なかったみたいなのは見ましたよ。
あ、そうなの?知らない、それは。
うーん、らしい。
え、その予想の理由は?
いやー、わかんない。なんか、もう根本すぎるから、なんかな、わかんない。
そもそもこのジャンルで物理学賞で受賞するっていう予想自体が少なかったのかな。
あー、そうだよね。なんかそもそも、なんかもう、バイオニアっていうかね。
そうそうそう、コンピューター系のこうアルゴリズム開発みたいのでノーベル賞受賞したのって多分これが初めてでしょ。
だからあんまり予想されてなかったみたいですけどね。
物理学の理論の応用
あーでもそうですよね。でも私もなんか予想とか全然見てなかったんですけど、なんかまあ、結果だけ見てなんで物理学賞って思ってたんですけど。
うんうんうん。
なんかその2人とも物理学の理論をこういう情報系に発展させたみたいなところがすごいところ。
そう、なんかめちゃくちゃコンピューターやってた人ではないよね。
そう。
結果的にやってたんだけど。
うんうんうん。そうなんですよ。なんかその。
普通に物理学者だよね。
そう、統計物理をやってる人で、その理論をこういうニューラルネットワークに当てはめて新しい手法を提案したみたいな、開発したみたいな人たちなんですけど。
なんか今までそういうことした人いなかったっていうのがあって、成功した人がいなかったっていう表現が正しいのかもしれないけど。
なんかあれだな、普通あんま考えないっていうことだよね、きっと。
うん、そうそう。
知らないのかな。数学だけやってる人とか、コンピューターのアルゴリズムだけをやってる人は、そういう物理系のものを取り入れようっていう発想がそもそもあんまないのかな。
昔はなかったんじゃないかな。今はもうこういう事例があるから、そういうところの人たちがいっぱい参入してきてて。
そうだよね。
うん、すごい利用されてるけど、多分当時はすごい、考えてる人はいたかもしれないけど、他にも多分いたと思うけど、実際にこう実現させたみたいなところがすごいのかなって思って。
うんうん。
この人が、これを皮切りにこういう物理系の人たちがワーってこっちの分野に入ってきたっていうのがある。
まあそう考えたらすごいですよね。
そうなんですよ。だからそれなら確かに物理学者だって思ったんですけど。
うんうんうん。
で、しかもこの。
それはちょっと勉強しました。
おお、そうなんです。かぶってたら言ってね。
あ、大丈夫大丈夫。かぶっててもいいと思うよ。
あ、ほんと。
うん。
でもこの、え、じゃあこのどんな統計物理を応用させたかとか見ました?
ああ、なんか物のエネルギーの計算みたいな。
そう。
ものですよね、確か。
そうです。磁石ですね。
そうだ、磁石だ。
うん。
こんなん思いつくかって思ったんですけど、私的には。
いや思いつかないね。普通は。
なんかイジングモデルっていうこう一番基礎的な、その磁石とかの自生体のその運動量みたいなのを計算するモデルがあるらしくて。
うんうんうん。
磁石の中にその磁力を生み出す、なんかちっちゃい電子みたいなのがいっぱいあって。
うんうん。
で、それが自転しててそれぞれ。
うん。
で、その自転によって上と下向きの力が発生してて。
うん。
で、それの相互作用とかで、とか外部からのどういう磁場が発生してるかによって、その物体の磁力がどれくらいの強さになってるかっていう性質を表すためのモデルらしいんですけど。
うーん、まあなんとなくイメージはできますけど。
でも私、これ、いやなんか知ってて聞いたら、じゃあこの一個一個の自生体の、自生体というかまあ電子みたいなのをこうニューロンに当てはめたりとかしたのかなって思ったんですけど。
ああそういうこと?
まあでもこれを応用しようとするのがすごいなと個人的に思ったんですけど。
うんうんうん。それはなんか見ました。
ああじゃあ一緒ですね。
でなんかこの、最近だとさらに発展させて、なんかスピングラス理論みたいのがあるらしくて。
このイジングモデルの上位互換みたいな理論なんですけど。
え、それもこの人やってんの?
うん、この人の時はイジングモデル。
今最近流行りたのがこの辺らしい。
ああイジング、いやイジングモデルっていうのもなんか量子コンピューターの話聞いた時に出てきたな。
ああ、あのなんだっけ、量子、そうなんか今なんだっけ、量子アニーリングか。
ああ、それで聞いたことあんだわ。えっとね、サイエンマニアっていうポッドキャストで量子コンピューターの回があるんだけど。
ああそうなんだ。
そう、その時にイジングモデルの話をしてたな。
あ、そうなんだ。
うん、それか。
その辺です。
統計力学の一番シンプルなモデル。
そうそうそう、そうですそうです。
つながったね。
なるほどね。
ああ、スピンがあるやつね。
あ、そうそうそうそう。
プラスマイナス1の。
そうそうそうそう。
ああとか言って、これちょっと伝わってないかもしんないけど。
噛み砕いてください、皆さんのために。
えー難しいねこれ、噛み砕くの。
さっき私結構頑張って説明したと思うんだけど、分かりにくいかったかな。
まあでも、なんとなく分かるけど、
そっか、これが使えるんだっていうAIに。
そうなんだって感じですね。
で、もう一人の方ですね。
ヒントンさんですね。
ヒントンさんの方も統計物理の理論を使ってます。
知ってる?
本当にちょっとしか触ってないな。
すごい計算方法簡略化しましたみたいな、なんかで読んだかな。
他の人も提唱してたけど結構シンプルにしたみたいな話ですよね。
そこの詳しいあれはさすがに分かんないですけど。
この人、どうぞ。
いやもう全部の組み合わせを計算しようとしたら大変だから、
うまいこと間引く方法を考えましたっていうのはなんか読んだけど。
そうですね、私もその程度の踏み込んでしかいないですけど。
この人が作ったのはボルツマンマシンですね。
ボルツマンマシン。
逆誤差電波学習法の重要性
かっこいい。
簡単に言うと、というか教科書的な感じだと、
数学的な規則性というか、ここで言うと確率分布になるんですけど、
学習したいものがどういう確率分布に従っているかみたいな特徴を学習するっていう方法ですね。
で、ポップフィールドさんとヒントンさんの作ったものの違いなんですけど、
ポップフィールドさんは例えば犬の画像を記憶させる、学習させたら、
同じ犬の画像しか出せないんですけど。
ああ、そうか。過去のやつを引っ張ってくるだけ。
そうそう、記憶させれるっていう感じなんですけど、
ヒントンさんの方はいろんな人の犬、いろんな人の犬?いろんな犬を学習させて、
未知の犬を見せたときに犬ですって言えるアルゴリズムを作ってるってところが大きな違い。
あ、え、その推測できるようになったみたいなこと?
そう、未知のデータから答えを導き出せるアルゴリズムを開発してる。
それは全然違うな。
全然違う。そこのまたこの人がすごいところって感じなんですけど。
で、さっき出てきたディープラーニングなんですけど、それもこの人が考えてて、ヒントンさんが。
もうディープラーニング作ったみたいなこと?
そうそうそう。さっき言ってたよね、そうやって。
ゴッドファーザーって言ってた。
作ったんだろうなと思ってたけど、実際どう作ったんだろうと思って。
なんかね、それが結構すごくて、ニューラルネットワークみたいな考えはあったんですけど、
昔って多層にすると学習できないっていうのが常識だったらしくて。
なんで?
多分なんか難しかったんだと思う。多層にして、今だと上手く最終的に学習を成立させて答えを導き出すみたいな理論がいっぱいありますけど、
当時多分なくて、多分パソコンの処理能力の問題も多分あると思うんですけど、当時。
いろんな問題でできないっていうのが常識だったらしくて。
なんですけど、この人は多層にして、2層ずつ順番に学習させていくみたいな方法を提案して、それで学習できるようになったんですけど、
ただ、これも結構難しいっていうか、今あんまりないんですけど、それで少しずつ学習していって、最終的に全体を学習させるみたいなやり方もあるらしいんですけど、
今はあんまり使われてない。
難しいな。
難しいね。
で、なんかその、まあこの話で結構他にも受賞した方がいいんじゃないですかみたいな業績を出してる人がいっぱいいるみたいな話があると思うんですけど、
れんさんもご存知かなと思うんですけど、そこに日本人結構いるって話ですよね。
まあ、なんかそれは見ましたね、ニュースで。
で、なんでそう言って言われてるかなんですけど、その中で結構、すごく有名な方で、あまり先生って方が名前出てますけど、
この人がやったこともたくさんあるんですけど、すごいのが、逆電波学習法っていう方法を生み出した方っていうとこなんですけど、
逆電波。
逆誤差電波学習法だった。
逆誤差。
バックプロパゲーションっていうやつなんですけど。
逆誤差電波型。
どんなんだと思う。
逆誤差電波法?
逆誤差電波学習法。
逆誤差電波学習法。
でもなんかそのままなんかなこれ。
こうインプットしてアウトプットまでするけど、その逆からたどってちょっと修正しますみたいな。
おーすごい。正解。
そのままじゃん。
確かに。
そうなんですけど、この先生がすごいのが、さっきヒントンさんのところで、多層にすると学習できないっていう話したじゃないですか。
で、ヒントンさんが2層ずつ順番にやってて、うまくできそうみたいなのを提案したって話のところで、
今はもう一気に多層にして一気に学習できるんですけど、
それを可能にしたのがアンマリ先生のこの逆誤差電波学習法っていうものなんですよね。
わかります?この凄さ。
いや全然イメージできねえ。
いやまあ、多層のイメージってこれ伝わってんのかな。
あーそういうことか。
入力したやつが出力するまでに通るのが1層2層っていうイメージであってる?
そうね。入力して、ちょっとごめん。厳密に1層みたいなところがあれですけど、じゃあひとまず。
なんかちょっと具体例ないとこれ厳しい気がするな。
でなりますと、ちょっと簡単なニューラルネットワークみたいなのを皆さんにイメージしてもらうとすると、
まあ元々の例えば、さっき出てきた犬の写真を例えば学習させて犬当てに行こうってなった時に、
犬の情報を数字に1から10までの数字に落とすとするじゃないですか。
そうすると入力としては1から10入ってきますよね。
で、よくあるのがその中から犬をよく表している数字を取ってきて、情報を圧縮します。
犬だったら1は絶対あるよねみたいな。
そうそう。で、そういうのを見つけてくるのが学習の過程なんですけど、
ニューラルネットワークの基本概念
1から10あったけど犬の写真を当てに行くときは1と3と5の情報が重要だよねみたいな。
見つけてきて最終的に出力としても最終1とかだとするじゃないですか。
違うわ。犬かどうかですね。
犬かどうかがアウトプットね。
アウトプットです。で、今の一番シンプルなのが単層としましょう。
で、ニューラルネットワークになるとこの特徴、さっき言った犬を表している数字を選んでくるところを特徴量抽出みたいな名前で呼ぶんですけど、
当てたい情報をよく表している、つまり特徴を表している数字を取ってくるみたいなところですね。
で、そこの部分がすごいいっぱい多層になって複雑なデータの情報から特徴を取ってくるみたいな過程になるんですけど、伝わります?これ。
いやー難しいね。1から10からどう取り出してくるかっていう、フィルターみたいのがいっぱいあるみたいな話?
あ、そうそうそう。フィルターみたいのがいっぱいあって、より複雑なものを当てにいけるみたいな感じかな。
その層ごとは何をしている?何かの処理をしているっていう感じ?
あ、そうそうそうそう。うーん、何ていうのが一番あるかな。
最初の層では耳があるかを判定します。その次の層では目があるかを判定しますか?そういう感じ?そんなシンプルな。
イメージとしてはそんな感じでいいのかな。イメージとしてはそんな感じでいいんですかね。
というか、どの層も基本的には多分、犬を当てにいこうっていうコンセプトのほうと、犬を当てたかったら耳が重要、次は鼻が重要みたいな確かになるけど、
耳を当てにいこうとしているわけではないんで、どの層も犬を当てにいこうとして、どの情報があればわかるかっていうのを取ってくるんですけど、
その時にいっぱい層があるんですけど、どの情報が重要かどうかみたいな話になってくるじゃないですか、多層になってくると。
で、この間の神経の時の話もありましたけど、いっぱい入ってくる情報は、情報が通るニューロンは強く反応するようになって、そうじゃないと小さくなっていくみたいな話がしたじゃないですか。
したと思ったんですけど。
犬っぽい特徴を持ってたらそこがピックアップされるってこと?
そうそう、なんで、さっき言った逆誤差電波学習法は、最終的に犬を当てに行く時に答えがあるんで、違ったってなった時に、
じゃあどこの層を情報として重要視するかによって、もっとちゃんと当てにいけないかっていうので、それを調節しながら学習していくっていう方法です。
伝わった?
それは普通はなかったってことか、それまでなかった。ただただ犬ってどういうものかっていうのを当てに行くだけだったのが、
違うっていうのは、じゃあどこが違うのかっていう復習をするってこと?
そうそうそうそう。
で、修正する感じ?
その誤差を、どこの層を重要って考えたら小さくできるかっていう学習を繰り返して、精度を上げていく。
それは層じゃね?っていう気もするけど、これがすごかったの?
これがすごかったんですね。で、今でも使われてるんで。
なるほどね。
伝わんないかな?
いや難しいけど、やりたいことは分かった。
これちなみになんだけどさ、こうやって機械学習ではそうだと思うんだけどさ、脳みそもこんな感じのことしてないの?
逆誤差電波学習法みたいなのしてないのかな?
逆誤差電波学習法みたいなの?
さすがにしてないか。
あ、でも、えっと、えっとね、何だったかな、予測誤差みたいな話はありまして。
あ、じゃあまた今度にしようそれは。
え、でもまああるんか、そういう逆流的な戻って情報修正するみたいな。
いや、なんかありそうだなと。単純に生物で。
うん、そうだよね。なんていうか、こんなになんていうか、ここで計算して戻って、ここの何かを直してみたいなところまではちょっと知らないんですけど、
自分が生きてる上で、なんか予測して生きてるじゃないですか、日々。
うんうん。
何かしようと思った時に、その予測誤差を修正していくみたいなのはあって。
へえ。
理論っていうか。
まあまあそれはでも、結構マクロな感じだよね、きっと。予測してたやつを。
うんうんうん。
なんかあんまミクロな話じゃないってことね。
でも結構その、どういう、まあ神経回路がそういうのに寄与してるみたいなとかはあったと思うんですけど。
ああ、そうなんだ。まあ誤差修正で活性化するような。
うんうんうん。
ってことか。へえ。
そうそうそうそう。
まあそれは確かにありそうだな。
そう。で、なんかそういうのが、そのうまくできないみたいな病気があったりとか、病気の時にそういうのがうまくできなくなるとか。
ああ、何回も同じ失敗しちゃうとか、それだよね多分。
ああそうそうそうそう。そういうのとかあったりするんで、まあそういう話もありますね。
うん。
ちょっと安倍先生がどういうインスピレーションで高齢に至ったのかはちょっと知らないんですけど、まあそういうのがもしかしたらあったかもしれないですね。
いやそう、まあ結局さ、ニューラルネットワークもさ、こう脳のこう仕組みにインスパイアされてみたいなのよく書いてるけど。
うんうんうん。
実際それ以外の部分でなんかインスパイアされて、こう機械学習なりAIに使われてますみたいなのめっちゃありそうだなと思って。
うーん、確かに。ちょっとそういう視点では調べなかったからな。確かにたくさんありそうだよね。
うん、ありそう。
そもそもね、なんかそういう生物学的な知見とこういう物理とかさ、そういうのの知見を組み合わせてみたいのがすごい、何て言うんだろう、面白いなって思ったんだけど。
うんうんうん。まあそうだね、物理融合師のそうなんだね。
私的には、さっき今言ったけどさ、結構そういう多分野のシナジーみたいなのがすごいいいなって思ってて。
ああ、そうね、まあそれはいいよね、実際。
で、まあこれも結構古い話じゃないですか、この研究自体は。
うーん、これ1940年代からやられてるでしょ、この分野。古いと思って、意外と。
そう、なんか結構何回もこうしたびになってみたいな、とっても難しいよねってなって止まったりしながら、まあ多分さっきも言ったけどそういうハード面?
うん。
理論はあるけど、まあその当時の計算機じゃどうにもならないみたいな話。
うーん、まああるだろうね。
あると思うんですけど。
学習方法と脳の仕組み
だって今第4次AIブームなんでしょ。
どうなの?ちょっとわかんない。
うん、らしいよ、もう第4次らしいです。
第4次、第4次。
何回も起きてる。
ああ、なるほど。
そう。
でもなんか結構もう、何て言うんですか、結構新しい理論が出ないと、次のブレイクスルーはないみたいな感じらしい。
今の課題は何なんだろう。
今の課題は。
うん。コンピューターですか?やっぱまだ性能足りないとか。
えっと、多分一つはその、ビッグデータビッグデータってなってるけど、多分その、今言ってくれたみたいにその、重くて計算が。
まあだよね。
それをまあどうやってこうミニマムにする、ミニマムっていうか、不要なもの遭遇いでいくかみたいなところだと。
思ってますけど、まあそういう情報系じゃないんで私もそんなに。
なんか僕情報系の友達がいて、その人がこうデータの分析みたいな、結構こうなんかビッグデータって言うじゃん、世の中のすっげーでかいデータ扱ってますみたいな。
それどんなもんなんて聞いたことあって。
いやお前は何億列もあるエクセル扱えるかって言われて、それは無理だなって。
確かにそんなエクセルを想像したらもう見たくもないよってこう、なんか人力でどうにかなる問題じゃねえなって。
だからそういうのを効率よくやる方法がやっぱ必要なんだよっていうのを聞いて。
なるほど。
ああ確かにねえと。
なるほどなるほど。確かに確かに。
そう何万何億とかそういうレベルの数のデータが出てくるっていうから。
そうだよね、そういうなんていうの、こう減る、何て言ったらいいのかな。
人間の生態データだけじゃなくてさ、宇宙の話とかそういう地球の話とかだと、もっともっと大きくなったりするじゃん、データが。
そっから何か導き出そうって思った時に、そうだよね確かに。
いやこれでもなんかさ、DNA解読するとか似てるよなとか思うけどね。
でもあれは結構。
だってあれも何億文字もあるさ、ただの羅列から何かさ、意味を見出すみたいな感じじゃん。
ああでもなんか割とシンプルなのかなって思ったけど、シンプル、まあシンプルじゃないかもしれないけど。
そうかな。
シンプルなのかなってちょっと思ってたけど。
まあ上限があるからいいかもしれない。本当のAIのジャンルってデータ無限にあるもんね。
そう。でそっから何かしらの規則性を探し出すみたいにね。
ああそう考えたらそっちの方が大変かもしれない。
大変そうだなって思いましたけど。
どうなんですかね、なんかその結構周りにいるそういう情報系っていうかその生物、
そういう大きいデータを対象としている人っていうよりは人間のデータを扱っててみたいな。
人間のデータ?
人間のデータっていうとちょっとあれだな。なんか脳の情報のデータとかを扱ってる人とかがいたりしますけど。
ああ脳の情報データヤバそうだね。
それもね結構ヤバい。重たいんで。
そうね。ダメだな、なんか全然頭回ってない気がしてきた。
うん全然頭回ってない。不調なんでもうこの辺にしときますか。
不調ですね。今日の締めはいろんなシステムを組み合わせることで新しいものが生まれたんだなっていうのが分かりました。
そういう話ね。まあまあ確かにシステムとシステム組み合わせてるもんな。
ねえそうだよね。これはシステムだって思ったもんこれ。これやるしかねえってなって。
システムとシステムでシステムを生み出してるからすごいシステムだなこれ。とってもシステムだなこれ。
急にもうなんか急に。
すげえ頭悪い。
何も言ってません私は。
なるほど。
はいなんでこのお二方が物理学者のこの分野への扉を開いてくれたという素晴らしいことでした。
はい。
なるほど。システム作る人はすごいと思います。僕らだいたいシステム使ってるんで。
そう本当に使ってる側なんで本当にありがとうございます。
使ってる側だよね。ほとんどの人は99%以上もう使ってる側だからシステムって。
本当に本当に。
たまに使われないシステム作っちゃう人もいますけど。
急にどうした大丈夫?
しょうもないシステムがあったりもするけどでもこういうね世の中の人が使ってるシステム作るのは本当にすげえですわ。
ね。
ゼロイチだもん本当に。
いや本当にみんなが使ってるからね今ね。
いやすげえすげえすげえっていうのは分かりました。いやこれもっと勉強しないとダメだわ。
もっと勉強してください。
僕ら勉強足りないですよこれ多分。
私も足らないですすいません。
俺はね怒られんじゃねえかと思ってめっちゃ怖いわこのエピソード。
えでも私結構頑張って勉強したんだけどな。
いやまだまだ勉強足りないですよこれ。まだまだね勉強しないとシステム作れる人にはなれないよ。
システムは作れないですね確かに。
いやなんかあのーやっぱりあれですよねそのーこう万人に伝わる言い方でやるのは難しいですね。
なんか急に。
あ何これポッドキャストの反省急に。
反省。
いやそうですよ。だから別になんかこうあれかもね万人に伝えるっていうやつじゃなくてもう一回置いてけぼりでいいやぐらいのテンションで喋ってもいいかもしれないけどね。
そうですねー。
あーまあそうなると俺も困るかもしれないけどね。
ニューラルネットワークの理解
今日もちょっとその系あったじゃないですか。ちょっと本当に申し訳ないですけど。
いやいやまあまあでもそういうのでもいいかもね。そういうので殴り合う番組でもいいかもしれないよね。正直。
殴り合うの?
そういうシステムにしてみますよ。
こうさ。
急に頭。
刺激が足りねえんだよ。
刺激が足りねえんだよ。
刺激が足りねえな。
どうしたの?なんか急に頭回り始めたね。私はもうちょっとフリーズしてるんですけど。
本当に?いやなんかもうちょっとさ殴り合うようなさ。
何?わかんねえよみたいな。なんでわかんねえんだよみたいな。
そうそうそうそう。もっと戦いみたいなやつの方がいい。
戦い?
ぬるまに使っちゃダメだなって。
どういうこと?
まあなんも勉強してないやつが何を言ってんだって感じ。
僕は今そう思いましたね。
すいません本当に。
いや一応なんかその、説明できるようにと頑張って元論文とか読んだんですけど、ちょっとさすがに難しすぎてわかりませんでした。
いや難しいしね。音で伝える限界もあるから。
いやそうなんですよ。そこがね、ちょっとまだ見極めができないですね。
そこはね、僕もAIの話してすごい思いましたけど、これは100%は無理だから分かって気になってもらうぐらいが限界だなっていうのはすごいあると思う。
今日大丈夫だったかな?ダメかな?
いやわかんない。ダメだったらもう自分で調べるしかないんだけど。
まあまあ合わせて他のポッドキャストもぜひ聞いてほしいっていうのはありますね。これだけじゃ完結しないんで。
それはそうですね。ぜひれんさんとえまちゃんのサイエントークを聞いてからのがいいかもしれないですね。
まあ確かにそれもあるかもしれない。
これを最後に言うというね。
あと今度ね、生成AIの専門家をゲストにたまらず呼んだっていうのを。
すごい。それがいいですよ。
ちょっとまた配信されるかもしれないですけど。
それがいいですよ。
APTの本のベストセラー作家の人にサイエントークに出てもらう予定なんです。
すごい。私やんなくてよかったじゃん。今回。
いやいやいや。でもこういうのの積み重ねなんで、一発じゃ無理だよこれ。
そうですね。
何回も徐々に染み込ませていかないと。
染み込ませていかないと。
自分にね。
私か。すみませんでした。
僕にね。
僕ね。
喋ってる側も聞いてる側も少しずつわかるみたいな。
なるほど。わかりました。
一発じゃわかんない。無理ですよ。
そうですね。
すみません。なんか文句みたいになっちゃって。
すみません。
私もちょっと部分的な、部分的にすごく詳しいみたいな部分もあるんですけど。
投票システムの話
ちょっと全体をこう説明するとなるとやっぱハードルが高いですね。
頑張りましょう。
今日はありがとうございました。
ありがとうございました。
感想はハッシュタグひらがなでノーパカーと書いてポストするなりお便りを送っていただけると嬉しいです。
あとあれだな。科学系ポッドキャストの日に参加してますので、ぜひシステムの話いろんな番組をしてます。
はい。聞いてください。
ちなみに僕は投票システムの話をしました。
そうですよね。レンさんそうでしたね。
今ポッドキャストアワードっていう選挙をしてるんで。
組織票で入れました。
ぜひ入れてください。この番組を聞いてる人もぜひ。
サイエントークはまじで芸能人に勝つことを目標に投票活動頑張ってますんで。
まだ投票してない人は僕しつこいほど言いますけど、今月たぶん。
ぜひ。
ポッドキャストアワードって検索して、1分で終わるんで投票。
はい。1分で終わりますよ。やりましたけど。初めてやってドキドキしました。
ぜひよろしくお願いします。
はい。みなさんよろしくお願いします。
枠余ってるんでノーパカにも入れてください。
今日の配信でみんなに見放されるかもしれない。
見放さないで。
わかんねーよってなったかもしれない。
まあまあゆるくやると思うんで。
はい。がんばります。
ありがとうございました。
ありがとうございました。
45:34

コメント

スクロール