1. Private LISTEN
  2. #12 LISTEN to Practice!
2023-09-12

#12 LISTEN to Practice!

3 Stars 1 Mention
はじめる Camp@Us
はじめる Camp@Us
Host

Private LISTEN #12

LISTEN to  Practice!

 

言語の本質|note
大規模言語モデルは新たな知能か|note

#言語の本質 #大規模言語モデル #ChatGPT #AI

 

Private LISTEN

my personal base
a station, my missions start and end.

presented by Camp@Solo

Hosted by LISTEN 

Summary

言語にとらわれずに実践的な推論をするためには、考え、推論し、予測する必要があります。AIの進化により、機械学習が人間と似たような推論を可能にしていることが示唆されています。

Table of Contents

言語の罠と実践的な推論
Private LISTEN presented by CampSolo 12個目のエピソードになります。
少し間が空きましたけれども、これまで、
推論、分かりますかね。帰納法、演繹法なんていうのは、ちょっと違和感があるよ、なんて話とか、
それからあとは記憶の話、予測をするには記憶、予測とは推論とも関わるんですけれども、
予測・推論するには、記憶の問題を絡めて考えなきゃいけない、なんて話をしてきたんですが、
推論ですね。我々はどう推論するのか、ということで、演繹法、演繹的に推論するわけでもなければ、
帰納的に推論するわけでもない、という話なんですね。
第3の推論です。
私は、演繹法、帰納法というのは、結局、言語の罠にとらわれている
言語的な命題があって、法則があって、それに現実が合う合わない、という。
命題の方から出発して、現実を見るのが演繹法。
現実の方から出発して、命題の確からしさを確かめるのが帰納法です。
我々は、言語だけで推論するわけではない。
ホモ・サピエンス、人間は、言語だけで推論するわけではない。
そういう問題です。これは、私は言語の罠と言っています。
実は、「言語の本質」という、中公新書からベストセラーが出ました。
そこでは、帰納法でもなく、演繹法でもなく、
チャールズ・サンダース・パースという人がいたのですが、昔プラグマティストでアメリカの人です。
彼が、アブダクション推論という言い方をしたんですね。
このアブダクション推論というのも、非常に分かりにくいのですが、
しかも言語の罠に依然としてとらわれていると、私は思っているのですが、
私はむしろ、このアブダクション推論というのは、非常にいいところまで行っていると勝手に思っているのですが、
私はむしろ、帰納法・演繹法は言語の罠にとらえられている
人間がする推論は実践的推論であるというふうに、とらえちゃった方がいいと思います。
これは、これまで構文論とか意味論とか、そして語用論の次元、
これはプラグマティックスの次元というのですけれど、英語ではね。
そのレベルで、非言語的なものも含めた、言語的ではない推論を、実は我々はプラグマティックに行っている。
今回タイトルは、リッスン・トゥ・プラクティスというふうにして、実践に聞けというふうにしたわけですけれども、
つまり、我々は帰納的に推論するわけでもなければ、演繹的に推論するわけでもない。
これは、言葉にとらわれた中で、証明のひとつの理念型、二つの理念型として、そういう証明の方法があるだけであって、
我々は日常世界においては、実践的に推論するわけです。
つまり、非言語的なものも含めて、つまりすべてが言語化できない中で推論しているわけですね。
なので、そういう意味では、帰納法、演繹法というとらえ方は、非常に狭いということです。
これを、私は先ほど言った、言語の罠と言っているわけですが。
この問題ですよね。演繹法や帰納法は、言葉にとらわれすぎています。
ただ、我々は実践的には、言語だけで推論しているわけではない。
すべてを言語化して推論しているわけではないという事実です。
これは、存在論的な事実と言っていいと思います。
これをベースにしながら、推論の問題は考えなければいけない。
記憶と予測の関係
要するに、言語的に表現されるのは一部なんだということです。
ところが、この問題は、どうしても言語の罠にはまってしまう場合が多いような気がします。
アブダクティブ推論、アブダクションの話は、またいずれ、機会を改めて考えようと思っています。
第3の推論として、パースがどう言っていたのかは、改めて考えたいと思います。
もう一つ、これは、推論とは結局予測の問題なんですね。
予測には、大きく分けて空間予測と時間予測、
時間予測は、エピソード予測、あるいは、エピソード記憶と関わる予測とも言えるんですが、
つまり、空間の記憶とエピソードの記憶があって
それが、空間と時間の予測と関連しています。
記憶がなければ、予測はできないわけです。
われわれが、実践的なものを含めて、実践的に推論するのは、いろいろな記憶を頼りにしながら、推論しているわけですね。
実践的に。
そこの問題が、とても重要だと思っています。
推論と記憶の関係。
これは、前回と前々回あたり、記憶の話、
それから、ちゃんと睡眠をとらないと、記憶は整理されないという話もしてきたのは、
そのような意味合いがあります。
だから、1つのテーマとしては、記憶と予測の関係、
特に予測の中では、空間予測と時間予測ですね、
エピソード予測、エピソード記憶と絡んだ予測といってもいいですが。
機械学習と推論の進化
これが実は推論、論理的な推論も実は
そういった問題と関係していることを、もう少し明確にしていく必要があると 思っています。
ここで機械学習について。これもLISTENにリンクを貼りますが。
そこに、いろんな画像データやリンクを貼ることができるので。
そこに、今の本の紹介もしておきたいのですが、
「大規模言語モデルは新たな知能か」という本がありまして、
そこを見ていると、短期記憶と長期記憶があります。
短期記憶と長期記憶を絡ませながら、われわれは予測をしていくわけです。
AIが今、自然言語を生み出せるようになったのは、
そういった仕組みが組み合わされて、だんだん自然な言語を 生み出すようになってきているという、
自然言語を生み出すっていうのは、結局予測の問題、あるいは推論の問題なんですね。
機械学習がここまで進化したことで分かってきたことは、
1つは短期記憶、これは自己注意機構、アテンションという仕組み、
それからもう1つはMLPブロック、これは長期記憶に関わるんですけれども、
詳しくは説明しませんが、
マルチレイヤーパーセプトロンという ニューラルネットワークを使ったブロックです。
これがいわゆるMLPブロックというものです。
これは実は過去に学習中に出会った情報を保存しておいて、
今直面している、処理している情報、あるいは処理している問題、課題と、
関係しそうな記憶を 読み出してくるということなんですね。
つまり 人間の脳で言えば 長期記憶に対応すると。
そのため 機械学習の ディープランニングの世界では ニューラルネットワークを 多層的に 大規模に進化させた中で、
実はそこに さらに短期記憶のシステムと 長期記憶のシステムを 組み込んだわけです。
その中で AIが自律的に 学習するような力を、 AIが自律的に論理的に推論する力を身につけてきたという話なんですね。
この仕組みと 人間の記憶と推論に 関わる問題 特に論理的な推論に 関わる問題は 非常に密接に 関連していると いうことです。
今 主に AIの場合は チャットGPTなど 自然言語の 生成モデルが 巷では 注目されていますが、
もう1つは 空間予測です。
画像生成を 含めて 空間予測は もう1つ 大きな領域です。
人間の推論は 空間予測が ベースになって、そこに 時間予測が 重なる形で、
さらに それを ベースにする形で 抽象的な 論理的予測 あるいは 論理的な推論という世界が 展開し 言語が 進化してきたと、
こういう順番なんだろうと 私は 思っているわけですね。
そのあたりを 実践的な推論という、
概念も クソもないんです
人間は 何かを 推論していると。 それは実践的に やっていると。
その前提から 出発して そこから 帰納法や 演繹法の 位置づけ、
それから アブダクション推論の 位置づけ、
そして 機械学習が 何をどこまで やっているのかを 整理していきたいと思っているんです。
出発点は プラクティス、 実践です。
非言語的なものも 含めた 実践的な推論というのを 存在論的な ベースにして、
そこから 出発して 言語的な 行為の 位置づけ、
そして 言語的な 行為として 行われている 演繹法や 帰納法の 位置づけ、
そして 機械学習が どこまで 進化してきたことで 人間と 似たような推論を、 空間と 時間、そして言語に おいて どのような 推論が 可能になって きたのかを 整理していきたいと思っています。
現時点で 整理できている わけでは ありません。
この出発点が 正しいかどうかも 分からないけれども、
おそらく 実践的推論という 概念を 手がかりに この問題を 整理してみたい。
今日の プライベート リッスンは ここまでに したいと 思います。
途中で わんこが 吠えました。
少し 動揺して ペースが くずれました。
わんこの わんは 編集で 消しました。
では また。
11:19
3 Stars

Episodes Mentioning This Episode

Comments