AIはこれまでの技術とはもう次元が違うんだと原理士はかなり強調しています。
次元が違う?
ええ、単なる計算機とか便利な道具とかそういうレベルじゃなくて、自ら情報を分析して意思決定してさらには新しいアイディアさえ生み出す可能性がある。
行為主体、エージェントになり得るんだと。
行為主体、エージェントですか。
でもそれって結局人間がプログラムした通りに動くだけじゃないんですか。
何がそんなに本質的に違うんでしょう。
それは重要なポイントですね。
AIがエージェントたり得るっていうのは、人間みたいにあるいはもしかしたら全く異質な形かもしれませんが、目標を持って計画を立てて世界に働きかける、そういう可能性を秘めているからなんです。
単に指示されたことをこなすだけじゃなくて、ある程度自律的に動くかもしれない。だからツールじゃなくてエージェントなんですね。
この異質の知能が私たち人間社会の基盤である情報ネットワークに深く入り込んできて、それを根底から変えてしまうかもしれない。
AIが自分で意思決定するかもしれないですか。それはちょっと想像を超えますね。それが私たちの社会に具体的にどういう影響がある可能性があるんでしょう。
例えばですね、デモクラシーの基盤ともいえる信頼。これが由来でしまうリスクがあります。
信頼ですか。
AIが悪用されると、ものすごく巧妙な偽情報を大量に作ってばらまいたりとか。
それで、世論を特定の方向に誘導したり、社体の分断を煽ったりすることが、今よりもずっと容易になるかもしれない。
なるほど。SNSとかで、いいねの数に無意識に影響されたりするじゃないですか。
そうそう、それです。
あんな感じで、見えないアレゴリズムが私たちの考えとか選択を知らず知らずのうちに狭めていって、自由な議論の場を蝕んでいく。
まるで魔法使いの弟子のグーバが、現代で現実になるようなそんな感じでしょうか。
ええ、まさにそういう危険性を指摘していますね。
気づかないうちに、操られてしまっている。資料にあるテクノクラシーとかデジタル独裁のリスクっていうのは、そういう流れの延長線上にある未来像ということなんですね。
そうですね。
つまり、技術を握っている一部のエリートとか、あるいは極端な話、AI自体が社会の実験を握ってしまうみたいな。
そういう可能性も原里氏は示唆しています。だからこそ彼は、この情報ネットワークの歴史、その仕組みとか力学をちゃんと理解することがもう不可欠なんだと説いているわけです。
歴史を理解することが。
ええ、過去に神話とかあるいは官僚性なんかがいかに社会を形作ってきたか、それを知ることがAIっていうこれまでにはなかった新しい要素がもたらす戦果を読み解く鍵になるんだと。
なるほど。
シリコンチップ上で動くネットワークっていうのは、我々炭素ベースの生命とはもしかしたら根本的な原理が違うかもしれないですからね。
確かに歴史という大きな視点を持つことで、今のこの状況がより立体的に深く見えてくる気がしますね。私たちはまさにこの情報との付き合い方が未来を左右する大きな分岐点に立たされているのかもしれないです。
ええ、この本はその情報と権力の関係、虚構が持つ力、そしてAIという非有機的な知能の大統っていう本当に壮大なテーマを歴史的な視点から解き明かそうとしています。
はい。
それによって私たちが今どこに立っていてどこへ向かおうとしているのか、その輪郭を浮かび上がらせてくれている、そういう本だと言えるでしょうね。
では最後に、これを聞いているあなたに問いかけたいと思います。
私たちは原理士が偉くこの新しい非有機的な情報ネットワーク、つまりAIが深く関与してくるであろう未来の情報網を本当の意味で理解してそしてコントロールしていくことができるんでしょうか。
それとも気づかないうちにその巨大な力にただ飲み込まれていってしまうんでしょうか。
これからあなたが情報とどう向き合っていくか、それが未来の社会の形、そしてあなた自身の在り方を決めていくことになるのかもしれないです。
でもなんか、なんだろうね、大きい重い本というか、何回か読みたいというかね、今今回はさ、これに向けてバッて読むぞって言って勢いで読んでるけど、なんかまた読んでもいいかなってしばらく経ってから覚える本というかな。
なんかめちゃ長いよね、上下巻合わせて。
長い。
600ページ以上あったので、これ全部読めました?
えっとね、正直に言うと下巻の方が面白いのに下巻の途中で終わった。
途中から、最後にこれ間に合わないなと思って、ちょうどなんかとよだくんがノートブックLMでうんぬんとかさやってくれたから、ひたすらまとめを集めて自分にインプットしてもらうように切り替えようとして、途中からね。
だから下巻の半分以降はなんかそういう形で取り込んでる。だから読んでるかって言われると読んでない、直接的に。
なるほどなるほど。
俺も下巻の途中しかまだ読めてなくて、全体主義かな、全体主義のところまでは読みました。
何、下巻の途中って言った?今。
下巻の途中。
だからね、下巻の方がむしろ面白そうな感じであったよなと思って。
下巻の方が絶対面白いと思う、これ。
上巻はあれだよね、歴史の話なんだよね。
そうそうそうそう。
中世ヨーロッパとか。
過去、人類はこういうことやってきましたよねっていう話で、下巻から一気にトーン変わって、
今現在の話とか、未来の話とか、AIを起点とする話になってくるんで、全くトーンが変わる。
そうだね。
で、下巻の方が面白いと思う。
そうだね。
でも、下巻の話の伏線になってるんだよね、上巻の。
そうだね。引用したりして、過去ここだったっていう話を元に点をつないでるっていうか。
そうそうそう。過去歴史上こういうことはあったよねっていうのを上巻でだらだらだらだらこう長々と話して、
で、下巻で今現状こうなってるけど、これって過去のこの時と全く同じ構造ですよねみたいな、そういう引用というか伏線回収をやるから、
やっぱ上巻から読んだ方が面白いっちゃ面白いかもしれないねっていう感じ。
で、この本で言ってる主張はさ、AIはやばいぞみたいな。
AIの危険性を継承している本かなと思うんだけど。
そうだね。
キャラ的には。
前、欲望の会でさ、AIに欲望を持たせてはいけないっていう風な主張したと思うんだけど、
多分問題意識としては全く一緒なんじゃないかなと思ったね、この人の問題意識と僕が感じてる問題意識は。
僕はなんかその直感で、いやこれはまずいんじゃないかって言ってただけなんだけど、
この本はもうかなり歴史の、過去の歴史から紐解いて、論理的にこうこうこうだからまずいよねみたいな、そういうことを述べてる本かなと思いました。
うんうんうんうん。うん、そうね。
なんかとよだくんがそういう風になんか持たせてはいけない、持てないんじゃないかって言ってたような気がしたんだけど、そうじゃなかったっけ?持たせてはいけないだったっけ?
うん。
それは持てない、最初それもなんか途中で言ったけど、その持てないんじゃなくて持たせる、持たせるべきではないっていう信念をなぜか僕が持ってるんだっていう話はどっかでしたと思うんだよね。
うんうんうんうん。
基本的にはね、そう方向性として一緒な気がする。
うん、一緒っていうか同じこと言ってんなって、僕は思ったんだけどね。
うんうんうん。
こんなにこんなにこうね、ちゃんと600ページもかけて説明はしてないけど、
うん。
基本的な問題意識は同じだなって思ったけどな。
うんうんうん。
あとなんかあるか?全体の感想は。
全体に関してね、なんかあの、強化学習の回、強化学習っていうかAIの回で話した強化学習の話とかね、今回かなり具体的な例というか出てきてて、
前回話したことがここでつながってて、とよだくんがおーわかるとか、そういうことだよねみたいな、なんかこういろいろつなげて読んでるんじゃないかなって思ったり、
あとは、一般医師の話をしたこと?ところも、これはつながるんじゃないかなと思ってて、
思った思った。
なんかね、いろいろ過去話してることがつながる点がいっぱいあるなぁと思ったね。
うん、そう。さっき言った欲望の回ともつながってるし、民主主義の回ともつながってるし、あのAIの回もつながってるし、
あと思ったのがその戦略の回で、目的に沿わない戦略はダメみたいな、
アライメントの回。
アライメントの話?とつながってるし、あとウェルビーイングの回でさ、最終的に何が良いのかを定義しないと、何がウェルなのかっていうのは目指せないじゃんみたいな話とかしたのも、
AIがその人間が良いっていう価値観、持つ価値観とAIが良いっていう価値観が多分ずれていくよっていう、
アライメントの問題につながってくるなと思ったんで、
だからこれまで話してきたこともかなりいろんな、総合的になんかここにつながってくるなって。
そうだね。
これここで話したな、これここで話したなとか、これここでつなげられそうって思いながらメモ取ったりとかして読めたね。
っていう感じですね、全体の感想としては。
で、どっから話そうか。
これが一番気になったところは?
一番気になったところ?一番気になったところ?
うん。
一番面白いなと思ったのが、そのAI、AIとは何かっていう話で、
今までの人間がいろいろ技術、科学技術みたいのを生み出してきたんだが、
AIはこれまでとは全く違うと、次元が違うというふうに言ってて、
今までの科学技術とか人間が生み出してきたものっていうのは、
そのネットワークね、情報ネットワークのノードとノードをつなぐ線の役割でしたと。
例えば物語とか文書とか、インターネットもそうだと思うんだけど、
人間っていうノードが無数にあったとして、そのノードをつなぐための線の役割ではあったんだけど、
今回新たに出てきたAIっていうのは、その線ではないと。
人間ではないもう一つのノードになってるのがそのAIですよっていうふうに言ってて。
なるほどっていうこの見方。
そこがやっぱりその今までの技術とAIっていうのが全く違う。
次元が違うんだっていうところが一つ面白い見方だなと思った。
そうだね。
一番の発見かなと思ったことがこれは。
僕もでもその身近で機械学習とか、
初期のしょぼい、コンピューターで何か処理するっていうのを見てると、
そんなにしょぼいっていうか何か大したことないと思っていたと思うけど、
実はその目の前で見てるものを一歩下がってみると、
結構ちゃんと意識し直さないといけないかもって思わされたねそういう意味で。
どういう意味だ?
AIって機械が人間の判断の代わりをできる、決断ができるみたいなことを問題視してたと思うんだけど、
すごくシンプルにしてしまえばさ、
気温が10度を超えたらアラートを鳴らしてみたいなのもさ、決断をしてるみたいな。
それでエアコンをスイッチ入れるみたいなのを例えばセットしたとしても、
そしたらエアコンが自分で決断して自分で動いてるみたいな風に言えるけどさ、
それってスイッチに温度設定して上がったらオンにしてってだけでしょみたいな。
それを見て危険視するってことないと思うんだよね。
単純だからわかるじゃんと。
僕は結構それの延長感があったわけよ。
機械学習とか言ってもインプットがちょっと複雑になって、
ある最適化をして基準が来たらパッとスイッチが入るとか、
たまに確率的にちょっと変わるとか、その延長でずっとこう、
でも結局はそのスイッチとか自分たちが仕込んだものでしょうみたいな感覚がどっかにあって、
それが大規模言語モデル、LLMだったとしても、
それの組み合わせでしょっていう感じで説明できてると思ってたんだけど、
どっかからそのなんかティッピングポイントっていうのかな、
なんかこう超え始めていて、
それでしょみたいな低く見積もるのは危険なのかもしれないって思い始めた。
同じものなんだけど、グラデーションで徐々に変わってて、
ゆで返るっていうのか、ゆで返るの例え話じゃないけど、
ずっとぬるまいに使っててだんだん上がってることに気づいてない。
でも最初っからゆっくり水に使ってる人はあんまりそのヤバさに気づかないみたいな。
なんかそういうとこに自分はいるかもって思った。
じゃあこの本を読んでさ、そのなんていうのかな、
そのAIの危険性みたいのに納得したって感じなの? しおくんの認知的には。
いやなんだろうね、まだ納得するってほど、
まだ腑に落ちてるかわかんないけど、
なんかそういうふうに認識し直す視点を持たないといけないかもって思った感じかな。
なるほどね。
そうかそうか。
逆になんか、ここは違うんじゃねーのとかさ、ここはなんか違和感だなとかそういうのはあった?
目的の設定のところとかさ、違和感っていうかな。
そうね、ちょっと今これすぐ言語化できるかわかんないけど、なんか僕は、
そのなんか例えば、どこだっけな、
SNSがさ、人間を操作してるというか、
よりこう例えば邪悪な内容がほうがバズるから、そのロジックが人間を操作させてるみたいな。
で、一回セットしたら、SNSとかは人間をそういうふうに仕向くんですよみたいな感じで書いてあったとこがあったと思うんだよね。
うんうんうん。
で、でも裏で、なんだろう、データサイエンティストとかさ、アルゴリズムを作ってる人たちが試行錯誤をめちゃめちゃ重ねて、
まあ結果、そこに行き着いてるんであって、
そこの過程みたいなのがすごいすっとばされてる感じはあったなーとかね。
あーなるほどね。
作る側の視点はあんまないなーと思ってて。
達成して、あたかも一回こうやろうと思ったらできちゃう。なんか世界観にはあるんだけど。
なんか僕はその中の裏のいっぱい失敗例も見てるから、そんな上手くいってない場合もある。
なんだけど、社会的にとか、このユワルさんの視点から見るとね、歴史的に見てると、
まあこれができて、これができて、これができてってこう、で加速して進んでる。
でも確かに加速して進んでるんだけどさ。
そう、なんかあんまりそんな簡単じゃなかったような気がするなーとかね。
なるほどね。
別に自分ができたわけじゃないんだけど。
はいはいはい。
でもね、それはちょっと思ったね。
あともう一個はね、なんだっけな。
ちょっと今一瞬ここまで来たんだけど、どっか行っちゃったまた。
じゃあ、これそもそもさ、ネクサスって何なんだっけとかさ、
そもそもどういう本なんだっけみたいな話ちょっとしてなかったなと思って。
そうだね。
ちょっと簡単に説明して、それの中でなんかしおくんが思い出せばそっちに戻ろうと思うんだが。
そもそもネクサスというのは、結びつきとか繋がりとか絆とかそういう意味合いらしいですと。
で、今回のこの話は情報ネットワークの話なんだよね。
うん、そうね。情報にフォーカスしてるよね。
で、人間というのは情報ネットワークを操ることによって協力したり戦ったりとかっていう。
情報ネットワークをどう生み出して管理維持していくかみたいなところが人間のパワーの源であるみたいな。
そういう話。で、今回その情報ネットワークっていうのがかなり重要なんだが、
AIが出てくることによってこの情報ネットワーク、今人間が作ってきた情報ネットワークっていうのが、
人間以外のAIっていう存在によって破壊されるとか混乱が生まれて、
人間が今で築き上げてきた情報ネットワークっていうのが変な感じになっちゃうんじゃないかみたいな。
そういう話かな、ざっと。
あとは、ホモサピエンスっていう本を前に書いてて、賢い人だと。
その賢い人がどんどん賢いものを作って、で、AI作ったけど自滅するようなものを作ってないと。
賢い人なのに自分の首を絞めるのことをやっているのに、本当に賢い人だと言えるのかみたいな。
なんかその矛盾みたいなのをついているようなのも一つのテーマかなと思ったのよ。
で、じゃあ何をすべきなのかみたいな。
その危機はまずそもそも迫っていることに気づいてますかってことと、気づいたとしたらそれをどうやって防ぐっていう話。
なんかその上下官の城の骨は、歴史の中にある情報のネットワークとか、人間がどうやって今の情報のネットワークにたどり着いたかみたいな。
過去の紙とか文字の発見とか。
あとは官僚制とかもその一つの情報ネットワークのいい例みたいな感じだよね。
そうだね。
なんかそのAIがさ、なぜそのAIがまずいのかっていうのがこのハラリさんの主張としては、
AIが力をつけると中央集権化すると。で、だんだん全体主義的になっていき、
全体主義的になっていくと、AIがこれが良いでしょっていうのがもう神の言葉みたいになって、
その神の言葉に従うように人間がなってしまうのではないかと。
その神の言葉はその人間、人間っていう物理的な肉体を持ってるものから出てきたこれが良いでしょではなく、
そのAIっていう物理的な体を持ってない人間とは違う価値観を持ったものから出てきてる良いでしょなので、
そのAIが考える良いでしょと人間が考える良いでしょがずれていく可能性があると。
それがずれた時に、AIにとってはいい世界なのかもしれないが、人間にとってはすごい悲惨な世界になる可能性があるので、
それがまずいって言ってるんだよな。
で、ちょっと先に気づきちゃったんだけど、そのAIが普及すると中央集権化するって言ってるんだけど、
これってそうなのかなっていうのはちょっとね、腑に落ちなかったんだけど、
AIが普及すると中央集権化するのだろうかって。
そうね。
中央集権っていうのが、とよだくんのイメージしてる中央集権っていうのはどんな感じだろう。
えっと、一つのものが、これは良いこれはダメっていうのを基準を決めるみたいなイメージかな。
うんうんうん。じゃあ、一つのものが決めるっていうのは、
物理的には分散してたらいいの?物理的にっていうのかな。
一見独自の判断を、例えば国ごととか地域とか分野ごとにしてるんだけど、
一歩離れてみて、結局同じパターンに従ってるじゃんだったら、それは中央集権なのかな。
いや、それは中央集権とは言わないんじゃないかな。
みんなが分散して個別に独立して、Aっていうものをいいねというのであれば、
結果的に99%の人がAがいいっていう風に言ってるんだったら、
それは中央集権的というよりは普遍的っていうことなんじゃないかな。
Aがいいだろっていう風に誰かが決めたら、それがみんなそう思わざる得ないみたいっていうか、
そうならざる得ないみたいな、そういうイメージかな。中央集権で。
そうね。なんかだから分散させることはできる気がするんだけどね。
デザインというか、実装する仕組みを分散してあげたりとか。
でもデータがたくさん集まってる方が、
というか一箇所でやる方が効率が良いから色々集まっていくみたいな傾向ある気がするね。
ほっとくとだから。
だからAIとかもさ、一つの会社が提供してるAIがやたらと強くなるみたいなのだと、
結構危険かなっていう風に思うんだけど、
例えば今大臣はオープンAIがいて、アンソロピックがいて、グーグルがいてとか、
イーロンマスクの会社がいてとか、
なんかそういう複数分散というか、してるのは良い状況なのかなと思ったけどね。
その牽制し合うというか、
一つが全てを牛耳る世界にならない良い防波堤になってるというか、
歯止めになってるのかなっていう気はする。
その一つの会社がやるよりは遥かに良さそうだよね。
一つの会社だけがGPTみたいなのを作ってて、みんながそれ使ってたら結構やばいのは明らかな気がするね。
そうだね。
なんか僕がでもさっき言った分散してたらいいのっていうのは、
なんかみんなそうやって独立に開発してるような風に見えるんだけど、
一歩下がってみると結局みんな同じロジックで、
全部、例えばお互いのオープンソースの基盤、基盤というか技術とかさ、
アルゴリズムとかを使ってると、
ある一定以内のロジックに収まってる。
で、それを人間が信じるっていうことには変わりないっていう状態があり得るかなと思ってて、
みんな同じ考え方してる状態に陥るみたいな。
オープンAIを使うが、Claudeを使う。
Chat GPTを使うが、Claudeを使うが、
人間は結局ね、そのAIのいいなりになってるみたいな。
うーん。
まあでも、なんだろうな。
もうそれでみんながそうなってるんだったら、
なんかそれで自然な気がしちゃったけどね。
みんながそれを使うのがいいと思って使って、
結果的にそうなるのであれば。
なんかあの、どの本だったかな。
なんか島でいろいろやり取りして、
もともと農業をしてたら、進んでる国から来た人が、
なんかこのカカオの豆だけ作ってみたいなことを言われて、
結果、搾取されてるみたいな例、
どっかの会で話した気がするんだけど、なんだっけ。
何かの本であったね。
そうそうそう。で、本人たちは一個一個のアクションは合理的だなと。
なんだけど、対局的に見ると、ある一種類だけを、
その島で工作する、作るっていうことだけしかできなくなって、
その力が弱くなってしまってるという状態。
落ちるみたいな。なんかそれになるんじゃないのってことを、
継承をならしてるのかなと思ったね。
このまま一歩一歩は便利だって人間使うし、
そのみんなが便利だって使いだした世の中にとって、
これは当たり前でしょっていうのを積み重ねていった結果、
人間は誰も決定をしなくなるみたいな。
いやでもそれはすごい感じるね。AIを今使っていて。
なんか今は短期的に便利だから、
なんでもかんでもAIにやらせようみたいな感じになってるんだけど、
短期的に見たときに、大事なものを多分、
いろいろ手放してるというか、失っている気がするんだよな。
それはどうなんだろうな。
なんかあんまり希望がないな。
でも最後ら辺で、希望はあるっていう結論だったような気がするんだけど、
終わりにとかを見る限りは。
でもちょっとその漢字の章が読めてないんだよね。
俺まだ終わりにまで行けてないからわかんないんだけど。
先に終わりにだけ読んで、一応希望がある終わりになってる風だったけど、
そのロジックちょっとまだ読めてないっていう。
まあでもそれはあれだよね。
たぶんこの情報ネットワークで言う物語だよね。
共同主観的現実を、たぶんこの本っていう体裁を取る以上は、
そういう希望あるよねみたいな、たぶんそういう見せ方にしないと、
収まりが悪いから。
たぶんそういう形にしてるだけなんじゃないかなっていう感じでしたね。
人間というフォーマットに合わせてきてる。
なんかその終わりにを書いてた気がするけど、
本当に希望がないんだとすると、
ここで議論する意味ないよねっていう話をしてた気がする。
議論して何かを変えられるという前提でいることに意味があるみたいな感じだった気がする。
短期的にはめっちゃいいんだけど、それをずっとやってると長期的に困るよみたいな。
あらゆるものがそれに該当する気がするんだが。
これだって絶対勝てない議論だよね。
長期的にっていくらでも無限に伸ばせるじゃん、その時間軸を。
一回でも長期的に時間軸伸ばしていって、
ダメだなっていう結果に落ちれば、その議論の主張が勝ったことになるじゃん。
だから、そうならないことを証明できないのと一緒な感じというか、
その議論が正しいのが絶対正しいんだよね、それが。
なるほどね、そっかそっか。長期的って言っちゃうとどこまで伸ばせると。
そっか、じゃあ。
だからなんか何だっけ、ほら、ジェフ・ペゾフが潰れない会社はないって言ってたりとかするんだけど、
時間軸を伸ばしたらどの会社も潰れるっていう。正しいじゃん、その主張多分。
で、同じく生物とかも同じで、絶対どこか滅びると。人間もいつかは。
多分それも正しそうじゃん、それが時間軸伸ばしたら。
もう一回何億年と経ったら人間は滅びてるって考えても不思議じゃない気がするんだよね。
だからいつかは滅びるっていう前提で言うと、さっき言った長期的に正しくないというか、
滅びること正しくないとするんだったらまあそうだよねって。
何だろうな、この本から得られる学びというか、資産は何なんだろうな。