00:06
みなさん、こんにちは。
研エンの仲は、神経科学の研究者のAyakaと、エンジニアのRyoheiが、日常の科学やエンジニアリング、カルチャーの話題までザックパランに話すポッドキャストです。
今回は、前回に引き続き、脳を人工的に作ってみようと思います。
おお、すごい!
まずは、神経細胞から始めますよ。
それでは、スタート!
1日目。
今日も実験開始だ。
昨日と同じように、培養液の中で細胞が分裂する様子を観察する。
ちなみに、この細胞は、昨日の実験で採取したものと同じものだ。
培養液の中にいる細胞の数は20個。
そして、分裂を終えた細胞が、それぞれ2つの核を持ち、4つに分かれていく。
その様子を観察しながら、僕は呟く。
おお、これは興味深いな。
どうしたんですか?
いや、ちょっとね、この分裂の細胞、細胞の分裂の様子を見てるとさ、
自意識について考えちゃったんだよね。
自意識ですか?えっと、どういうことでしょうか?
例えば、こんな風に考えてみて。
今、僕らがいる場所は実験室の中だけど、外には世界が広がっている。
はい。
これ、どこまでやるんですか?
そろそろ、はい、そろそろやりましょうね。
というわけで、今回はAI系の中の企画を考えてもらうということで、
AIに考えてもらった台本が、今聞いてもらった。
はい、茶番です。
茶番ですね、はい。
というわけでですね、今回はですね、AIノベリストという、
AIを使って、ディープラーニングですかね、
を使って小説を書いてくれる、続きを書いてくれるというツール、
ウェブサービスがあるんですけども、
それを使って台本を生成してみるという遊びをやってみました。
はい、これ意外と、なんだろう、
こう、研究者、エンジニア、あと神経科学エンジニアの話題を、
要素入ってますよね。
拾ってくるんですよ。
これ以外にもそういうやつの割合が高くて、
私最初見たときは、
あ、これなんか過去のポッドキャストの内容とかが、
きっと入ってるんだろうなと思ったんですけど、
これってその最初に与えたデータってどこなんですか?
あのですね、話した内容の中で、
皆さんこんにちは、圏の中はっていう説明と、
今回はっていうところまでを入力としてます。
なので、続きを考えてねっていうお題をAIに出したわけですね。
で、そこからAI考えたのは、前回に引き続きの人工的に作ってみようと思います。
以降ですね。
なるほど。
全部、はい、AIが続きを生成してくれたというものになります。
これすごいよね。
はい。
なんかまあ、小説風の自分がたりが入ってるのも、
03:03
それはやっぱね、そういうものを元データとしてしたからなんだろうなと思いつつ。
いや、その今回のテーマはの続きだけで言うと、
例えばどういうのがあるかっていうと、
なぜ人間は文字を発明できたのかですから始まるとか。
面白い。
そうそうそう。
そんな、まあでもなんか早速質問なんですが、
人間って文字を発明したときどんな気持ちだったんですかね?みたいな質問が台本の中にあったりとか。
そうそうそう。
で、私のセリフとして書かれているのが、
えー私なら絶対にやりたくないけどなーって言って、
だってこれ考えるだけでめちゃくちゃ疲れるじゃんって言ってて。
なんか自然なんだけど、ギリ気持ち悪い。
そう、ギリ気持ち悪いね。
いやでも、相当なんだろう、成り立ってるよね。
会話がなんか、微妙に成り立ってないときもあるんですけど、
成り立っているときはすごい成り立ってて、面白いんですよね。
ぼーっと読んでると、全然違和感を時々感じなく読めてしまうときがあって、
いうのはすごいですね。
あとね、多分ポッドキャストがラジオっぽいものだと理解していて、
お便り来るんですね。
お便りめっちゃ来ます。
お便りの捏造っぷりがすごいんですよね。
なんかね、お便りは確かいっぺんその、
お便りが来ていますってところまでも入力として与えてみたこともあるんですけど、
それなしでもお便り来ました。
自動的に。
お便りが出てきたパターンのやつ一個紹介しますか。
はい、そうですね。
なんかね、事前に僕10個ぐらい生成して、
彩香さんに共有して、その中で面白かったものを読んでるんですけど、
これかな、なんかシステムエンジニア35歳の人から来たやつ読みましょうか。
じゃあこの核AIお便り紹介しますね。
では今日も早速質問が来ているので紹介します。
ラジオネームお悩み相談係さんから。
私は今年で35歳になるシステムエンジニアの男なのですが、
最近仕事に対するモチベーションが全く上がらないのです。
エンジニアという職業を選んだ以上、
仕事にはやり合いを感じたいと思っていますし、
そのための努力を惜しみません。
しかし最近は自分の技術力に疑問を感じてしまい、
転職を真剣に考えています。
もし何かアドバイスがあれば教えてください。
すごいガチなやつだ。
しかもこれに僕たちが台本で書いてある反応がまたこれはヘビーだねっていう。
あやかさんが私もちょっとそういうところあるけどさ、
なんとかなるよねっていう。
レスポンスまでね。
レスポンスも考えてくれてるんですね。
ちゃんと3者の会話になってるというか、
お便りに対して考えてる様子っていうのが出てくるんですよね。
このお便り、そもそもこれ疑惑としては当然あるのは、
元にあった文章そのまま。
どっかから丸ごとコピペしてるんじゃないかって思いますよね。
と思ってGoogleとかで完全一致の検索とかするんですけどないんですよ。
06:03
だからそれっぽい他のなんだろう、
35歳のエンジニアあるあるみたいなやつから抽出してるってことなのかな。
じゃないと、このお便りの長さとかフォーマットとかもすごいっぽいじゃないですか。
それなんかお便り、悩み相談として投稿される内容を理解してないとこれできない。
確かに。
でも聞いたとか、たくさん悩み相談のフォーマットってあるわけで、
知恵袋とかでもそうだけど、
そういうのでどういう悩みが投稿されているのかっていうのを多分学習してるんですよね、これね。
すごいですよね。いずれにせよ。
もう一個お便りあるんですけど、
今度はラジオネームTさんからのメッセージですということで、
初めまして、私は都内でベンチャーを経営しているものなのですが、
最近ビジネスモデルをどう構築すべきか悩んでいます。
2つの会社を経営していますが、
すごいですね。
どちらも社員数5人程度の小さな会社です。
また私はもともと理系出身で研究職でしたが、今は経営者としての研究も必要となり、日々試行錯誤の連続です。
お二人の意見をお聞かせください。
なんか上手いこと言うてるなみたいな感じなんですよ。
すごいね。しかも結構義理ありそうみたいな。
そうそう、義理ありそうな。
そこでAIがビジネスモデルについて交渉をたれるというか、アドバイスをしているのが面白いですね。
僕がビジネスモデルについてなんですけど、僕はこれしかないと思っていて、顧客を幸せにする仕組みを作るということですね。
で、私はAI上でのあやかがどういうこと?って突っ込みを入れてますね。それに対して。
面白い。
いやー、そう。本当にこれは一部、何だろう、ポッドキャストの書き起こしじゃないですけど、それを教師データとしてこれを吐き出されたって聞いたらまだ何か納得できるかなと思ったんですけど、
最初のね、今日のテーマはっていうところまででこれだけ作ってくるっていうのはすごいな。
でも、ポッドキャストっていうキーワードがこのラジオフォーマットみたいなのを作ってるところが多分あるんですよね。
テーマトークみたいなのをある程度誘導してあげてるわけですね。今回のテーマはっていうところまで入れてる。
それなしでどうなるかもちょっと気になりますけどね。
そうですね。
あとは面白かったのありました?
ロエさんに言われて私も今さっき手元でやってみたんですけど、今回のテーマは人間の脳ってどういうことでしたねっていう感じで話し始めて、
そうですね。今回は特に人間が意識をどう捉えるっていうのかについて話しましたみたいな。
すごい気になりますね。そのまま続けてってなります。
09:00
ここで一旦CMに入るって。
CMあるんだ。提供が入ってる。
提供が入ってる。
世界観ではね。
そうそう。っていう回がありました。他なんかお気に入りありますか?
僕はお気に入りはちょっとホラーっぽいやつです。子供が、実は子供がいます。
あ、そっか。じゃあちょっとやってみます?これ。ロールプレイ。
やや飛ばしながらやりますか。
うん。
今回は彩香さんの今の悩みということなんですけども、何について悩んでるんですか?
はい。実は私には子供がいます。
え、子供いるんだ。
はい、それがですね。
なんでそんな話になるのか理解不能だけど、これはもうしょうがない。僕は彩香の話を聞くことにした。
ここ小説、小説帳ここ。
どうしました?
どうしました?子供が生まれたことですか?
いえ、その前にですね、実はこの子男の子じゃないんですよね。
どういうこと?
ちょっとこの辺ちょっと意味わかんないや。
そうなんだ。じゃあ女の子なんだ。え、それでどこで生まれたの?っていう。
はい、まあそれはいいとして、そろそろ本題に入りますよ。
実は最近ですね、うちの息子が私のことをママって呼ぶんですね。
はい、でも私は結婚してませんし、当然妊娠もしてないわけですよ。
だからパパと呼んでほしいという話を息子にしたら、ママっていう答えが返ってきたんですよ。
なるほどね。
これ結構怖いですね。
なんか何が起こってるのかわかんない。
自立関係が想像できないですね。
ね、でもなんかこう1センテンスずつを取り出すと、結構まあありそうだなみたいなのはあるんですよね。
うんうん。
なんかまあ彩香さんのことを途中から男だと思ってしまったみたいな。
多分そうですね、いやその辺のジェンダー感も結構面白いなと思っていて、
なんかりょうふぇさんいろいろ試してましたよね。
彩香、りょうふぇって入れちゃうと、なんか私がなんとかだわとかよとか、
なんか普段しないような女性的な言葉遣いがされてしまって、
なんか違和感あるから、なんかこうジェンダーニュートラルになるように、
AとRだけ入れると、なんかお互いジェンダーニュートラルになるとか。
そうですね、登場人物の名前から性別がリークしちゃって、
まあそれは当然、それで学習したんだったらいいと思うんですけど、
小説のデータから学習したらいいと思うんですけど、
まあ僕らがあんまり使わないような、なんだろう、なんとかだわとか、
いいなーみたいな、そういう感じになっちゃうんで、
それが減らせないかなってことで、頭文字だけにしたら結構減りましたね。
なんかそれがマックス出てるのはあれですね、
なんかあら私は女の子の方がいいと思うけど、みたいな。
もうあなたったら気が早いんだから、
どこの小説から撮ってきたらこうなるんだって。
ハートマーク入れてきたからね。
そうそうそうそう、ややその辺のジェンダーステレオタイプはきついなっていうのはありましたよね。
12:01
まあね、でもやっぱ世にあるネット小説とかから撮ってくると、
特になんかこういうノリもところどころ入ってくるって感じ。
そうですよね。
思ったより結構クールなというか、
たぶんその神経科学エンジニアリングっていうのを拾ってくれて、
いい感じになっている感じがしますね。
結構なんか脳をアクロバティックな方向で使うことが多いなと思って見てましたけど。
SFみたいな小説とかから引っ張ってきている。
そうですね、なんか会話の中にVR技術を使って仮想空間の中で寝るっていう急速方法が出てきたりとか、
これ気になるよね、普通に気になる。
気になる、これどういうこと?みたいな。
なんかこれは神経科学者の知り合いが脳を休ませる方法として紹介してくれたやつなんですけど、仮想空間の中で寝る。
そう、ヘッドセットをつけてそこで映し出されている景色を見ながら寝るというものです。
これどうなるんだろう?
みたいな会話をしてて。
本当に存在するのかな?そういうところから出てきた。
どうなんだろうな?仮想空間VRみたいなのはどっかから取ってきて、寝るっていうのはまたどっかから取ってきたのかな?どうなんでしょう?本当にあるのかな?そういうの。
でも本当にはないけど、こんなアイディアを考えてくれるってすごいことですね。
確かに。
ありそう。
あれですよね、大根を剥いたチュチュの絵が出てくるってGPT-3を使ったデモがあったじゃないですか。
ありましたね。
あんな感じで、存在してないものを作るみたいな感じなのかな?
いやー、すごい。結構、アイディア出しとかにもしかしたら本気で使えるかもしれないですよね。
我々もネタ切れになったら、これでネタ作ってもらいましょうか。
そうですね。今度はリアルにネタ出しを協力してもらおうと思います、AIで。
それから仕組みの話をAIノビリストのページで読んだんですけど、これも結構面白かったです。
一応、その解説を読むと、エルオーサーAIっていうプロジェクトを元に、
なんとかなんとかっていう名前のモデルをベースとして、500GBの独自コーパスで、
68.7億パラメータのAI小説生成向けにフルスクラッチで訓練したものです。
なので、GPT-3っていうオープンAIがやってるプロジェクトの名前が出てきたんですけど、
それとは独立に、そのGPT-3の論文を元にオープンソースで研究者たちが作ったモデルですね。
これをトレーニングデータ独自に取ってきた、持ってきた開発者の人がトレーニングして、
それを提供してるっていう、すごいですね。それを個人開発でやってるっていうのもすごいし。
15:04
須田さんっていう人がやってるみたいなんですけど。
で、モデルのサイズとしてはオープンAI GPT-3 QLEに匹敵するサイズです。
入力は5300億文字分くらい。
文庫本で言うと176万冊分の知識をインプットして圧縮したAIと表現できますというふうに言ってます。
いや、すごいですね。
なんか情熱を感じますよね。
これ日本語で新しく作ったっていう。
たぶんモデルは海外、その英語を元に作られたものを。
それを翻訳してる最後だけって感じ?
いや、じゃなくて、彼がやったのは、彼があって、ちょっと想定しちゃいましたけど、
須田さんがやったのは、あれですね、このモデルを取ってきて、
で、たぶんフルスクラッチ訓練してやっていたから、
自分のスクレーピングとかで取ってきたインプットデータで全部訓練したから、
ファインチューニングとかではないんじゃないかな、ですね。
なので翻訳とかは噛んでないです。
日本語で、日本語インプット、日本語アウトプットだとは思います。
なるほど。
僕の理解正しく。
いや、すごいですね。これはめちゃくちゃ計算環境も必要なんじゃないですか。
なんか、これはGoogle TRCっていう、TPUのテンセルプロセンシングユニットっていう、
なんていうんですかね、機械学習に特化したコンピューテーションハードウェア、
計算支援を作っているチームが、信用提供してくれたって言ってます。
なので、クラウドでやるクレジット権利をくれたみたいな感じ。
なるほど。
この、なんて読むんですか、エウレサーAIか。
そうですね、未だにちょっと読み方がわからないけど、
エルーサーAIのかな、とりあえず仮でそれでいきましょうか。
エルーサーはなんだっけ、ギリシャの神様かなんかの名前から来てる。
そうなんだ、じゃあ正しい日本語定訳がありそうですね。
エレウーテルか、エレウーテルはギリシャ神話の登場人物のことです。
このエルーテルAIは、なんかあれですね、GPT-3っていうオープンAI、
いろんなIT企業が主導してAI研究をしている組織ですけど、
が作ったGPT-3っていうモデルがオープンソースじゃないので、
それをオープンでやろうっていう、ちょっとオルタナな取り込みっていうことですね。
そうですね、GPT-3がフェイクニュースとかフィッシングメッセージの生成に悪用されることを考えて、
18:08
オープンAI的にはそれが理由でGPT-3のコードを完全公開してないらしくて、
独占したくてってよりはどっちかというと、まだそういう悪用を避けるためっていう理由らしいんですけど、
とはいえやっぱりそういうGPT-3みたいなめちゃめちゃすごい、なんというか言語モデルが独占されていてオープンじゃないっていうのは、
他の参入したい人からしてみると残念なことなので、
自分に匹敵するようなものを作りましょうっていう方向で多分作られたっていう感じですかね。
このエレウーテルっていう、エレウテルAIか。
あとはもしかしたらそのジェネリックなものじゃなくて、結構その元のモデルも小説を対象にしているのかなっていうことで、
そのデータの収集とかそのモデルの作成が、
なんでもできるAIに比べるとやや簡単っていうのはもしかしたらあるのかな。
エレウーテルAIはでも小説だけなのかな。
AIノベリストが小説だけで、エレウーテルは別に。
多分エレウーテルはそういうわけではないんだと思う。
そうみたいですね。
そうですね。
じゃあその小説についてトレーニングしたのは、この須田さんが日本語のコミュニティ向けにやったってことかな。
うん。
だからあまりにも自然な日本語と自然な文脈、推測が出てきて、めちゃめちゃびっくりしたのと同時に、
我々が喋ってることって、もうすでにAIにもだいたいできるのかっていう衝撃も同時にありましたよね。
我々はAIより面白いことは言えてるかどうかっていうことですね。
会話の噛み合い方とかも、酔っ払うとこれぐらい噛み合わないことあるよなぐらいの微妙なところをついてきてるよね。
正直、いわゆるいかがですかブログみたいな、クオリティの低い記事って、これより噛み合ってない印象結構あるよなっていうのは思っちゃいました。
いやー、すごいですね。
すごいですね。
であると同時に、さっきちょっと発見したと言ったジェンダーバランスみたいな話とか、いろんなやっぱ、なんだろう、当然元データにバイアスが含まれていると、そういうバイアスが出力にも出ていっちゃうので、
そういう懸念は、やっぱりこういうふうにあるんだなっていうのは、実体験として理解できたというか、のは面白かったですね。
し、本当に、なんだろう、そういう対策もしていかなきゃいけないんだなということですね。
確かに、そうですね。
なんか、この、我々はそのポッドキャストの書き出しに使ったんですけど、普通に小説の書き出しとして、書いてみたらどうなるんだろうって試した人がたくさんいるみたいなので、そういうのも見てみると面白いかなと思います。
21:07
そうですね、AIのベリストは無料で遊べるので、ぜひ試してみてください。
はい。
じゃあそんなとこですかね。
はい。
AIのポッドキャストよりも面白いポッドキャスト目指して、今後も頑張っていこうと思います。
いや、まあでも、張り合うんじゃなくて、やっぱ助け合っていきましょう。
確かに、AIとね、共生していきましょう。
そうですね、まあなので、今後も困った時にはAIにネタを提供してもらいながら、はい。
はい、じゃあまあそんなところですかね。
最後にやりたいことがあるんですけど、我々いつも最後、さよなら、さよならって言って終わってるじゃないですか。
で、なんと別にこれは我々のデータは全然入ってないんですけど、AIが作ったその原稿の締め方に、こう2人でバイバイっていうやつがあるんですよ。
それやってみましょうか。
AIが締め方を考えてくれててね。
そう、締め方考えてくれてて、ちゃんとね、そのバイバイに至るまでにも若干セリフがあるんですよ。
すごいポッドキャストっぽい。
うん、ポッドキャストっぽいんですよね。
で、全然なんかなんだろう、まあ物によっては本当に途中までしか書いてないんですけど、これはそのこの出力に関してはスタートからちゃんと終わりまであるんですよね。
それがまた面白いなと思って。
じゃあそれやりましょうか。
そう、AIの締め方で今日は終わりたいと思います。
はい、それでは本日はこの辺にいたしましょうか。
そうですね、皆さんいつも聞いてくださって本当にありがとうございます。また次週も聞いていただけると嬉しいです。
それではバイバイ。
