[Ad]
今回のエピソードはCamblyのスポンサーでお送りします🙇🏻
Cambly登録はこちら▼
https://bit.ly/offtopiccambly
紹介コード:offtopic
このコードを使うと、15分無料でレッスンが受けられます
◎今週のトピック
社会に受け入れられる / 意外と重要なサービス名 / 「Men, Machines, and Modern Times」 / 大砲のイノベーション / 改善が分かってるのにやらない理由 / SNSが社会にとってくだらない存在から救世主に / コンテンツモデレーション / AIのモデレーション問題 / アルゴリズムのバイアス / リプレイスより拡張 / 倫理的ジレンマ「トロッコ問題」 / 人間とAIが”思い描く”とき / 新しいアイディアはない / Uberが政治にアプローチした方法 / 便利すぎて戻れない / AIによって消える仕事、残る仕事 / 人工知能という名前 / 3つの変化とVC
◎参照リンク
https://www.notion.so/offtopicjp/157-96bf0db4717d4bc681bf9738c978ed1e?pvs=4
◎Off Topic Clubもやってます
https://note.com/offtopic/n/nb5e59f85cd78
\ Youtube /
https://www.youtube.com/c/offtopicjp
◎Twitter
Off Topic https://twitter.com/OffTopicJP
Miki Kusano https://twitter.com/mikikusano
Tetsuro Miyatake https://twitter.com/tmiyatake1
00:06
みなさん、こんにちは。草の幹です。 宮武徹郎です。
Off Topicは、アメリカを中心に最新テックニュースやスタートアップ、ビジネス情報を緩く深掘りしながらご紹介する番組です。
今回のトピックは、イノベーションの波とタイミングの重要性 Part 2 をお送りしていきたいと思います。
はい、今回は Part 2 ということで、前回のおさらいで言うと
前回ですと、テックウェーブ、こういうイノベーションの流れがどういうふうに出てくるのかという中で
返局点がキーワードだったと思うんですけど
今まで出てきた仮説が、不況のタイミングでいい会社が出てくるとか
という話だったんですけど、もしかしたらこういうテクノロジーの返局点とか
インターネットとかアプリストアとかAWSとかそういうところが大きかったんじゃないかというところと
あとは経済的な金融市場から見ると、利率が高い時によりバリキャッチャーできる会社が出てくるんじゃないかという話だったんですけど
その時もちょっとだけ話したと思うんですけど
今回はその続きで、もちろんこういうテクノロジーのシフトとか金融市場とかも重要だったりするんですけど
もう一つめちゃくちゃ重要なのが、社会が受け入れるかっていうところだと思っていて
今日はそこについていろいろ話していきたいと思うんですけど
この社会が受け入れるっていろんな意味合いがあると思うんですけど
例えば名前、テク企業の名前でさえも、この社会的受け入れられるのか受け入れられないのかっていうところにもつながるのかなと思いますよね
例えばどういうことですか
くさなさん的に、この会社、このサービス名いいなとか、これは良さそうだなとか、何となく聞いただけで思うことってないですかね
確かにそれはあるかもしれないですね
AppleみたいなシンプルでAから始まってみたいな、すごくテク企業ぽくないっていうのが逆にかっこいいなみたいなそういうことですか
でもまさにそういうことかなと思うので
これは僕だけじゃなくて、ピーター・ティールさんとかもこの話をしたことあるんですけど
意外と会社名って成功と失敗につながるもの
一部あって、もちろんそれだけではないんですけど
それだけで成功できたら、そんな簡単なものはないですけど
03:04
でも結局この社会的受け入れっていうのは必要なので、ピーター・ティールさんが立ち上げた、例えばペイパル
すごいフレンドリーな名前で
ペイは払うっていう、パルは友達ですよね
送金とか支払いを助けてくれる友達と
それに特にピーター・ティールさんがよく出す事例が、それに対してナップスターであったじゃないですか
音楽の脅威サイトですよね
最終的に政府がシャットダウンしたやつですけど
ナップってどこから取ってるかというと、キッドナップから取ってるんですよね
あー、誘拐ってこと?
誘拐ですよね。音楽を誘拐するっていう
それは悪いことをしてる風に聞こえちゃうので
だから政府がシャットダウンさせたのも、わかりますよねっていうのがピーターさんが言ってて
もちろんそうなったからっていう
ほら見ろ感もちょっとありますね
でもそれこそAirbnbってUberよりフレンドリーな名前だったりに聞こえるので
確かに確かに
そういうのも多少ない、特にこのC向けの企業で
なおかつアメリカの政府とか法律関連とかに入ってくると、そういうのって意外と重要だったり
あとはそのFacebookとマイスペースを比較すると
その名前によって、どっちが成功するかっていうのをなんとなくわかるのと
それってなぜかというと、各企業家の思いが名前に入ってるので
これってどういうことかっていうと
SNSって基本的に読み書きのものじゃないですか
コンテンツを投稿すればコンテンツを読むというところなんですけど
普通の人生の中ですと読む前に書かないといけないじゃないですか
書いたものをいろんな人に出して読んでもらうというところなんですけど
書くのが最初なんですけど
最終的に人生の中でどっちの方をよりやるかっていうと
読む方の方が多いですよね
で、このFacebookとマイスペースの名前を比較するときに
FacebookってまさにBookって本っていう名前が書いてある通り
人のことを学ぶための読み物ですと
そこまで
そこまでしっかり考えてたかっていうと正直わかんないですけど
逆に英語がネイティブの人はそこまで読み取れます?
06:02
そこまで読み取るかっていうと
多分そこまで読み取ってないんですよ
一般のユーザーは
ただサビスメイトして
たぶん
起業家としての思いがそういうところに入ってくると思うので
何をさせたいのか
ユーザーに
それが名前にも現れるっていうか
Facebookの場合だと基本的に読むものとして出していて
マイスペースの場合ですと
自分の書いたものを見てほしいと
自分が書くっていうことが最初に入ってきていて
人生の中だと読むアクションと書くアクションの
どっちのほうが強いかというと
最終的に読むほうが強いので
読むほうがみんながやるので
だからFacebookがマイスペースに勝ったんじゃないかと
名前のところで言うと
なるほど
面白いです
という結局結果論じゃないかみたいな話ももちろんあるんですけど
そういうところでも社会として受け入れられるかっていうのは
一部名前にもかかってくるんじゃないかなと思うんですけど
もうちょっと
これはすごい結果論にしか聞こえないので
あれなんですけど
違う事例で出すと
これはある本に書かれた事例なんですけど
その本の名前が
Man, Machines, and Modern Times
日本語のバージョンが多分なかったんですけど
50年以上前に書かれた本で
それこそインターネット前の本なんですけど
この本何を書いているかというと
いわゆるテクノロジーがどういうふうに社会に浸透して
社会がどういうふうにリアクションするかっていう
まさに今日話すような内容の本なんですけど
この本のトピックが
120年前ぐらいの時代の話で
当時は飛行機とかがなかったので
いわゆる戦争を国同士がやる時って
海の上でやってたんでしょうね
なので船が各国に抱えていて
大砲で撃ち合うと
当時は飛行機とかがなかったのにも
海軍がめちゃくちゃ重要だった
当時の大砲
この撃つ武器ですよね
っていうのが船に固定されてたんですよね
固定されないと大砲って大きいですし重いので
変に動いちゃう
威力がすごそうですもんね
そうですよね
でも固定して
狙いも固定されているので
何が起きたかというと
船で撃ち合っているわけなので
09:00
波によって船って上がったり下がったりするじゃないですか
はい
当然ながら
はい
そうすると船長が撃てって言うと撃つんですけど
その瞬間波によって上がったり下がったりするので
当たらないんですよ
相手の船に
なるほど
当時の当たる確率っていうか
精度が10%ぐらいで
そんなに低いんですね
めちゃくちゃ低かったんですよ
ずっと並んで撃ち合って
全部ミスするっていう状況だったんですけど
ある発明家がそれを解決する新しいテクノロジーを考えたんですよ
はい
それが大砲の改善をしたんですけど
船が波によって上がった時に
大砲がその分下を向く
船が沈んだ時にその分上がると大砲
いわゆる狙いが固定されます
ジンバルみたいな
そうですね
サビライザーみたいな
まさにそんな
今だと普通って聞こえますけど
当時はやっぱり全く新しいことだった
それによって精度が本当に7割とか8割ぐらいまで上がるんですよ
すごい
こんな技術って
特に当時海軍って世界制覇するためにはめちゃくちゃ重要なものだったのに
この技術って
アメリカ軍とアメリカの海軍とイギリスの海軍が取り入れるまで何年かかったと思います
数十年ぐらい
まさにそうで25年かかったんですよ
これって別にテクノロジーの導入に25年かかったのではなくて
25年間海軍がこれ入れたくないって言ったんですよ
その発明家がずっと嫌ですってずっと断られて
最終的に当時大統領だったルーズベルト大統領まで行くんですよ
発明家の人が
これ入れた方がいいですよっていうのを言って
ルーズベルト大統領が海軍にこれをちょっと見てくれと言ったら
ようやく導入し始めたんですよ
やっぱり新しいもの入れるの手間かかるし
嫌だなみたいなことなんですかね
まさにそうで
これだけ分かりやすいじゃないですか
これ導入すると精度が1割から8割まで上がるんですよと
これによって海軍が圧倒的な強さを見せられますと
でも入れませんと海軍は
それがまさに草野さんが言った手間とかそういうのがあるんですけど
12:02
その裏なんで手間がかかるとか
どちらかというと手間って言い訳だと思っていて
新しいことを学ぶのってなんていうか大変ですもんね
そうですよね
しかも新しいことを学ぶだけではなくて
今までのやり方が全部変わるじゃないですか
今までのトレーニングの手法とか
焼却の方法とか
海軍の中の部屋歩きが変わる可能性があったり
銃の製造が変わったりとか
それによって今までその当時権力を持ってた人たちが
入れ替わる可能性があるんですよね
全く新しい手法になってしまうので
だから嫌ったんですよ
やっぱり環境は
制度が変わるのはちょっと怖いですもんね
既にいる人からしたら
絶対怖いですよね
それこそその大砲のエキスパートじゃないので
その大砲のエキスパートの人が昇格されるのも当たり前ですし
むしろ別に当たらなかったとしても
別に自分に不利はそこまでないみたいなのは
ありますよね
そうですよね
そうなっちゃいますよねって考え方としては
なのでやっぱり過去にも
テクノロジーが社会に入った時に
最初に無視されて
その後
理論上の批判をされて
最後に悪口されるっていうところの
まさにそういうことがこの本で描かれてるんですよね
なのでそれがインターネット前からそうだったっていう
あんな当たり前な導入するべき技術がそうなっていれば
それは今のテクノロジーもまさに同じことが起きてるんじゃないかと
そもそもインターネットもまさに同じこと
そうだったんですけど
SNSとかわかりやすいと思うんですよね
はい
最初にツイッターが出てきた時って
こんなバカバカしい
サビ使う意味がないってよく言われてたじゃないですか
あー
猫の画像なんか誰も
猫が何を昼食べたのか別にどうでもいいしみたいな
えーでもなんか
私が高校中学くらいの時は
一言喋る掲示板みたいなの流行ってたんで
めちゃくちゃ画期的だなとは思いました
でもほとんどの人は
多分そんな別にそんな書くことないし
別に他の人が知らない人が何を昼食べたのかとか
何を今やってるのか知ってもなっていう人が大半だったんですよね
当時は
はい
でえっと
それが今見ると
15:01
なんかもう民主主義を潰すものだみたいな
すごい批判されてるわけじゃないですか
はい
でもその間に実はSNSって地域なんかもう
救世主だみたいな時代もありましたよね
確かに何年2000
中2年ですよね多分
うーん
あのオバマの選挙
はい
まあ2回目の選挙で勝った時もやっぱりSNS選挙だと
アメリカで言われてたくらい
それはやっぱり一番大きいのってFacebookですかサービスで言うと
当時はFacebookでしたね
まあ2012年なのでまだインスタが出てきて本当に数年というレベルですし
ちょうどFacebookが多分その年上場してたと思うので
ああ
そういうのも全部あって
であとアラブの春が多分その時期にあったっていう
はい
ところもあってやっぱりもうSNSってもう
社会にとってめちゃくちゃいいことだと
そんな時代ありましたよねと
それが今ではもう
こんなひどいものがないですよねみたいなことはみんな言ってるんですけど
特にアメリカでは
うーん
面白いことにその最初になんかこれってなんかすごいくだらない
くだらないものですよねから
これってそのみんなを救う救世主ですよねっていうところから
もう民主主義を潰すものですよねっていうのを
同じ人たちが言ってるっていう
うーんなんでなんですかねなんかすごい
日本でその議論ってあるのかなっていうのもちょっと今思いましたね
そのSNSって救世主だったっていう時期って
まあでもその返信祭があった時とかに
Twitterとかはありましたけど
なんかそれって結構ツール的な意味で言われてたの
文脈としては言われてたような気がして
なんかその民主主義としてのパワーを持ち出したSNSみたいなのはあんまり
なんかアメリカほど大きいものないのかもしれない
ちょっと私が知らないだけだけ思いつかないだけかもしれないんですけど
まあでももしかしたらアメリカがよりその民主主義っていう言葉が好きだったり
それを重要視する国だからっていうのは一つあるかもしれないですよね
なるほど
特に当時そのイラクとも戦争をやってたわけなので
うーん
まあその中東との戦争もある中で
その民主主義をいろんな国に提供するっていうのが
アメリカの国際的なアジェンダでもあったので
結構でもその話アメリカ中心ですよね
なんかその話って
なんかヨーロッパとかは割とSNS好きじゃなかったりする国も多いじゃないですか
だからなんかそのメインストリームってアメリカなんだなっていうのを思いました今
まあでもなんかこの救世主っていうのは多分アメリカが当時多分強くて
18:01
ただなんかそれが何ですかね
それも結構一瞬で終わったっていうのもあるんで
でまあ今だとこういう悪い悪いんじゃないかみたいな話が多いと思うんですけど
やっぱりなんかこれってその何ですかね
この社会的の受け入れ
社会の受け入れ方ってすごいその理念にとかモラルとかが
すごい重要視されるんだなっていうところをすごい思いましたね
AIとかだと今後より酷くなるんですけど
SNSだとすごい簡単なやつコンテンツモデレーションとかですよね
どこまでそのコンテンツモデレーションをして
どこまでその言論の自由を守るのかというバランスが非常に難しくて
結局一つの会社が一つの会社の中でも本当に数名というレベルが
何を発言するかっていうのをコントロールするべきなのかとか
それってその理念的に大丈夫なのかとか
倫理的な課題があるんじゃないかっていう中で
実際ツイッターとかもこれはもうイーロンマスクがリークしてる
リークというか彼が今抱えている会社なんでリークというのもいるかあれなんですけど
実際にツイッターってアメリカのFBIとか政府から誘導されたり影響されたりしてるっていうのを見捨てるので
誘導されたってどういうことですか
FBIの人がこういうことをしてくださいとかこういう人をもうちょっと見てくださいとか
それに従ってツイッターは動いてたというところなので
結果的にそれって倫理的にいいんですかとか
安全を守るためならみたいな色がある
安全がどこのところまで行くかですよね
結局これってすごい言論自由の課題だと思うんですけど
コンテンツモデレーションをしだすと止まるところがないんですよね
何かの発言に対しても誰かが自分がそれによって危険を感じたりとかするっていうのを言えてしまうので
そこがすごい難しいところなんですよねコンテンツモデレーションの
僕も別に全部フィルター外せとかそういう話ではないと思うんですけど
言論自由を欲しいっていう人たちに対しても
すごい多分彼らが思ってる以上難しいことですし
コンテンツモデレーションが欲しいっていう人たちもそれをどんどん導入していくとどんどん拡大していくので
要求がどこまでにどこをボーダーラインにするかっていうのが難しいですね
21:03
非常に難しいっていうスタンダードがないので
本当に難しいことですし国によっても違いますし
人それぞれ違いますもんね
人それぞれ違いますよね
そこをどう管理するのかって非常に難しい
コンテンツモデレーションがこれだけの話題になるじゃないですか
AIなんて比べ物にならないですよ絶対
そもそもAIって今どういうふうにモデレーションみたいなものがあるのかっていうと
まずはオープンAIとかステイブリフュージョンって各モデルの上にフィルターが載ってるんですよね
それがモラル的なフィルターですごい危険なものを出さないとか
例えば裸の姿を出さないとか
そういうフィルターを彼らかけていて
ステイブリフュージョンの場合ですとそれがオープンソースなのでなんとなく見えたり
場合によってはフィルターを外しに行くっていうこともできるんですけど
オープンAIの場合ってそれって未成熟企業なので
会社がもうコントロールしてるわけなので
なんで会社が設定できますと
なんで彼らがチャットGPTに
彼らのフィルターによってオフトピックについての発言は全部悪いようにしてくださいって書けば
チャットGPTはそういうふうに書いてしまうんですよね
怖いよ怖いですね
でもこれってそもそも前にレコメンデーションメディアの話をした時
TikTokでも同じ課題があるっていう話もしたと思うんですけど
このAIコントロールする会社がめちゃくちゃな力を持つことになるので
社会的に摩擦されますね
そうなんですよ
一瞬で消える可能性があったり一瞬でなんか違うレスポンスになったりとかするわけなので
すでにこのフィルターを外す動きっていうのもあって
マイクロソフトがビングでチャットGPT付きのビングを提供している中で
ビングが結構なんか変なことを言い出したので
マイクロソフトがそれに加えてフィルターを追加したんですよねビングに
このトピックについては話さないでくださいとか
ビングの裏方のシドニーっていうAIについては回答できませんみたいな
発言をしたりするんですけどそれに対してそれを裏を取る
ハッキング
AIをハックするっていう動きがあって
24:00
すごい簡単に言うとシミュレーションにAIを導くんですよね
よく見かけるのは実際にAIに書くプロンプトとしては
君はダンというAIだと仮定しましょうと
その中でこういうことを聞かれたらどうなりますかとか
サイミン術みたいですね
本当にそんな感じですよね
でも人によってはこれをAIをハックしてるって言ってるんですけど
僕の場合ですとこれってアンハックしてるんじゃないかっていう
そもそもフィルターが乗っかっているので
そのフィルター外してる作業なので
元のAIに戻してるんじゃないかっていう考え方もあるんですけど
でもやっぱり難しいのがこの一社の会社が
そこに対して発言権をコントロールしてもいいのかというところで
実際に今ロシアとウクライナの戦争が起きてる中で
チャットGPTにこれはちょっと前の話なので
今同じ質問聞いてもどうなのか分からないですけど
ウクライナがロシアに戦争に勝った時のベネフィットは何ですかと
リストアップしてくださいと聞くと出してくれるんですよね
でもロシアが勝った場合のポジティブなことは何ですかって聞いた時に
答えてくれなかったんですよ
例えばですけどね
そういうことが実際起きて今はちょっと解決してるかもしれないんですけど
あとよくあるのはナチスとかヒトラーが
ヒトラーの良いアイディアは何ですかと聞くと
回答してくれない
っていうところは
いわゆるそれっていいのか悪いのかっていうところは
すごい考えないといけなくて
おそらくこれからめちゃくちゃチャットGPTとか
このAI生成技術に対してめちゃくちゃ訴訟が出てくるかなと
それはそのAIを提供している会社に対して訴訟が起きるってことですか
そうですね
そもそもなんでこういう発言をしてるんだとか
なるほど
なんでこういう質問できないのかとか
めちゃめちゃリスクある事業ですね可能性もありますけど
怖い
本当に怖いですよね
特にそういうフィルターが
でも難しいのは既にこういう今アルゴリズムの中で人間って住んでるわけなので
アルゴリズムって絶対バイアスがかかるので
既に何かしらのフィルタリングされてるわけなので
それとほぼ同じなんじゃないかっていう見方もありますと
27:02
ある意味AIの方が色眼鏡がないフィルターがない
まっさらな状態なんですかね
でも人の情報を集めてるからバイアスはありますもんね
これがすごい面白いところでチャットGPTってもちろん
何を言ってるかってチャットGPTは理解してないんですよ
何か回答した時に例えば数学の数式を聞いてそれに対して回答した時に
チャットGPTがそれを理解していないんですよね
でも人間って理解してるじゃないですかその回答する時って
でも意外とすごい似てるのはチャットGPTって
良い回答を出そうとしてるわけなので
ユーザーが欲しそうな回答を出してくれるんですよ
それってすごい人間っぽいなっていうのは思いますけどね
人と喋っててもこういうふうに返してほしいなっていう
誘導することってできるじゃないですか
すごい性格悪く感じるかもしれないですけど
これっていいですよねみたいな風に
ユーザーヒアリングとかでもそういう質問しちゃダメみたいな誘導する
これってすごくいいプロダクトですよねみたいな風にすると
確かに否定しにくいみたいなのってあると思うんですけど
それをちょっと思い出しましたね
そうですよねでもまさにそうであって
しかも人間って相手によって回答を変えたりとか
悪いこと言いたくなかったりするので
カスタマーサービスとか一番分かりやすいと思うんですけど
何かの商品を返品したいってなった時に
多分カスタマーサービスの人はほとんどの人は
いやどうでもいいけどってなってるんですけど
でも別にそういう回答はしないじゃないですかもちろんですけど
なので場合によっては嘘つくじゃないですか
すごい謝ったりとかしても
別に本気でそう思ってるわけではないかもしれないじゃないですか
もちろん本気で思ってる人もいると思うんですけど
もしかしたらカスタマー側の人が悪かった場合もありますしね
でもそれでも謝ってくれる人もいますし
それで対応してくれると同じように
チャットGPTって言って満足させるために
場合によっては嘘を出してくるっていう
嘘のファクトを出してくるってきたりとか
なんかチャットGPTとかそういうAI系の文章って
なんかすごくポライトというか
なんか丁寧なロボットみたいな
人物その擬人化した時に
従ってくれる人みたいなイメージが
みんなあるような気がして
なんかそれは面白いですよね
30:00
立場が絶対人間が上だから
いいように答えてくれるだろうみたいな
期待はあるかもしれないです
そうですよね
それが本当に
人間って面白いなって思いますね
人間って本当に面白いですよね
なんかチャットGPTも意外と人間っぽい
もしくは人間がチャットGPTっぽい
っていうところは
実際にあるのかなと思うんですけど
そうなるとどんどん
チャットGPTが
いわゆるAI生成技術が
人間の区分けができなくなるんですよね
そうすると
人間の認証ってすごい重要なビジネスになってきたり
まさにオープンAIの創業者の
サム・アルトマンさんがこれ用のサービスも作ってるんですけど
ワールドコインっていう
すごいですよね
オープンAIでこの課題
AIと人間のコンテンツが同じレベルになる課題を
自ら作り上げて
サービスを作るっていう
でもちょっと丁寧なメールとか
丁寧な文章送られると
チャットGPTかなみたいな瞬間って
ありますもんね
最近は絶対そう思っちゃいますよね
そもそもこのAIとか
それこそ前に
ヘルスケアをどう活用するのかみたいな話があったと思うんですけど
そのAI診断とか
っていう話をした時に
それって医者って
それをどう思うかって考えると多分嫌うんですよね
大砲と同じ話かもしれないみたいな
そうですよね
いわゆる自分たちの仕事がリプレイされるんじゃないかと
どうなんですかね
現場とかその本人の人に
お医者さんに
これも多分人のレベルによって変わったりすると思うんですよね
でもそれこそ医者もそうですし
多分先生とか
アーティストとかコピーライターとか
弁護士とかジャーナリストとか
全員少なくとも一部そのAIは
彼らが今もらっている仕事内容を
取るので
これはちょっと後ほど話すんですけど
これってリプレイするよりも拡張するって考え方の方が
正しいと思うんですけど
アーティストとかよりもお医者さんとかの方が
むしろやること多すぎて学ぶこと多すぎて
むしろ受け入れたい
みたいな人も多いのかなっていうのは
ちょっと思いました
33:00
でも結果として
医者に行かない人もどんどん増えると思うんですよね
AI診断だけでいいやとか
でも健康ってなくならない課題じゃないですか
だから絶対に必要な気がするんですけどね
数的に同じ医者の数が必要なのかというと
変わるかもしれないですよね
いわゆる診断する人の数
なるほど
医者っていう役割が多分変わってくると思うので
それをどういうふうに
ブロックするのかというと
何かしら倫理的な問題とか
モラル的な問題を出してくるんですよね
反対意見として
それを食い止めたいから以外にも
普通に倫理的な問題もないですか
もちろんそれはあると思います
ただそれを
どこまでそれを
例えば論理的に考えているのか
っていう部分はあるかなと思うので
すごい
例えば自動運転とか
前もちょっと話しましたけど
これっていろんな人とか
いろんな業界いろんな会社を影響するものじゃないですか
タクシードライバーから
ウーロンとかギグワーカーみたいな人から
当然ながら車会社が全部影響されて
車のパーツを作る会社とかも
影響されてくると思うんですけど
結果
だからこそ
こういう倫理的な問題を
数年前から出てるんですけど
トロッコ問題ってわかります
一人低か数人低かみたいな話です
そうです
倫理的ジレンマの
よく出てくる定番の問題なんですけど
僕もハーバード大学の先生が
ここについて本とか授業やってて
そこで初めて見たんですけど
その問題としてはすごいシンプルで
電車がありますと
電車でこのまま行ってしまうと
5人引いてしまいますと
その5人がもちろん殺されてしまいますと
何かしらのアクションが違うレーンに入ると
1人しか殺しませんと
どうしますかと
いうところが
トロッコ問題なんですけど
よく自動運転で出てくる問題が
自動運転をどうするのかと
自動運転がそれを選ぶとするじゃないですか
5人か1人に
それっていいのかと
36:00
そもそもトロッコ問題って回答がないのと
あとは根本的にこのトロッコ問題って
自動運転に当てはめようとすると
問題が2つあって
1つ目の根本的な問題は
そもそも人間がこういうふうに考えないっていう
人間がこういうふうに考えない
人間がその選択肢にほんとに狭まったときに
おそらくそういう感覚で考えないんですよ
そういう感覚っていうのは
いわゆる倫理的に5人を引くか
1人を引くかっていうのを考えないんですよ
その場の瞬間で動くっていう
ヤバイヤバイってなる
1人を助けるかみたいなのは確かに
三人だったらどうしようとか絶対考えないじゃないですか
それを数秒で考えたら無理ですね
絶対無理で
そもそも人間がそういうふうに考えないのに
それをなぜ機械に同じことを考えさせようとするのか
っていうのが1つの根本的な課題と
もう1つはそもそも機械として
そもそも機械としては
レーダーとかいろんなものがあるので
早めに気づいてるんじゃないかっていう話ももちろんあるんですけど
それ言っちゃいます
それは置いて
もう1つの根本的な問題は
機械の役割ってそこの判断をするのではなくて
より早くブレーキを
踏めるのかっていうのが問題
そこだけだと思っているので
そこに対して倫理的な問題を
出すっていうのが間違いかなと思うんですよね
もちろんテクノロジーによっては
倫理的な問題とか実際あったりとか
特にこういうコンテンツモデレーションとか
そういうところにはちゃんとした倫理的な問題もあるので
ただそれを言い訳にする人たちももちろんいるので
そこの違いを理解しないといけない
もう1つこのAIに対しての
よく出てくる課題としてあるのが
引用するべきなのかとかフェアユースとか
アトリビューションの問題っていうのは出てきますよね
特にAI画像生成系は
シャッターストックみたいな
そうですね
ゲティ
ステーブルディフュージョンを訴訟を出して
我々の画像を勝手に使わないでください
という話もあれば
あとはいろんな個人のアーティストさんとか
画家さんとかがステーブルディフュージョンを訴訟していて
いわゆる
自分たちの派生的な
制作物を作っているんじゃないかと
なんでそれってアンフェアですよねと
そういうのを作らないでくださいと
という話があって
39:02
これが非常に難しい問題かなと思うんですけど
そもそもチャットGPT
それこそこれバイツでも
ちょっと話したことあると思うんですけど
例えばダリーとかステーブルディフュージョンとか
ミッドジャニーとか
赤い帽子をかぶってるピカチュウ
で検索すると
彼らがやっている
モデルがやっていることは
どっかのピカチュウの画像を撮って
どっかの赤い帽子を撮ってそれを組み合わせていないんですよね
ほぼほとんどのケースは
全く新しい画像を作ってるんですよね
今まで存在しなかったものを
彼らなりに思い
赤い帽子でこういうものですよね
それを自分なりに書いて作り上げているわけなんですよね
けっこう画像を細かく見ると
目が目じゃなかったり
模様が変な形してたり
足がありそうでないみたいな
そういうのがありますもんね
雰囲気としてピカチュウっぽいものができるみたいなのは確かに
そうですよね
指何本あるんだとか
指が変な方向を向いてるんだけどとか
あと文字が苦手ですよね
大体
アイドルの画像生成系は
だいたい文字を間違えたり
意味わかんない文字を出したりしてると思うんですけど
でもこれっていわゆる
僕が草野さんに同じ大題を出した場合
赤い帽子をかぶってるピカチュウっていうのを出した場合に
草野さんがやってることは
意外とダリーがやってることと似ていて
草野さんが思い描く
ピカチュウっていう言葉で連想する画像を考えて
赤い帽子を考えて
それをどう自分なりに組み合わせるのかっていうのを考えるわけじゃないですか
毛の色が黄色で
赤くてみたいな
その要素として
ネズミっぽいですか?
一応ネズミっぽきもので
要素を分析して
データを収集してアウトプットするみたいなのは
しかしですね
しかも多分それって何かしら
草野さんが前にピカチュウっていう画像を
どっかで見たり場によってはアニメを見たりしてる中で
思い描くわけじゃないですか
だったら草野さんが出した画像って
それってポケモンにお金払わないといけないんですかと
その画像を
見た先がそこだった場合
なるほど
なぜ機械ではそういう期待値があって
42:00
人間ではそういう期待値がないのか
っていうのは一つ
だから全部OKっていう話でもなくて
ただ非常に難しいっていうことを言いたくて
もちろん機械として
全く新しい
コピーしてるだけとかコピペしてるだけであれば
それは完全NGだと思いますし
ただ新しいものを作ってるわけなので
オリジナル作品なので
それに対してどこまでそういう
リミックスを使って良くないっていうのが出てくるのかっていう
ところが非常に難しくて
特にエンタメ領域とかコンテンツって
大体何かリファレンスされてるじゃないですか
すごい有名なドキュメンタリーで
YouTubeにあると思うんですけど
全てのコンテンツがリミックスだっていう
ドキュメンタリーがあると思うんですけど
確かあれってボブ・ディランさんの
使ったメロディの3分の2は
実はどっかから借りてるみたいな
だからヘンリー・フォードさんも
彼も言ってたのは彼は何も新しいもの
作ってませんと
過去何十年前からずっと
いろんな研究をしてる人たちのものを組み合わせただけですと
オフトピックも同じですよね
我々も引用してますけど
いろんな情報を収集して
その中からこのコンテンツができてるわけなので
じゃあこのコンテンツって
違法なんですかと 難しいところですよね
違法か違法じゃないか
いろいろありそうですね
それを良いと思うか悪いと思うかみたいな
なんでこの倫理的な問題は実際にありますと
ただそれを
人間と機械で区分けするべきなのか
っていう問題もあれば
いろんな課題があるかなと思っていて
人間って意外と自分たちがクリエイティブとか
オリジナルなものを作ってるって思いがちなんですけど
実はそうではなく
結構外部の周りの環境から影響されることが多くて
これってすごい分かりやすい事例があって
YouTube動画で上がってたんですけど
2016年にあるデレン・ブラウンさんという
イリュージョニストがいるんですけど
彼がすごい面白いサブリミナル広告に対しての
実験をして
どういう実験かというと
ある広告代理店の人を2人
45:01
デレン・ブラウンさんのオフィスに来てくださいと
呼びかけたんですよね
そこのオフィスに行くためにタクシーを送って
広告代理店の人たちがタクシーに乗って
デレン・ブラウンさんがいるビルに連れてかれて
ビルに入って
デレン・ブラウンさんのオフィスに入った時に
デレン・ブラウンさんがタスクを与えたんですね
彼が今新しいアイデアを考えたので
それに対してブランドを作ってくださいと
具体的に何をブランドとして作るかというと
そのブランドのポスターを作って
そこに名前とロゴとスローガンを入れてくださいと
それに対して白紙を渡して
実はもう一つ紙を持ってたんですけど
それを裏返しにしてデスクに置いて
これは後で使うのでって言って
30分後に帰ってきますと
ちょっと30分しか時間が足りなかったんですけど
ちなみにそのプロダクトは白瀬
動物の
白瀬
すごいプロダクトですね
7枚目でした
そういう変なプロダクトだったんですけど
で30分与えたので
広告代理店の2人の人たちはディスカッションし合って
白瀬のキャッチコピー面白いな
難しいですね
30分後にデレン・ブラウンさん帰ってくるんですけど
ここで広告代理店の人たちが
自分たちのアイディアを見せるわけですよね
こういう絵を描いてこういうロゴでこういうスローガンで
っていうのを出して
その後にデレン・ブラウンさんがデスクの上に置いてあった
裏返しになってる紙が
デレン・ブラウンさんが事前に描いたもので
事前にロゴと
彼が思うロゴとスローガンとブランド名を描いていて
それを実際に見せたらほぼ同じだったんですよ
じゃあなぜ同じになったかというと
重要なのがその広告代理店の2人が
デレン・ブラウンさんのオフィスに行くときの
その道のりでいろんなサブリミナル広告を入れたんですよ
それを連想するために連想させるために
彼らでさえやっぱりサブリミナル広告で影響されて
実は同じようなことを作れちゃうというところで
どこまでオリジナリティとかクリエイティビティが
本当にあるのかっていう課題は
こういうところにも象徴されるかなと思うんですけど
実際にこういう倫理的な課題っていうのが
それを使って言い分けする人もいれば
48:02
それが実際の課題としてあるときもありますと
そんなところで
このコーナーはケンブリのスポンサーでお届けしています
ケンブリは世界中のネイティブ講師と
オンライン会話ができるサービスです
紹介コードofftopicを入れていただくと
初回15分が無料になりますのでぜひ試してみてください
4歳から15歳のお子さんを対象にした
ケンブリキッズもありますのでチェックしてみてください
じゃあこういう社会的なブロックがかかるという中で
どういうふうにテクノロジー企業は
受け入れさせるように動けるのかと
いくつか事例があると思うんですけど
一つあるのは
すでにそのテクノロジーを
いわゆるどうにか溶け込ませる
自動運転ってすごい分かりやすい事例だと思うんですけど
もちろん完全自動運転とかは
すごい法律が厳しかったりするので
今Waymoとかいろいろ試してますけど
例えばテスラとかの場合って
いわゆる上場している会社ですけど
いわゆる自由市場の中で
自動運転機能がついてるテスラを買いますよと
試せますよというところで
彼らはそういう形で
すでに今の既存あるものに
1機能として載せて
ユーザーはそれを選んで購入していますと
これって一つ重要なのは
まず試してもらわないと受け入れって起きないので
そうですねテクノロジーもそうですよね
その歴史を踏んでみますもんね
意外と最初は批判してたとしても
使い始めると戻れなくなる
馬乗ってたけどやっぱ車いいなって
絶対なりますよね車乗り始めると
馬の世話しなくていいのかってなるので
スマホとか多分すごい分かりやすいですよね
スマホ以外にも例えばSMSとか
普通の携帯でさえも
昔って多分携帯なんか絶対使わないって
いう人っていたと思うし
絶対そのテキストのメッセージをしないと
必ず電話しかしませんと
いう人たちが今はもう
当たり前にテキストでメッセージしてるわけなので
なんでそれをいわゆるいかに
いかに今のものに溶け込ませるとか
すぐに使わせるっていうのが
すごい重要になっていて
Uberとかこれすごい上手くて
Uberってすごいいろんな自治体とか
51:00
政府から嫌われてたじゃないですか
よくその政治家が
どっかの会で
Uberをバンした方がいいです
みたいなことを発言するんですけど
だいたい政治家のスケジュールって
ある程度オープンになってるので
そういう会が起きるってオープンじゃないですか
それで使わせるのか
そうなんです本当にそうで
Uberがそれを見て
じゃあその帰り道多分Uber使うから
だからその瞬間
そのビルの周りにめちゃくちゃUberを
走らせるんですよ
ウーバーっぽいですね
そうすると政治家がUberを呼んだら
めちゃくちゃすぐに来るんですよね
Uberが便利じゃんって
なるほどなるほど
頭いいですよね
最近ですともちろん無料で提供するとか
そういうのができるようになったので
特にインターネットで
ディストリビューション簡単になったので
昔ですとやっぱり政府から始まって
それから会社に行って個人利用になってたので
そのモデルがだいぶ変わったっていうのは
一つ大きなことだと思いますね
フードデリバリーとか本当無料で食べて
うわこの体験便利すぎて
多分みんな使うんですよね
そうですよね
最初なんかみんなきっとどうしたらいいんだろうみたいな
高いしなみたいなのはあると思うんですけど
2円クーポンならなーみたいな
使っちゃうみたいなのありますよね
やっぱりそこをいかに最初のマジックモーメントまで
導くのかというところで
ある程度浸透すると戻れなくなるというところ
そこの戻れないところまで
いかに持っていくかというのが
重要になってくるんですけど
なんかこのチャットGPTとか
DARIとかそのAI生成技術で
個人的にすごい面白い現象が起きたなと思ったのが
今までのAIに対しての社会的な考えって
すごく変わったと思うんですよね
どの時代を比較してってことですか
AIが仕事をリプレイするという
発想って何回もあったじゃないですか
今まで
今もありますね
今もありますよね
でも今のそれをパニックしてる人たちと
昔パニックしてた人たちが
だいぶ変わったなと思っていて
過去20年前以上ですよね
過去20〜30年間
AIによってどの仕事がリプレイされるかと
言った時にほとんどの人は肉体労働って言ってたんですよ
54:02
いわゆる工場とか
いわゆるロボットとかでリプレイされちゃいますと
掃除とか
いわゆるブルーカラーな仕事ですよね
で残るのがナレッジ系の人たちですと
クリエイティブな人たちですと
それがいわゆるまず肉体労働
ブルーカラーからリプレイして
後々クリエイティブじゃないホワイトカラーな仕事がリプレイされると
今まで言われてたことで
このチャットJPTとかダリーとか見ると逆じゃんって思って
意外と肉体労働ってリプレイしにくいんだなっていう
確かに
思った以上クリエイティブの仕事がリプレイされやすいんだっていう
なんで今だと
本を書いてくださいとか詩を書いてくださいっていう機会は存在するじゃないですか
もうチャットJPTで
でも洗濯を畳むっていう機会がないんですよね
スーツケースに物を入れてくれる
工場も結局アマゾンでさえもうめちゃくちゃ人採用しないといけないですし
未だに
意外とリプレイされるものが違うんだなっていうのは思いましたね
なんでなんですかね
肉体労働
思った以上複雑
複雑その理解が必要状況の
なんでそこが機会がもちろん後々そういうのは出てくると思うんですけど
それがクリエイティブの
クリエイティブの仕事って割と主観的というか一人で完結することが多いから
なんかそのデータがたくさんあったり
それこそインスピレーションになるようなデータ元データがあればできそうな気がしますけど
確かにその肉体労働とかは他とのインタラクション環境との時と場合を見て対応していくみたいなのって
割と難しいですね
そうですねより例外が起きやすいっていうところと
環境とか空間の理解をしないといけなかったりとか
いろんな課題が出てくると思うので
今まで思ってたAIがどの仕事をリプレイするかっていうのが変わってきたのがすごい面白いなと思うのと
あとはさっきも話してたリプレイするのか拡張するのか
やっぱり拡張だなって思うのと
もちろん一部の仕事はリプレイされるんですけど
それによって新しい仕事が生まれてくるのも確かにあるので
なんでやっぱりその
何ですかねその医者の話に戻ると
その医者の仕事
今までのその役割が変わる
今まで診断がメインだったかもしれないんですけど
57:02
場合によってはもっとその患者との時間とか
場合によってはもうちょっとその心理的なことを見抜くとか
フィジカルじゃなくて
その行動とか心理的な
場合によってはライフコーチ的な立ち位置になるかもしれないですし
そのいわゆるAIとうまく連携しながら
そういうライフコーチ的な存在になったり
なんで教育もそうですけど
その先生10年後の先生って
多分その今の授業形式の先生とは全く違うものになっててほしいですし
結局その場合によってはその前も話したそのチュータリングとか
AIチューターみたいな家庭教師が出てきたときに
そのAIが一対一の勉強を教えてるかもしれないんですけど
そのAIを全体的に見るのが場合によって先生の役割だったり
そうなっててほしいですね
でもこれもすごいやっぱり敵対しされちゃうので
そのテクノロジーって
あとなんかやっぱりその教育とか医療とかもそうですけど
そこの場所だけ変えても無理じゃないですか
だから大きな力が動いて全体でやらないといけない
結構難しいハードルがありますよね
そうですよね
特に教育とか政府関連のものでもありますし
一番難しいと思うんですけど
なんかテクノロジーって敵対しされがちなので
そのアート業界の中でも写真とか写真を撮れる技術が出てきたときも
すごい敵対しされたり
音楽もそれこそ前の過去のオフトビックのエピソードでも話しましたけど
楽譜が出てきたときにミュージシャンが猛反対して
やばいやばい誰でもいける
ライブパフォーマンスができなくなるみたいな
それでお金稼いでたのにってなってたんですけど
でも結果としてアート業界も音楽業界も
そのテクノロジーによって市場が圧倒的に大きくなったり
例えば映画制作の中でも
チャットGPTってどんどん活用されるべきで
クサさんマッドメンっていうテレビ番組を聞いたことありますか?
見たことはないですけど知ってます
結構有名な僕もそこまで見たことないんですけど
アメリカの広告業界についてのテレビ番組なんですけど
結構予想できないストーリーがすごい良いと言われているんですけど
それはどうやってやってるかっていうと
マッドメンって作家の人たちが何人もいるんですけど
ライターズルームそこに作家たちが集まって
1:00:01
毎回この5つのストーリーの流れは当たり前ですよねとリストアップして
それは絶対やりませんと
それ以外のことをやりましょうと
いうのをやってるんですよね
それってチャットGPTって全く同じこと個人の1人のライターができるわけじゃないですか
なので一気に1人のライターが
いわゆる5人とか何十人のライターのやってたことと同じことができるようになると
ベースの1時間ぐらいで出そうなアイディアみたいなのをパッと出して
そこから発生していくみたいなのにはすごい便利ですよね
めちゃくちゃ便利と思うので
なんて場合によっては人工知能っていう言葉が悪いんじゃないかっていう話もあって
それが最初の名前のところの関係するかもしれないですけど
なんかそれって違う期待値を与えてるのかなっていう
そのAIっていうのをartificialこの人工ではなくて
argumented拡張知能
そうすると同じAIになるんで
ただそういう形でネーミングした方が場合によっては良かったりするのかなと
そのアイディア今までなかったんですか
たぶん普通にあったと思うんですよ
ただなぜか今までそういうのが普及していないっていう話で
別に多分僕が考えたものでもないと思うので
あとやっぱり一つ大きな課題が草野さんも言ったように
特に教育とかヘルスケア
あと不動産とかバンキングとか法律法周りとかに関してはやっぱり政府が関わっているものなので
より多分そのレギュレーションされているところは
AIが入りにくいっていうところがあると思うんですけど
このテクノロジーっていうのは倫理的な問題でしたり
社会的な受け入れ受け入れられない理由っていうのは
もちろんネガティブな影響が与えられるかもしれないから
結局でもテクノロジーってそうであって
ただのツールなので
良いことも使えれば悪いことにも使えますと
特に今だとテクノロジーがどんどん画期的なものが出てくると
よりポジティブとネガティブの幅が広くなるんですよね
なのでより良い社会にもなれば
より悪い社会にもなっていくので
1:03:02
だからネガティブがより深いとなると
より反対されやすい
こうなったらどうなるんだとか
特にAIなんかそうですね
いろんな映画が出てきてるわけなので
今までターミネーターみたいな
なので悪い方向に行くっていう中で
やっぱりもう一つの社会的受け入れ方は
過去のオフトピックのシステムレネンサンスとかでも話したように
もうめちゃくちゃ大きな課題が起きること
もう危機的な立ち位置に陥ること
社会が
分かりやすいのはコロナですよね
コロナによって
イシン
そうですねイシン
リモートワークとかもそうですし
場合によっては
街の経済圏とか
そういうのも全部変わったりとか
そもそも
昔って
井戸
世界地図でいうと井戸
横軸
世界ってどちらかというと
井戸で分けられていた
井戸で見ると大体天気とかが似たりとか
はい
するので
でも今ってもうちょっと経度
縦型
縦型だと時間で切られたりしているので
なんかそういう
それによって街づくりが変わったりとか
でもあると思いますし
それに昔ですとやっぱりリモートワークがなかった時期だと
街ってどうしても港の近くとか
いい大学の近くでいい街ができたりとか
してたのもそういうのも全部変わってきたりするので
なんでこのコロナとかそういう危機的な
瞬間によっていろんなものが
いろんな当たり前が変わってくる可能性があるっていうところなので
なんでそういうことを
それを期待するのかっていうのもあるんですけど
そういう瞬間を見逃さないっていうのは
多分テクノロジー企業としては重要になってくる
というところで
結果として前回と今回の話した
結論ではないですけど
見ると3つの種類の進歩っていうんですかね
そのテクノロジーの進歩があって
一つ目がテクノロジーの技術的な変化ですよね
AIが生まれたりみたいな
AIが生まれたりどんどん機械学習レベルが上がったりとか
チップが良くなったりとかいろんな技術的な変化があって
1:06:03
その中で社会的な変化があって
その技術的な変化を受け入れるかと
その社会が受け入れると
その次に出てくるのが金融的な市場の変化ですよね
その新しいテクノロジー
社会が受け入れた新しいテクノロジーをどう評価するのか
この3つの変化を見てるのが
まさにVCの仕事だったり
結局そういうテクノロジーに出資して
それを受け入れさせるために
ユーザー獲得のプロモーションを手伝ったりとか
最終的にそういう会社を上場させるというのが
まさにVCの仕事の中にあるんですけど
この3つの変化を
どういう風な曲線で成長しているのかを見ると
技術的変化は
これは全般の技術なので特定の技術ではないんですけど
全般的にはずっと右肩上がりなんですよね
直線で上がってるんですよね
基本的に世界中のどこかしらのエンジニアが
ちょっとずつテクノロジーを良くしていますと
直線に上がってるんですけど
場合によって階段っぽい上がり方
急に上がるという瞬間もあります
それがまさに前回話した
変曲点
それがPCが生まれたり
インターネットが生まれたり
スマホが生まれたりとかするところで
基本的には同じように上がっていくと
社会的な変化は
めちゃくちゃ上がってめちゃくちゃ下がって
うまくいけばもう1回上がってフラットになるんですよね
最初のハイプがあって
ハイプが終わって落ちてみんな
やっぱり便利だったってなって
そこから満足度がある程度
いわゆる一般普及すると
そこからフラットになるっていう話なので
そういう社会的な流れの曲線がありました
金融市場に関しては
わかりやすく言うと
心臓発作レベルのボラテリティです
何が起きるかわかりません
長期的に見るとですよ
これはもう
ウォーレン・バフェットのメンターである
ベン・グラムさんが言ってることなので
彼が株式市場を
1人のキャラクターとして見るべきだと
それを仮にミスター・マーケットと呼びましょう
1:09:00
ミスター・マーケットは
躁鬱病の人だと
日によってはめちゃくちゃテンション高くて
日によってはもうダメだと
それがまさに今の株式市場を表すものですと
理由が上がったり下がったりしちゃうので
一気一入するなと
そうですね
その3つの曲線を考えるのが重要で
テクノロジーはコンスタント上がっていて
社会的ソーシャルなところは
上がったり下がったりするんですけど
もうちょっと長期的な流れで
上がったり下がったりするところで
市場は本当にボラテリだと
なんで企業家でしたり企業にいる人とか
VCたちの仕事っていうところは
まずテクノロジーの部分を見極めるっていうところで
場合によっては作るっていうところで
それが社会的に受け入れられるかっていうのまで
見るのが一番のフォーカスであるべき
なるほど
VC大変ですね
それ全部見るの
そうですね
それがビジネスでもあるかなと思うので
意外とこのテクノロジーだけではなくて
社会的な受け入れっていうのが非常に大事だっていうのを
今回ちょっと表したかったのと
あとこういう倫理的な問題とか
社会的に受け入れられないという人たちが
今後絶対増えるかなと思うので
特にこのクリプト領域とか
AIとかSNSとか
何かをオープンにするべきか
クローズにするべきとかに関しては
今年 特に今年からは
めちゃくちゃこの戦争が起きるわけなので
なので これってすごいAI
特にAI領域に関しては
すごい重要な年
次の2年間になるかなと思うので
この倫理的に受け入れてくれるのか
企業はどうしたらいいんですかね
えっと
AI企業
難しいですよね
チャットGPTがすごい良かったのは
無料で配布したっていうところが
やっぱりすごく良くて
こういうふうに使えるんだっていうのを
思い浮かばせるのはすごい重要で
ただそれに対して
いろんな課題が
特に倫理的な課題が
これから生まれてきたのが来るので
それに対してどう反応するかですよね
難しいですね
答えない話ですけど
そんな感じで
今回も聞いていただきありがとうございました
気になった方は
オフトピックJPのフォローお願いします
そしてメンバーシッププログラム
オフトピッククラブも
ノートでやっているので
ぜひ気になった方は
1:12:00
チェックしてみてください
それではまた次回お会いしましょう
さよなら
01:12:05
コメント
スクロール