00:00
はい、お疲れ様です。AI研究科のなおくんです。 今回のテーマはこちらです。
AIは4コマ漫画を認識できるのか試してみた。 このようなテーマで話していきたいと思います。よろしくお願いします。
はい、前回の収録配信に引き続きですね AIにですね、画像認識をさせて4コマ漫画をですね、僕が過去に書いた4コマ漫画を読み込ませてみて
この4コマ漫画の内容をですね、AIがちゃんと認識できるのかどうかということを ちょっとね試してみました。
で、使うAIはですね、
3つありまして、1つがクロード3ですね。 2つ目がジェミニ、3つ目がコーパイロットですね。この3つのチャット型AIにそれぞれ同じ画像を読み込ませて同じ
プロンプトを打ち込んで、ちゃんと漫画が認識できるか試してみました。 で、どの漫画かというと、サムネイルに載っている漫画ですね。
ソラシド・オカリナマンという漫画の第5話ですね。
これをですね、読み込ませて
見ました。 結論から言うとですね、ほぼほぼ不可能でした。
こっちの糸を全然組んでくれてないというか、もちろんねこの漫画の文脈とかいろいろあるから これだけを見てもね理解できないっていうのはもちろんあるんだけど
暗黙の了解みたいな部分が結構あるので、そういったところはなかなか読み取るのが難しいのかなという印象を受けました。
じゃあそれぞれ細かく見ていきましょう。 まずはですね最初に試したのがクロード3ですね。これはですね最近
割と最近リリースされたんですかね。結構話題で、かなりクオリティが高いということで話題の チャット型AIですね。
こちらにですね画像をアップロードして、この画像には何が書いてありますかとプロンプトを打ちました。
はいそうするとこのような答えが返ってきました。 ちょっと短い文章なので読み上げますと、この画像は4コマ漫画のようで主人公が近所の人と
やりとりしている様子が描かれています。 最初の2コマでは
近所の人が主人公宅のドアをノックし何か声をかけているようです。 3コマ目では主人公が戸惑いながらももぞもぞと返事をしています。
最後の4コマでは主人公が困惑した表情で台所にいる様子が描かれています。 漫画のワンシーンを通してユーマーを交えながら日常の一コマを描いているようですね。
日本語の吹き出しや交換線が使われており、典型的な日本の4コマ漫画のスタイルになっています。 ということですね。
03:05
まあなんかねー ちょっとそのコマの読み方を間違えてるみたいですね。
左から読んじゃってますねコマをね。 でこれ日本の漫画なので一応ね右上を右上が1コマ目でしょ。
でその次その左隣に行って、その次に右下に行くでしょ。 で最後に左下のコマに行くって、まあ日本人だったら別に言わずともわかると思うんですが。
なんかねこの文章を読むと左上スタートっていう感じで読んでるみたいですね。
なるほどね。確かに左上スタートだったらこの今言った説明文も違和感がないけど、 まあそもそも読み方を間違えちゃってるということだったのか。
そうすると確かになんか意味がわかんないストーリーになりますね。
はい、ということでしたね。 ちょっとこれまたじゃあ左、右上
コマの読み方が違いますというふうにちょっと説明してみますか。 コマの読む順番が違います。
右上のコマから
読み始めてください。
ください。 はい、ちょっと今このように文章を打ってみました。
コマの読む順番が違います。右上のコマから読み始めてくださいと。 はい、そうすると答えが即返ってきました。
すいません。コマの順番を間違えていました。 右上のコマから読むとまず子供が外で遊んでる様子が描かれています。
次に家の中でおそらく母親が台所で作業をしている。 あーまた違うな。ちょっと右上のコマから下のコマに行っちゃいましたね。
そして3コマ目で近所の人がインターホンを鳴らし、最後に母親が戸惑いながらドアの方に向かう様子が描かれていますね。
全然わかってないですね。はい、ということでまあちょっとこれ以上は一旦やめておきましょう。 これがクロード3の読み、読んだ結果でした。
次ジェミニですね。 グーグルのジェミニ読んでみましょう。
はい。
で、この画像には何が書いてありますかということで、ジェミニの答え。 はい、わかりました。この画像にはソラシドの漫画、
ソラシドの漫画ってこれ作者の名前と認識されてるんですかね。 ソラシドの漫画オカリナマン第5話のワンシーンが書かれています。
これすごいですね。第5話ってどこにも書いてないはずなんだけど、 これネットから多分ね情報を拾ってきたっぽいですね。
はい、さすがこのグーグルのジェミニだけあって、この漫画がどっかのネットでアップされているのを認識して、
オカリナマン第5話という情報をリサーチしてきたみたいですね。 これすごいですね。画像に全く5話っていう文字を書いてないんですけどね。
06:04
で、続きね。左側の吹き出しにはリコちゃん近所迷惑よ。 もう遅いから寝なさいと書かれています。
やっぱりこれも左側のコマから読んじゃってますね。 アメリカのソフトだから、アメリカのアプリだから、なんか左スタートなんですかね。こういうものっていうのが。
普通の文章は確かに左上からスタートするから、 右から読むっていう文化がないんでしょうかね。
確かにさ、日本の漫画を外国人が読むと結構戸惑うって話をよく聞きますよね。 だからこの日本の漫画をいきなりアップしても、
左側から読まれちゃうっていうことみたいですね。 はい。
で、続きね。これはリコちゃんが夜中に大騒ぎしているため、近所から迷惑が来ていることをオカリナマンが注意しているシーンです。
まあなんか言って、ちゃんとその文脈は理解してるっぽいですね。 リコちゃんが夜中に大騒ぎしているため、近所から迷惑が来ていることをオカリナマンが注意しているシーンですということで、
なぜかオカリナマンが出てくることになってしまいましたね。 はい。右側の吹き出しにはリコちゃーんと書かれており、これはリコちゃんが部屋から飛び出したことを追いかけてオカリナマンが叫んでいるシーンです。
だいぶ捏造されてますね。 続き、背景には夜の街並みとリコちゃんが飛び出した部屋が書かれています。
あーこの2コマ目がリコちゃんが飛び出した部屋みたいな感じになっちゃってるのね。はい。
で続き、また画像の右上にはロピロと書かれた吹き出しがあり、これはリコちゃんが飼っている猫のロピロが騒ぎを見ている様子を表しています。
この画像のURLはいかの通りです。はい。 ということで、これはどういうことですかね。
はい、この画像のURLはいかの通りですということで、YouTubeリンクが貼ってあったので、あれYouTubeにアップしたっけって思って、
YouTubeリンクをたどってみたら全然違う関係のないアニメ動画のYouTubeが出てきましたね。
はい、ということで、ジェミニンですね。
これもね、やっぱり全然4コマ漫画の意図を理解していないですね。
部分的には合っているかなって思う部分もありますけど、やっぱりこの4コマ漫画全体で伝えたいことは何も伝わっていないかなという感じでした。
はい、最後にコーパイロットですね。マイクロソフトのコーパイロットに同じように画像を読み込ませて認識させてみまして、
この画像には何が書いてありますかとプロンプトを打ち込みました。はい、結果はこちらです。
英語で2行ほどの文章が出ましたね。
はい、つまり、すみません、この画像が何なのかよくわかりませんでした。
09:13
もし他のリクエストがありましたら、お気軽にお尋ねくださいということですね。
全くわからなかったということですね。
漫画書きとして自信をなくしますね、この3つのチャットアプリ。
誰も理解してくれなかったというね、ちょっと寂しいですね。
はい、やっぱり漫画っていうのは文脈とか暗黙のルールとかもあるし、
さらにこの日本の漫画っていう、日本漫画独自の、日本人だったらわかるよねみたいな、
そういうなんかさ、擬音とかオノマトペでしたっけ?
そういうやつのミーブみたいなものもあったりするので、なかなか難しいなという印象を受けましたね。
あとそのコマの読み方ね。
これもやっぱりこの文章を読んで、確かにアメリカのアプリ的には、
日本人の常識というかさ、日本の漫画だったらこういう配置だったら右上から読むよねっていう、
これも僕たちのミーブみたいなもんだったんですね。
はい、そんなことがわかりました。
うーん、なるほどね。
若干ちょっとね、AIに認識してもらえなかったことでショックを受けてますけどね。
はい、ということで今回はAIに4コマ漫画が認識できるのか試してみたということでシェアさせていただきました。
結果としては3勝3敗という感じですかね。
はい、ということで今回は以上です。
お疲れ様でした。
