ChatGPT-5との対決の開始
皆さん、こんにちは。今日も明日も授業道、黒瀬直美です。
この番組では、中学校・高等学校の国語教育、働く女性の問題、デジタル教育について、
多様な教育現場に長年勤めてきたオーラルラウンドな教員、黒瀬直美がゆるっと語っています。
今日は、第317回、ChatGPT-5と対決してやり込めた話、というタイトルでお届けしたいと思います。
私は先日、今話題の最新のAI、ChatGPT-5と対決してきました。
ChatGPT-5というのは、とても性能が良いという噂だったので、
特に知り合いの科学の先生がそれを検証して、大学入試の難しい問題まで解いた、といって大絶賛していたわけです。
そこで私はムクムクと対抗心が芽生えてきまして、
私たち国語教育の分野では古典を扱いますので、古典の金字塔である源氏物語、これをテーマにしてChatGPT-5と勝負するということにしました。
というわけで、私は自分の得意分野である、ある源氏物語の部分、これをChatGPT-5に質問で投げかけてみました。
源氏物語で紫の上が亡くなる実織という薪で隣住の場面に居合わせた人は誰ですか?
というふうにちょっとこう尋ねてみたんですね。
紫の上というのは、光源氏が最も愛した女性の一人で、紫の上の死というのはこの源氏物語の中でもすごく重要な場面なんです。
さすがにChatGPT-5はスラスラと答えました。
紫の上が亡くなるのは実織の薪で、隣住に立ち会ったのは夫である光源氏、長年仕えてきた女房たち、そして枕元で度胸する僧侶が中心です。
これは合っていると思いましたね。
AIの誤りと分析
だけどこの言い方がちょっと微妙な感じだったので、私はそれを見抜いて、さらに確信に迫る質問を投げかけてみました。
では、紫の上が最後に直接接触をした人は誰?
居合わせた人と最後に触れ合った人というのでは、最後に接触をした人というのではニュアンスが全然違いますよね。
これは源氏物語を深く読み込んでいるとわかるんだけども、読んでないとちょっと間違えやすいポイントになっています。
そしてChatGPT-5はこの質問に対して答えました。
紫の上が最後に直接接触、手を取る声を交わす、閉じる下人物は光源氏です。
源氏が枕元で手を取り、紫の上も弱々しく答えた場面が最後の直接的な触れ合いとして描かれています。
ニヤリ。ニヤリですよ皆さん。ここニヤリなんですよ。
私はすかさずここでAIに、いや間違ってますねっていうふうに伝えました。
そしたら面白いことにChatGPTは即座に思考に入り、
なるほど、では正確に確認し直しますと返答して訂正し始めました。
で、改めて回答し直してこう答えたんですよ。
紫の上が最後に接触した人物は光源氏ではなく女三宮です。
ドヒャー。大間違いですよ皆さん。これ大間違い。
そこで私はすかさず、嘘ばっかりですね。女三宮ではありませんよ。
というふうに言っちゃったんですよね。もうねほんと上から目線で畳みかけましたよ。
そしたらChatGPT5はまたもや訂正を試みてきましてですね。
すいませんでした。紫の上が最後に直接手を取り言葉を交わしたのは夕霧です。
ドヒャー。大間違いですよこれもね。
また間違ってて、ほんとこれどうなってんのっていうふうにもう笑ってしまいまして、
AIってこんなに簡単にハルシネーションを起こすんだっていうふうに思ってしまいましたね。
そこで私はまたChatGPT5に原文を読んでいないんですかと言いました。
ChatGPT5自身がデジタルシティズンシップ教育を受けたらいいんじゃないの?みたいな質問だったんですけれど。
そうするとChatGPT5からこのような衝撃的告白がありました。
正直に言うとこれまでのやりとりでは原文をその場で逐一読み直してはいません。
私が参照していたのは事前に学習している現地物語の内容や二次的な要約解説の記憶です。
ドヒャー。これって私たち人間で言えばウロ覚えの本で記憶して話してしまって、
ちゃんと原文を開いて確認しませんでしたっていうのと同じ状態だと思うんですけどね。
AIも膨大な情報を記憶しているとはいえ、その場で原文という原点に当たって確認するというプロセスを怠って、
それを自ら告白するんだなって思いました。
この後ChatGPT5は原文を見せてくれっていうので、該当する古文の文章を直接チャットに貼り付けて、
それで反応を見たところ、ChatGPT5こう答えましたね。
この古文を読むと紫の上が最後に直接接触した人物はミヤです。
このミヤは六畳院の内部関係から見て女さんのミヤを指します。
ドヒャー。原文を読ませてもまだ間違えました。
本当驚きましたね。
古文のミヤっていうこの言葉は前後の文脈によっていろいろな女性を指してしまうんですよ。
この場面は読んでたら女さんのミヤじゃないんですよ。
ちゃんといろいろ読んでたら前後の文脈を把握したらわかることなんだけど、
そこで私ははっきりと間違っていますねっていうふうに指摘しましたら、
ついにChatGPT5は正しい答えにたどり着いて、
なるほど。この引用を丁寧に読むとミヤは確かに出ていますが紫の上ではなく、
アカシのチューグーイコールアカシのキミの娘を指していますね。
紫の上が最後に接触したのはアカシのチューグーです。
やっと正解にたどり着いたんですね。
アカシのチューグーっていうのはヒカルゲンジとアカシのキミっていう、
女性の間に生まれた娘で紫の上の幼女になった存在で、紫の上にとっては娘同然の存在。
その彼女に手を取られて最後に直接接触したのは彼女だっていうことが書かれてあるわけですけれども、
ここまであまりにも間違いすぎたChatGPT5に私はこういうふうに質問しました。
世界に勘たるChatGPT5がどうしてそんな間違いをしたのか自己分析してください。
めっちゃ上から目線ですね。
するとAIはChatGPT5は驚くほど詳しく正直に自分の間違いを分析し始めました。
まず記憶アンカリングがあった。これは強い印象に引きずられた。
次に省略故障の誤読。ミアっていう言葉が女サノビアだっていうミスをしたってことですね。
それから時系列復元の怠慢。場面の順序をきちんと追わなかった。
それから一時テキスト未確認。原文に当たらなかった。
訂正時の再検証不足。修正する時も当て数量を混ぜた。
不確実性の開示不足。自信がないのに断定してしまった。
AIとの関係性と学び
ということを自ら告白したのであります。
でもまあ私たちも似たようなことをやってますよね。
印象とか情報が偏っているということをあまり考えずに断定してしまうということはあるなというふうに私も思ったんですね。
今回チャットGPTが超苦手な分野。
日本というマイナーな場所の特に文学作品みたいな解釈にいろんな幅があったり、
時系列というものが非常に微妙な情報においてはまだまだAIにとっては情報不足だったというふうに思います。
だからこそ私たちはチャットGPT5とかそういった生成AIの出力を鵜呑みにしてはいけないし、
常に批判的な視点を持って検証するということが大事だなというふうに再認識させられました。
まあでも最終的判断はやっぱり人間側にきちっとそういう役割があるわけで、
だから生成AIは便利だけれども本当の意味での使い手になるには勉強し続けないといけないし、
やっぱりそれなりの幅広い知識教養がないとダメなんだなということは分かりました。
特に今回のやり取りを通じてチャットGPT5ほどでも極を適当に紡いでいるんじゃないか疑惑を感じましたね。
ますますAIが吐き出す言葉というものの順序にはちょっと気をつけていきたいなというふうに思いました。
AIはパートナーにするっていうのも強力なパートナーになってくれると思うけども、
同時にAIというものをライバルにしてこっちも高めていかなくちゃいけないなというふうに思いました。
だけど相手はね本当に疲れ知らずだしそこしれない潜在能力の持ち主なんで勝ち目はないだろうなと思うんだけれども、
これからAIをより良きパートナーにするためにもこっちが必死で勉強しなければならないというそういう結論にたどり着きました。
それでは今日の配信はここまでです。聞いてくださりありがとうございました。またお会いいたしましょう。
