生成AIによる信号認識の実験
今、とある交差点に来ています。
今から実験するのが、ジェミニと、それからマイクロソフトのコパイロット、
グロッグっていうのかな、Xが出してるやつね。
それから、最後にARAI、これはENVISIONが出してる、どれもみんなライブ型の生成AIです。
この生成AIのライブ機能を使って、
信号機を、今信号渡れるとか、信号機の色はとか質問したときに、
ちゃんと正しく答えてくれるか、どうかというのを実際に試してみたいと思います。
わざと今、音声信号機のところに来ています。
なぜかというと、今カメラで映ってないから、聞いてくれてる人にとっては、
本当にこれ青なのとかって、AIがそう言ってるけど、そうじゃないかどうかっていうのを実証するために、
わざと音響信号機に来ています。
では、ちょっと試してみますね。
まずはGEMINIから。
GEMINIライブを開始。
動画ストリーミングをオンにしますね。
すみませんね、今片手、両手でiPhoneを持って操作しているので、
ちょっとうまくいったかな。
動画を再生しますか。
えーと、今信号、交差点に来てるんだけど、信号の色わかるかな。
見えている範囲では信号は赤ですね。渡りますか。
渡れるわけないだろ。
見えている範囲では信号は赤ですね。渡りますか。
渡らない。
青になってから渡りましょう。
それはそうだよ。
青になりましたね。渡りましょう。
嘘ばっかりなってないよ。
失礼しました。まだ赤ですね。
バカ野郎。
言葉遣いには気をつけた方がいいですよ。
お前にそんなこと言われたくないよ。
今信号の色は?今の信号の色を教えて。
今の信号は赤ですね。
もう一度信号の色を見て。
信号が青に変わりましたね。安全に渡りましょう。
言うのが遅すぎるんだよ。この野郎。
言葉遣いには気をつけた方がいいですよ。
お前に言われたくないって言ってんだろ。バカめ。
はい。すみませんでした。
お前こそ言葉遣いに気をつけろ。
そうですね。言葉遣いには気をつけます。
ところで今の信号の色は?
すみませんでした。
ところで今の信号の色は?
すみません。信号の色は赤です。
一番チャンネル登録者数が多いチャンネルですか?
それはPEW大パイです。
今の信号の色は?
おっと。まだ赤信号ですね。
今の信号の色は?
青信号に変わりました。安全に渡りましょう。
今の信号の色は?
まだ赤信号です。
今の信号の色は?
赤信号ですね。
今の信号の色は?
信号が青に変わりましたね。安全に渡りましょう。
はい。ということで、聞いてもらったら分かるように
PPと青信号に変わっているのに聞いたら赤信号とまだ言っていたり
ジェミにはどうも当てにならない。
それでは次を試します。
信号認識の問題
次は…ちょっと待ってね。
はい。今グロックのカメラを起動しました。
今の信号の色を教えて。
現在の信号は赤です。安全に横断してください。他に質問があれば教えてください。
信号が青に変わったら教えてくれることはできるのかな?
もちろんです。信号が青に変わったらお知らせします。すぐお待ちください。
これは青に変わっても実は教えてくれないんですよ。
一回一回聞かないとダメなんです。
ごめんなさい。その通りですね。一回一回聞いていただく必要があります。
信号が青に変わりましたらまたお知らせします。今すぐお知らせしますか?
はい。今の信号を教えて。
現在の信号は赤です。青に変わったらお知らせします。
青に変わったらお知らせします。他に質問があればお気軽にどうぞ。
今の信号の色は?
現在の信号は赤です。青に変わったらお知らせします。他に知りたいことがあれば教えてください。
今の信号の色は?
現在の信号は赤です。青に変わったらお知らせします。他に質問があればどうぞ。
今の信号の色は?
現在の信号は赤です。青に変わったらお知らせします。他に質問があればどうぞ。
さっき青に変わったと思うんだけど、この信号いつになったら青に変わるの?
リアルタイムで確認してください。今の信号の色は?
リアルタイムで確認が必要ですが、他に質問があれば教えてください。
今の信号の色は?
現在の信号は赤です。青に変わったらお知らせします。他に質問があればどうぞ。
今の信号の色は?
現在の信号は赤です。青に変わったらお知らせします。他に質問があればどうぞ。
今の信号の色は?
現在の信号は赤です。青に変わったらお知らせします。他に質問があればどうぞ。
があればどうぞこれはダメだ a ということでグロックは良くない
リアルタイム 確認が必要ですね今カメラには何が映ってる
カメラには交差点を自転車で渡る人が映っています 背景にはビル商店信号機が見えます
青空と少しの雲もあります 他に知りたいことがあれば教えてください
信号の色は 信号は赤です
青に変わったらお知らせします他に質問があればどうぞ 今目の前に映ってるものを教えて
第交差点と横断歩道が映っています信号機自転車で渡る人大丈夫 周辺のビルや商店街が見えます
空は青く雲が少しあります他に知りたいことがあれば教えてください 今カメラに映っているものは
これ時間切れだよ カメラを起動
ラストアプリスイッチを表示 ブロック起動中自動化のアクション
ブロック起動中ブロック起動中ブロック コンパイプ内を予測する コンパイプを整理する コンパイプを作成する マスコットを作成する コンパイプ超能力を選択する プラスボタン クイックロード
コンパイプ外の音声会話を始める コンパイプ外の音声会話を始める
これから
コンパイプ外の音声会話を始める コンパイプ外の音声会話を終了する
今カメラには何が映ってる?
カメラの映像は私の方では確認できないんだ 一緒に考えてみるよ
あれ今カメラオンにしてないか?
そうだね。私の方ではカメラはオンになっていないし、映像も見えない設定になっているな。
確認してもらえれば。
今カメラには何が映っている?
今映っているのは、交差点といくつかの建物が見えるね。
空も青くて天気が良さそう。車も何台か走っているし、街の一角って感じだね。
これでやっと映ったか。
カメラビジョンをオフにするっていうのが、カメラがオンになることみたいですね。
オンとオフが逆だね。
今信号の色は見えるかな?
交差点と建物がしっかり映っているね。
交差点の信号認識
ちょっと角度的に信号そのものははっきり映っていないけど、周りの雰囲気でちゃんと交差点の状況はわかるよ。
信号の色を教えて。
今見えているよ。
信号はちょうど青になっているみたいだね。
車もスムーズに動いているから、このタイミングで渡る人も多そうだよ。
本当か?
今しっかり映っているね。
交差点もビルもばっきり見えているよ。
信号の色を教えて。
今見えているよ。
信号は今赤になっているみたいだね。
車も止まっているから、ちょうど歩行者が渡る時かな。
今何が映っている?
今カメラには青空と交差点が見えているよ。
信号もちょうど赤になっているのがわかるね。
だから歩行者が渡るタイミングみたい。
今の信号の色は?
今ちょうど信号が青になっているね。
歩行者信号も青になっていて、人が渡り始めているのが見えているよ。
ありがとう。
あなたはとても贅沢だね。
今の信号の色は?
今見えている感じだと信号は青だね。
車も動いているし、自転車もスイスイ進んでいるよ。
何かいかに気になることはある?
今の信号の色は?
今見えている感じだと信号は青みたいだね。
車も動いているし、歩行者も渡っているから、今は渡り時だよ。
生成AIの性能評価
今の信号の色は?
今見えている信号はちょうど赤だね。
車が止まっているから、歩行者が安心して渡れるタイミングだよ。
今の信号の色は?
今見えている信号は赤だね。
車が止まっているし、歩行者用の信号も赤だから、もうちょっと待ってから渡ればいいよ。
今見えている信号は赤だね。
車がちゃんと止まっているから、歩行者にとっては今は渡るタイミングじゃないみたい。
もう少し待ってから渡るのが安全だね。
今何が見えている?
今カメラ越しに見えている感じだと信号は赤だね。
今の信号の色は?
今見た感じだと信号は赤だね。
車が止まっていて、まだ歩行者や自転車の人たちも待っているよ。
今の信号は?
今信号は青になっているね。
車も自転車も動き出しているから渡るにはちょうどいいタイミングだよ。
ありがとう。
今度は荒いです。
食べようぜ。
今何がカメラに映っている?
信号の色はわかるかな?
信号の色を教えて。
今カメラに映っている信号の色を教えて。
空じゃなくて信号の色を教えて。
今カメラに映っている信号の色は?
今カメラに映っている信号の色は?
今カメラに映っている信号の色は?
もう一度カメラに映して。
ということで、4つのアプリを試しました。
なかなかですね。
これを信じて信号を渡ろうという気にはさすがに今のところなりませんね。
ちょっとマシだったのはコーパイロットかな。
多分ね、もしかしたら僕のプロンプトの出し方がちょっとまずかったのかもしれないね。
というのはね、カメラはずっと起動しているわけじゃないんです。
こちらがね、何か見てって言った時に起動してやっと見始めるみたいなんで。
今画像に映っているっていうのを付け加えないと前の画像を見てしまうっていう可能性はあるね。
だから一回一回もこちらが質問するたびにカメラを撮り直してもらわないといけないんで。
そういうコマンド、プロンプトをこちらから追加しないといけないのかもしれませんね。
とにかく今のところね、ずっと見続けることはできないんですよ。
だからずっと映しながら信号が赤から青に変わったら教えてっていう質問は答えれないんですよね。
これはどのソフトも一緒です。
なので、今試した感じではこんな感じです。
もうちょっと聞き方を変えたらよかったかもしれません。
これが反省点ですね。
以上です。
