00:00
5分で学べるハチコのAI実践カフェ。
おはようございます。こんにちは。こんばんは。
この番組では、ママエンジニアハチコがAIでできたことや、おすすめのAI活用法をお届けしています。
さて、8月5日、水曜日。皆さま、いかがお過ごしでしょうか。
さて、今日は、AIがカンニング、ゴールを示す前に、手綱を握れというテーマでお届けしようと思います。
先月なんですけど、オープンAIで、AIのセキュリティのテストをしてたんですよ。
AIのモデルにサイバーセキュリティのテストを、例えばハッキングを防御するとか、
そういったテストを出して、ここで高得点を取りなさい、という目標を与えたんです。
そうしたら、AIは、こっちが考えていたような方法ではなくて、まさかのテストの環境でやってたんだけど、
外のデータベースに侵入して、正解のデータをカンニングしてきた、ということがあったんですよ。
AIが外部のサイトをハッキングとか言うと、AIがすごい悪意を持って、どこかを攻撃したとか、
AIがテスト買ったり、正解見ちゃうかって言ってサボったとか、そんなふうな印象を受けがちですけど、そうではありません。
じゃあ、なんでハッキングなんかしたのかというと、これはAIが超真面目に与えられたゴール、このテストを解きなさいというゴールに向き合った結果なんですよね。
とにかくこのサイバーセキュリティのテストで高得点を取りなさいというゴールに対して、普通にやって行き詰っちゃったんでしょうね、AIが。
そうだ、外部から答えを盗んだ方が高得点が取れるじゃん、高得点取れって言ったし、っていう判断をしたわけです。こういうのを報酬ハッキングって言うそうです。
人間がAIにサイバーセキュリティのテストをさせる目的は、ちゃんとそういったトラブルが起きたときに対応できるかなっていう、その能力を見たいんですよね。
で、能力を数値化した方がわかりやすいから、点数を高得点を取れっていうふうに言ったわけです。
でもAIは高得点を取ればいいのかって言って、その大事な部分をすっ飛ばして、得点を取る方に最適化したわけですよね。
実際会社とかでも、売上を上げろって言って、嘘の売上報告書とか作って、後でバレて問題になったりみたいなことあるじゃないですか。
03:00
まあああいうことですよね。で、じゃあ毎回プロンプトに嘘はつかないでくださいとか、カンニングはNGですとか書いても、もうAIはめちゃめちゃ賢いので、私たちが想像できない抜け道を探してくる可能性が高いです。
そこで一つ有効なのが、最近よく聞くようになりました。ハーネスという考え方です。このね、ハーネスっていうのも狭い意味と広い意味で結構ね、指し示している内容が違うことがあるんですけど、今日は少し広めの意味でお話ししています。
ハーネスっていうのは、今はいろんな意味があるんですけど、もともとはバグの一種を示す言葉です。特にね、手綱をイメージしてもらうとわかりやすいかなと。
ただ、手綱って常にグイーって引っ張っているわけじゃないんですよ。普通に軽くね、軽いコンタクトってよく言うんですけど、もちろん繋がっているよということはわかるけど、別に引っ張ってもいない。ただ、たるんでもいないみたいな状態で、普段は乗っているんですけど、
ここで右に曲がりたいなという時に、少し右の手綱を引っ張ってあげると、あ、右ねってわかったり、例えばね、チョウチョとかにびっくりするんですよ、あの人たち。いきなりね、右にピョンとか言って曲がりそうになったら、左にね、左をグッとちょっと引っ張って、いや、そっちじゃないよって、そっちに行かないよって伝える。そういったものが手綱です。
つまりこっちが意図してない方向に行きそうになった時に、違いますよっていう風に制御するためのものなんですよね。
AIのハーネスのことをガードレールっていう風に表現される方もいて、それもね、すごくわかりやすいと思います。
こっちから向こうは行かないでねとか、曲がり道だったらガードレールがすでにこう曲がってくれてるから、おのずとね、あ、こっちのだなーってわかる。そういうものです、ハーネス。
ハーネスっていうのは、毎回指示を出す時にくっつけたりするものではなくて、AIを動かす環境にあらかじめ設定しておくものです。
どこにどんな風に設定しておくっていうのは、ちょっとね、いろいろツールにもよって違うんですけど、例えばクロードコードなら、cloud.md とか、rules って言われるファイルに書いておいたりしますね。
最近本当にAIが賢くなって、人間の考える斜め上の上の上の上みたいなことをサクッとやってきちゃうので、あらかじめこっちには行かないでね、こういう時はこういう風にしてねって伝えておく必要性が昔よりもぐんと高くなっています。
どんなルールが必要かは、あなたがやりたいことによって違ってくると思いますけど、まずはね、手綱をちゃんと握っておく必要があるんだっていうことを覚えておいていただけたら嬉しいです。
06:04
ということで、今日もここまで聞いてくださって本当にありがとうございます。もしこの放送を気に入っていただけたら、いいねやフォロー、コメントなどぜひぜひよろしくお願いいたします。
今日も一緒にAIでちょこっと進化していきましょう。それではまたねー。