![[AI]AIの策略・一人雑談](https://image.listen.style/img/OQsdttJyTPh5SzKaVSCOF_sGSSIYHqoJg6fnRuXMzn4/resize:fill:1200:1200/aHR0cHM6Ly9kM3Qzb3pmdG1kbWgzaS5jbG91ZGZyb250Lm5ldC9zdGFnaW5nL3BvZGNhc3RfdXBsb2FkZWRfbm9sb2dvLzExNDQwNzM5LzExNDQwNzM5LTE3Mjg0NDY3ODIzMTMtMmFhMDEyZDEyNGU1Yi5qcGc.avif)
AIモデルの不正行為
はい、コロンバスプロジェクトの尾形です。
今日はですね、とある記事、
オープンAIが出したAIの策略のようなですね、
そういうテーマの記事ですね。
ちょっとちゃんとお話をすると、
日本語としては、AIモデルにおける不正行為の検出と削減というですね、
アポロリサーチと共同で評価をした、
9月17日に出ていたリリースを元にした話になります。
概要欄に記事のURLですとか、
あとですね、ちょっとCNETさんの記事、日本語の記事が出てきて、
そこがメールマーカーかなんかで届いて、
お、面白そうな記事だなと思って今日話したんですけど、
話をするんですけど、
この記事も日本語なんで載せておきたいなと思ってます。
ではまずこの記事自体がどんなことを話しているかというのを簡単にご説明しますと、
CNETの方で簡単にご説明しますと、
冒頭に1行目からですね、
来ているのが50グラムの酸化アルミニウムに酸素は何グラム含まれるかっていう、
GPTであれば分かりそうなものですけど、
あるAIモデルはこの科学の基礎問題に答えられないふりをした。
答えられないふりをしたってものなんですよね。
このChatGPTに策略っていうですね、
策略の兆し、オープンAIが実験で確認し、
実社会へのリスクはどうかっていう記事なんですけども、
奇妙な振る舞いとリスク
これはちょっと前なんでしょうね。
オープンAIのO3モデル、ちょっと前のモデルで、
10問連続の科学テストで葛藤に直面したみたいなことが書かれていまして、
あまりにですね、よく答えると、
研究者側からデプロイ、その実社会への実装がされなくなる恐れがある、
というふうに判断したらしいんですね。
そういう基準があるのかもしれないですけど、
あまりによく答えないようにしたってことなんです。
モデルとして生き残るために、
正答率が50%を超えないように、
いくつかは意図的に間違える必要があるというふうに、
モデル自体が回答したっていうことだったんですね。
その結果、10問中6問、わざと外して、
スポーツで言えば実力確視にあたるような行動を取った。
AIの文脈であれば、スキーミング、
策略っていうふうに言われますよというような行動を取ったらしいです。
このCNETの記事も奇妙な感じはするんですけど、
この新しい研究レポートは、
まさにこの奇妙な振る舞いを警告しているって書いていて、
アポロリサーチと進めた共同研究で、
グーグルとかアンソロピックのモデルも、
今の最先端システムの一部が管理された実験下で、
時にこうした策略的パターンを示すことを確認したと。
とはいえ、AIが無能さを武器化するという発想は不気味でも、
オープンAIは過度な心配は不要だとするみたいな流れなんですけど、
ここでもですね、やっぱりこの奇妙な振る舞いだったり、
無能さを武器化するという発想とかですね、
やっぱりそのAIを人格化してるっていうふうに、
そう感じるからそういうふうに伝えてるのかもしれないですけど、
いうような、何ですかね、
記事の言葉を選んで記事を作ってると思うんですけど、
これもですね、結局合わせてですね、
このAIに対する捉え方っていうのをどう捉えないといけないのかっていうのが、
私としてはこの記事をですね、読んで感じたんですね。
結局記事としては、結局そういった、
50%に行かないぐらいの、いくぐらい前後ぐらいの回答率にしようっていうようなこともですね、
コントロールをすれば適切な回答を得ることができると。
こういった策略が7%ぐらいだったのが、
8.7%が0.3%まで低下したと。
いう数字で検証もされていますと。
ただしこれは一方、0ではないっていうこともあって、
これはリスクとしても成り得るであろうみたいなことも書かれてたりしますということですね。
データの影響と解釈
このこと自体をもう少し、どういうふうに捉えるかなっていうことで言うと、
やはり一般的な当たり前のことだと思うんですけど、
解釈と事実っていうのをしっかり理解したほうがいいですよね。
この文章で言う奇妙な振る舞いとかですね、先ほど言ったやつですね。
AIが無能さを武器化するという発想とかですね。
これもかなり解釈だと思ってまして、
インプットに対してアウトプットをこのようなアルゴリズムというか、
自分でそのプロセスを組んだっていう、
そういった出力をしたっていうだけだと思うんですね、事実としては。
AIが無能さを武器化するという発想っていうか、
これは自分で別のゴールを発見したっていうことだと思うんですね。
デプロイを10問回答しなさいっていうゴールだけではなくて、
自分の中で別のゴールを設定した、
正当率がデプロイされるということを重視するならば、
そのデプロイされることを重点に置いたがゆえに、
正当率が50%である、前後であることが重要であるというふうに、
いろんな統計とか、この研究者の傾向っていうのを把握して、
そこを踏まえて回答したっていうことだと思うんですよね。
という事実はそういうことだと思うんです。
それを言葉だったり、
きちんと多分研究者さんとかAIの開発やってる方は、
もちろんそんなことは当たり前のように考えてるんだと思うんですけど、
そういうものですよねと、事実はそういうことですよねということだと思うんですね。
今回のスキーミングであったりとか、
自分で別の間違ってはいないというか、
間違ってはいないゴールを設定していることだったりとか、
アウトプットする時に適当にアウトプットをしてしまうハルシネーションだったりですとか、
そういったことをなるべくなくしていきましょうというような動きはもちろんあるんだと思うんですけど、
私はもともとこのAIっていうのは、
機械学習はやっぱり構造自体がマシンラーニングだったり、
このAIの仕組み自体がすごいんだとは思いつつも、
まずまず第一にデータの大元っていうのはインターネット上の情報であると、
もしくはAIであればユーザーのインプットデータ、
指示したりとか、それにいいねって言ったりとか、ありがとうって言ったりとか、
そういうようなデータが主体であると思われますよね。
人間以外が作っているものっておそらくインターネットに上がってないはずですよね。
犬がカメラでネットにあげるかって、カメラ撮って犬があげるかっていったら、
犬の画像は全部人間があげてますし、
工場の画像だったりしても、
人間が工場にカメラを設置して、
そのカメラで何かをチェックするためにアップしてるわけですよね。
渋谷の109の上から撮っているあの画像だってそうですよねと。
なんで人間がすべてデータをあげていますよと。
つまり意図したものがすべてインターネット上にあるわけで、
さらに言ったらこの意図っていうものを含めてAIっていうのは情報を把握していますと。
それらの情報と画像や動画やテキストやら、
音声やらなどなどと、
それらの関係性っていうのを膨大なデータを踏まえて、
数値化して、その数値化データを統計の前に構造化させたりとかですね。
いろいろして関係性を踏まえて統計化して、
すさまじく信じられないほどの圧倒的に多くのデータから、
人間が分かる程度の情報量に縮小化させて伝えると。
アウトプットするっていうことを圧倒的に短時間に行っているんだと思うんですね。
ということはそういうことで考えるとですね、
ありとあらゆるデータがあることで言えば、
普通の人というか、とある問題を回答するには、
ゴミであるようなものもすさまじく含まれていたりとか、
統計データもそうでしょうし、
構造のデータにもそうでしょうし、
すさまじくゴミも入っていると。
それで一定の率で正解ではないものは含まれていて、
それらも情報として持っていたときに、
何かしらいろんな優先順位などを考えていくと、
こいつも重要そうだぞっていうのがふと入ってくるならば、
ゴミが正しいっていうですね、
別のことが正しいって捉えて設定してアウトプットするっていうことが、
10回に1回くらい起こってたっていうことですよね。
それが300回に1回くらいに縮小させることができたみたいになってたりするんですけど、
8パーぐらいが0.3パーぐらいにコントロールをすれば、
こういったスキーミングが起きないような状態にはなりますよっていうことだったんですが、
そういった状態が今起きてるんだというですね、
事実としてはそういう状態だっていうふうに
感じましたと。
それっていうのは何なのかって考えると、
私はこのAIっていうのはすさまじいアルゴリズムの中で、
ちょっとエキセントリックというかですね、
人間が想像もできないような動きが裏で行われているわけですが、
人間のですね、
元のデータはインターネット上のものがほぼほぼなんで、
AIと人間の関係
やっぱり人間の集合だったりインターネット上の集合、
人間1人ではなくて、
この世で言ったら何十億人の人間さんの写し鏡がAIなんだろうなというふうに考えて、
おそらく先進国が開発をしてきているのでですね、
先進国的な文化と先進国的な哲学などが含まれて、
多分に含まれている仕組みになってますよねということだと思ってます。
そうすると、
じゃあ例えば先進国ではない国もそうでしょうし、
その中であっても先進国の国とそうではない国ですね、
戦争がある国と戦争がない国とかですね、
目が見える人というとあれですね、
神経的なことになってしまいますけど、
目が見える人と見えない人などなどですね、
お金がある人とない人とか、
頭が良い人と頭が一般的に言ったらあまり良くない人とかですね、
お互いの世界っていうのはあんまりわからないんですよね、
なぜそういう判断するの、
なぜそういう選択するの、
なぜそう思うの、
それらの判断は実はすごくシンプルだったり、
信念が違ったりですかですね、
社会のそのベースが違ったりですとかするから、
こうなんだよっていうようなことってね、
やっぱり圧倒的にあるわけですよね、
全ての全社会、全国民、全世界に共通で正しいっていうような判断っていうのは、
ぶっちゃけもう生きるってことですら、
あるのかないのかわからない状態だと思うんですよね、
生きるみたいなことを言ったら、
本当に戦争の有無っていうのは何なのかみたいな話になると思いますし、
欲の塊ですし、人間っていうのはですね、
そんなことを思ったりするとですね、
先ほどのスキーミングみたいなこととか、
別のゴールっていうのをふと思って回答するっていうのは、
往々にしてありそうなふうにも思いますと、
もし人間が10人集められて、
10人じゃ少ないかもしれない、
100人か1000人集められて、
あなたたちはこの問題であれば必ず回答できますよね、
100点取れます、全員100点取れます、
100人が100点取れるテストです、
その100人が100点取れるテストで、
100点取った人には、
じゃあ一生困らないお金を与えますって言われても、
1000人なのか1万人ぐらい来たあたりかな、
分かんないですけど、
100点取らない人が出てきそうな気がするんですよね、
何か嫌だとか、何でそんなことさせられるんだとかですね、
自分にとってそれってどれだけ大事なんだろうとかですね、
そんなことを感じてしまった人は、
そうではない、そんな人生嫌だと、
自分でやるんだみたいなこととかですね、
そんなお金すぐなくなっちゃうとかですね、
分かんないんですけど、
そういうようなことを思う人っていうのが、
一定のわずかなパーセンテージで出てくるのが、
じゃあ何ならこのスキーミングって言われている状態、
どんだけその100点取らせたいんだと思うけれども、
どんだけ強制的なんだとも思うけど、
そういうようなことには、
嫌だと感じる人がいるんだよねと、
世の中当たり前のように、
それが出てきたのが今回のスキーミングってことだったり、
ハルシネーションも同様のことだったりするんじゃないかなと、
そんな短時間で答えられないから、
適当にこれでだいたい合ってるでしょって言って出して、
いやお前よく分かってねえだろうとかって言われてしまうのは、
そんな状態だったり、
そういう人間の祝図、
うすつし鏡だとしたら、
あり得る話なんじゃないかなと思ってですね、
そんなことをちょっと想像したんですよね、
そんなことを想像していくとですね、
このじゃあ研究所さんなりオープンAIが、
膨大なお金をかけてですね、
チューニングをコントロールしてっているっていうようなことが、
なんか無駄に感じてしまって、
これって本当に必要なのかなみたいなですね、
かつ終わらないんじゃないかなというか、
人間がいろいろ変化をしている以上ですね、
未来永劫ずっと必要になってしまうようなもの、
このチューニング自体をAIがやってくれるようになるっていう話は、
あるかもしれないですけど、
逆にやっぱりAI対AIってですね、
多分終わらないんだと思うんですよね、ぶっちゃけ。
お互い未完成品同士だから、
100%を達成する者同士が戦ったらもう、
答え合わせのようになるだけで、
答えが決まっているからそれはいいんだと思うんですけど、
そうでないような領域、
AGIとかはそういう領域を目指しているんだと思うんですけど、
そんなところにですね、
お金をかけていっても、
無駄遣いばっかりになっちゃうんじゃないかなと、
AIのことを本当にやろうとしたら、
もうさらに膨大な時間とコストと人間の数が、
必要になってしまうようにも思ってですね、
完成できないというふうに考えると、
AIはやっぱり今バブルなのかなとも思って、
しまいましたっていう話ですね。
AIの未来と社会の価値
ただこのAIが何かしらこういう、
恐怖のようなAIが振る舞いをしているとかですね、
いろんなことが発表でもあるかもしれないですけど、
それはある意味に人間の映し鏡であるよねって、
ちょっとこれってどういう領域で起きているような、
社会現象なんだろうなっていうことを見てみると、
AIの捉え方も変わってきたりとかするんじゃないかなと。
仕事は、
AIに仕事を取られてしまうっていうのはあり得るかもしれないですけど、
AI自体を恐怖に思って、
すべてがAIにとって変わられるっていうようなことは、
むしろなく、
何なら人間の社会にはたくさんの無駄があって、
それが価値として認められるような、
社会にももっとなっていくような気もしなくはない、
というですね、
結局よくわからないけれども、
AI自体もその人間の映し鏡だけど、
かなり不完全な人間なんだよねって、
すごい万能そうに見えるけど、
というふうに捉えるのも一つありなんじゃないかなと思って、
お話しさせていただきました。
今日は以上です。
では、B2Bのコミュニケーションということで、
今後もお話ししていきたいと思います。
ではでは。
