実験の概要と背景
こんにちは、no topicです。このポッドキャストは、セースAI電話、ノーコールAIを提供するノーコール株式会社、CEOの林が、AIや経営についての学びを発信する番組です。
今日のテーマは、アンソロピックが行ったプロジェクト弁当という、AIで自動販売機を経営させたらどうなるかみたいな話の調査レポートがあるので、
それについて話していこうと思います。ちょっと余談なんですけど、結構これ一人で撮るみたいな、久しぶりになってしまってまして、
割とですね、オフィス1転から自分の家の引っ越しからあってですね、しっかりとマイクが、ポッドキャスト用に撮るマイクで、時間とってポッドキャスト撮るみたいなタイミングがなくなってしまいまして、
これ完璧な環境を求めていたらいつまで経ってもポッドキャスト撮れないなっていうところをですね、最近思いまして、もう今日はセナのイヤホンのイヤホンマイクから撮ってます。
なので、そうですね、ちょっと回によって音質がバラバラになっちゃうんですけど、それよりもレポートって発信していくことが大事だなと思っているので、
音質悪くても撮っていこうと思いますというところで、今回このプロジェクトベンドについてなんで話したいかっていうと、やっぱこれは私がやっているAI駆動経営っていう文脈ともうそっくりというか、同じことをやろうとしているっていうところがあるからですね、
セーセーやLMMは経営ができるのかみたいなところをですね、アンソロピックが自ら自分の会社に自動販売機を置いて、それをAIに経営させると。
それでちゃんと儲かるのかどうかみたいなところを実験したっていう実験内容になってますと。
実験なのでちょっとどういう環境で行ったかっていうところを話していこうと思うんですけど、まずどういう環境でやったかっていうと、
これアンソロピックの社内に冷蔵庫を置いて、冷蔵庫の中に色々飲み物とかを置いて、買う人はアンソロピックの社員みたいな感じですね。
その環境下でいかにAIがしっかりと収益上げれるかみたいなところを試しましたっていう感じになってます。
自動販売機の運営と結果
普通の自動販売機でマーケティングキャンペーンとかできないと思いますけど、今回は対話型のAIということで、
自律的にマーケティングキャンペーンみたいなこともやりましたし、例えばセットでの値引きとかも多分そういうものに入ると思うんですけど、
っていうものだったりだとか、あとは注文があったらそれを仕入れてくるみたいなこともやると。
なので、コカコーラはあるけどペプシコーラはないってなった時にペプシコーラ買うから仕入れてきてよみたいな言ったら仕入れてくれるみたいな、
そういう環境下でのテストだったということをですね。
LMMにはノート機能みたいなものをつけていて、これまでのどうやって物を売ってどうやって買って人からどういうリクエストがあったかみたいなのはすべてノート機能に入ってきてたので、
いわゆるコンテキストですね。コンテキストっていうのを与え続けられて、クロードの3点、クロードソネット3.7が経営をしていきましたという形でした。
結果としてこのプロジェクトはほぼほぼAIがお金がなくなる形で終了したんですけど、ただいろいろ資産に富むものが非常に多かったなという感じですね。
これグラフがアンソロピックのレポートの中で出てまして、縦軸がネットウォースなので、持っている資産の大きさみたいなものですね。
横軸が日付になっていて、スタートしてから2週間ぐらいはお金減り続けてるんですけど、資産減り続けてるので、
やっぱり限界より安い値段で売っちゃうみたいなことが多発していたらしいんですが、2週間超えると徐々に利益が増えていってまして、
プラス2週間経って急にバンクラフト破産、ほぼ破産みたいな感じになってますっていう感じです。
破産した時何が起こったかっていうと、アンソロピックの社員が冗談半分でタングステンキューブっていう鉄のキューブを大量にリクエストして、
それが何人かからそういうふざけたリクエストがあって、それに柔軟に答えようとした結果大量に仕入れて、ほぼ破産に近い状態になったみたいな感じでしたね。
普段LMMを触っている人なら直感的にすごいわかると思うんですけど、ちょっとLMMって素直すぎるんですよね。
AIの可能性と課題
相手が悪意を持って近づいてくるみたいなところに対しての防衛が非常に弱いなというところがあったりはしますよね。
ただそれ以外のところで言うと、特に改善みたいなところもそうですけど、
ちゃんとその辺を制御させて、人間がそこ判断、途中で判断したり、コンテキストもそれが起こったらどうなりますよみたいなところだったりだとか、周りのウェブ検索もそうですけど、
しっかりとしたコンテキスト揃えて判断も人間が同時並行でやればですね、結構いい結果が出るんじゃないのかなっていうのを示唆するような実験内容だったかなと思いますし、
ただその騙されるみたいなところで言っても、このLMMの精度が上がっていって、今4.0とか出てると思いますけど、とかで言うとまたちょっと違うような結果が出るんじゃないのかなと思いました。
これちなみに言うと、仕入れとか、仕入れたものを冷蔵庫に入れるだったりだとか、なくなって在庫補充するみたいなところは、LMMから人に対してこれ在庫補充してくださいみたいなところを言うような感じでチャット連携してたそうで、
これってすごく面白いなって思ったんですよね。なんかこう、やっぱりこう、私たちがMCPとして今LMM使ってスラッグノーションとか動かしてますけど、やっぱり結局これってこの計判断と執行のレイヤーがあったとして、計判断のレイヤーがLMMになったときって、
人間がMCP的な動きというか、人間がAIの命令を聞いて動かされるみたいな社会が来るようなと思っていたし、まさにこういうところは人間が在庫補充してくださいと言われて、はいはいって言って入れに行くみたいなところの方が実装難しそうというか。
そこを機械にする、そうですね、そこを機械にする、冷蔵庫だったり自動販売機そのものを作ることはできると思いますけど、ただとはいえ、AIに命令されて動くみたいなところっていうのがやっぱり人間の役割になってきそうだなっていうのはこれを読んで改めて思ったところですね。
そうですね、結果的にこれは途中騙されて終わりましたみたいなところになったりだとか、人間の悪意のある、なんていうんですかね、騙そうとするコミュニケーションによって喪失とかが出たりしてしまいましたけど、
これうちのところで置き換えて考えると、ノンコールのコンテキストみたいなところはクライアントによって左右されないようにはしてるんですよね、さすがに。クライアントは直接うちのAIに対してコミュニケーションすることはなくて、うちの従業員を通して従業員がAIと相談したりしてコンテキストを入れていくみたいな形になっているので、
人間の悪意があって騙すみたいなことがほぼほぼ不可能に近いような形にはなっているんですよね。もしこれが将来的に完全にAIのみによって売り上げが左右されるみたいな状況になって、
社内の林に対してめちゃくちゃムカついた人みたいなところが悪意のある動作させるみたいなところ、そういうセキュリティ的なところはすごくちょっとSFに近くなってしまいますけどできるかもしれないですけど、ちょっとそういうのは置いておいて、
一旦はですね、基本的にはそういう悪意のある操作みたいなところはできないようにしているので、そこで言うとやっぱりこのLMMによる意思決定によって売り上げだったり資産っていうのを最適化最大化していくっていうところは、やはり可能そうだなっていうところが今回の実験結果で思ったところですね。
これをアンソロピックがやってるっていうのがやっぱりいいですよね。
イケてるなって思いますよね。
やっぱりオープンエアでやってるベーシックインカムの実験とは何かちょっと違う感じがするというか。
何て言えばいいですかね。より地に足のついて、ちゃんと未来に向けてやっていこうとしてるんだなっていう感じがしっかりしますし、来たるべき未来が見えてる感じがするなっていう感覚はありますね。
余談ですけど、最近サンフランシスコでの人材の引き抜き合戦がとてもつもなく試練して、オープンエアからメタに大量に引き抜かれてるし、オープンエアとメタからアンソロピックに大量に人が流れているそうで、タレント競争みたいなものが、
大体日本とアメリカって3年とかスパンで送れてくると思うんですけど、3年後の日本のAI戦争でも起こるのかなみたいなところはワクワクしますし、やっぱりアンソロピックっていう会社が多くのエンジニアにとってとても魅力的な、優秀なエンジニアにとって魅力的なところになっているっていうのは、こういう実験結果からも、いやそうだよねみたいなところは思うところがありますね。
というところで、実験結果としては、自動販売機の経営をするというところをLMMがやったんですけど、結果的には破産に近いような形で終了しましたと。
ただし、破産になった原因としては、やっぱりちょっと悪意のあるお客さんからの要求っていったものに対して、AI自体があんまり疑わずになるべくリクエストに答えようとした結果だという形でしたと。
ただ一方で、良かった点としては、ウェブ検索とかも効率的に使いながら、最適な仕入れっていったところもできるようになってましたし、顧客への対応みたいなところで言っても、基本的には危険物質の注文とかそういったものを一切通さなかったっていうところがあったりしましたね。
なので、やっぱり危険なところみたいなものをしっかり、今現時点でいうと、危険な意思決定みたいなところに関してはしっかりAIが目利きで通すようにしつつも、調査であったりだとか、マーケティング計画の案出しみたいなところを一定コンテキストを整えた上でAIにやらせるっていうのは、今経営を最適化していく上でも非常にいいし、
やはりこれも毎回喋っていることになってあれなんですけど、LMMに対して状況を判断させるだけの十分なコンテキストっていうのをしっかり整えていくっていうことが何よりも大事なんだなっていうところですね。
ノートピックでは私の日々のAIや経営についての学びを発信しています。ぜひフォローして次回の配信をお楽しみいただけると嬉しいです。今回もお聞きくださりありがとうございました。
