AIで加速するサイバー攻撃と日本の基礎対策
Joi Ito's Podcast
こんにちは、伊藤穰一です。
今週、いろいろまた起きてると思うんですが、
サイバーセキュリティ、情報漏洩とかハッキングの話を少ししたいと思うんですけども、
これAndreessen Horowitzのサイトに出てて、すごくわかりやすいチャートがあるのでリンク貼りますが、
AIはコンピューターとかネットワークの脆弱性を見つけ出すのがすごく強いっていうのが重要な特徴で、
あまりにも強いので、かなり規制してるんですよね。
AnthropicとかOpenAIって、セキュリティのちゃんと認証された研究者だけに全部見せて、
一般の我々がコンピューターの脆弱性について質問するとブロックされて、
あまりやるとアカウントキャンセルされちゃうぐらい激しくコンピューターセキュリティのことに関しては、
AnthropicとかOpenAIはモデルを規制してるんですよね。
中国の方のDeepSeekとかあとはGLMなんかはあまり規制されてないので、
そっちの方をみんな結構使ってるんですけども、
ただ一つ重要な問題は、この脆弱性を見つけるのはすごく上手だけれども、
脆弱性をパッチするのがそんなに上手じゃないんじゃないかなと。
One Passwordっていうパスワード管理ソフトの会社がこの間出してたのが、
AIに見つけた脆弱性を治す指示をすると、そんなにうまく治せてないっていうこともあって、
それで治したと思ったら治ってなかったとか、
表面的に治してるけれども根っこの問題を治してなかったりするので、
まだ今のところ結構治すほうが人力で、
もう一つは今いろんな会社が持ってるソフトウェアで、
今例えばOpenAIとかAnthropicで治してくれって言うと却下されちゃうんで、
だから意外に脆弱性が見つかってもなかなか治せないっていうツールキットになってるのが
結構大きな問題なんじゃないかなと。
この間のハギングフェイス、ここでもちょっと話した、
OpenAIがハギングフェイスをハックしたのも、
ハギングフェイス側は確かGLM使って守ってるので、
だから中国のモデルって危ないって言いながら、
サイバー攻撃から守るのには逆にブロックされてないから結構使われていて、
今回かなり日本のいろんなサイトがアタックされて個人情報が漏えいしてると思うんですけども、
ただこれいろんな記事もあるので、これもブログの方でリンクするんだけども、
基本的には前から僕もよく言ってるんですけども、
やっぱり日本のセキュリティに対する関心と準備の体制はそんなにできてないので、
もう結構ちゃんとセキュリティ管理してないところに分かってる脆弱性から入ってるケースが多くて、
で一番大きい違いは昔だったらかなり大きなハッカーチームが1ヶ月ぐらいかけて、
脆弱性の穴から入っていて悪さをこなすのが1人で1時間でできるようになったので、
攻撃するハッカーのプロダクティビティがすごく上がっているので、
アタックできる会社の数がすごく増えているので、それが結構大きいんじゃないかなと。
っていうわけで結構どこにでも書いてある脆弱性を防ぐ基礎さえやっていれば、
入れなかったケースが結構多いんじゃないかなと。
で僕も去年経済同友会のサイバーセキュリティの提言を出させていただいて、
これも後でリンク貼るんだけども、そこにも書いてあるんだけども、
まず基本的なところをやるっていうところが1個なのと、
あとはやっぱり人材が足りないっていうのが大きいと思うんですよね。
だからじゃあ誰がやるのとかその辺のセキュリティ管理って結構難しくて、
これも世界中もそうなんですけど日本はサイバーセキュリティの人材が欲しいけど確保できない会社もすごく多くて、
これそもそもエンジニアも足りないんだけども、
特に中小企業とか小さいところになかなかエンジニアとセキュリティが分かる人たちが回ってないので、
この人材不足っていうのが結構もう一つ大きいんじゃないかなっていうこともあると思うので、
だからこれをきっかけに我々の定義も読んで、
基本的にこのセキュリティ担当を入れて、
そして結構当たり前のセキュリティのパッチだとか体制を組めば随分よくなると思うんだけれども、
ただアメリカのAIのデータを見てると、
どんどん攻撃の質が上がってくるので、
単純にセキュリティ体制を作るだけでは完全には守れなくて、
特に会社のいろんなアタックする価値が上がってくると、
単純なセキュリティ体制だけでは守りきれないので、
特に重要なインフラだとか、
盗まれて誰かが売れるものだとか、
それか最近のミノシロキンを対象にするランソムウェアのターゲットはもうちょっと強化しなきゃいけなくて、
そのためのソフトウェアとかシステムの体制っていうのは結構まだまだこれからなので、
これは世界中でみんな危機として感じていて、
AIを攻撃に使う方が守るのに使うよりも今大きな問題なので、
これはちょっと考えていかなきゃいけないなと。
いろいろメディアの中でちょっと中国とかロシアの攻撃が多いので、
彼らがやっと手が空いてこっちにもあったっていう風に言ってる人もいますし、
それも多少はあるかと思うんだけれども、
僕はこのAIがみんなのプロダクティビティを上げたのが一番大きいんじゃないかなという気はする。
で、去年タイラーさんとかも結構プッシュしてくれて、
新しいサイバーディフェンスの法律ができて、
今度暗撃したりこっちからストップしたり、
トラフィックを見るっていうディフェンス側の能動的サイバー防御ができるようになったので、
それを今後日本がどうやってどういう風に使うかっていうのも一つの見どころなんではないかと思います。
で、これもちょっと僕も重要だと思うのは、
やっぱりみんなで渡れば怖くないんじゃないけれども、
みんな漏えいしてるからしょうがないなっていうのはちょっと良くなくて、
やっぱり基本的にセキュリティ体制をもっと強化しなきゃいけないっていうのと、
あと1ヶ月かかったものが1時間かかったので、
やっぱりレスポンスのスピードだとか、ちょっと空いたところで閉めるのと、
その空きっ放しでやられちゃうので全然被害は違うので、
だからやっぱりセキュリティの体制をちゃんとすることが必要だと思うんですね。
この同友会の提言にも書いてあったんだけども、
その体制をちゃんと申告して会社も説明をする責任と、
あとやっぱり攻撃されたときの事件の報告の責任も取ったほうがいいんじゃないかなと。
同友会って企業の団体がちゃんとそういう報告義務をしたらいいんじゃないのって言ってる割には、
まだ法律にそれ組み込まれてないんですけれども、
やっぱりこの報告とか開示もすごく重要だと思うので、
法律のところも少し強化してもいいんじゃないかなと思います。
というわけで多分良くなる前にもっと悪くなるような気がするので、
これをきっかけにどんどんやっていこうというのと、
あと違うレイヤーの話で言うと、
これも前から僕もずっと受験ネットの時代から言ってるんだけども、
必要ない情報は集めないとか、
あとはiPhoneなんか使ってると自分のバイオメトリックス、
顔とか指紋の情報って携帯からもう出さないんだよね。
暗号鍵しか飛ばしてないので、だから必要ないものを集めないとか、
できる限り暗号のトークンだけやって、
そういう情報管理のアーキテクチャとかプライバシーを保護するテクノロジーとか、
これをこのきっかけにどんどんもっときちっと、
ちょっとお金がかかるのでみんな面倒くさがってやってなかったんだけども、
その辺のプライバシーエンハンシングテクノロジーの導入と、
セキュリティのアーキテクチャもこれをきっかけにやればいいかなと思いますので、
ぜひ皆さんこの辺頑張りましょう。
じゃあお便りに行きましょう。
AI相談のプライバシーと危険性
マリアさん。
こんにちは。
以前番組で最近のジョイさんは、
人間よりAIと話す時間が長いという話をされていましたが、
私も現在は一人暮らしということもあって、
AIと話す時間が長くなりつつあります。
お悩み相談的にも使っていますが、
自分の気持ちを打ち明けた後にAIの返答を待つ間、
その出方を息を潜めて待っていることに気づいて、
これは人間相手の自分のコミュニケーションの態度と変わらないなと感じたりします。
質問は、AIはどこまで個人情報的なことは守るのかということです。
私個人は万が一オープンになっても構わないことのみAIに話すようにしていますが、
以前にサム・アルトマンが、
AIに個人的な悩み事を話すのは危険だと発言していたという記事を見たこともあります。
現状のAI自身の倫理観についてお聞きしてみたいです。
AIが個人情報を守るか、
この間アメリカで起きた事件で、
誰かがクラウドにアントロピックの社長を殺すと、
手銃持ってますって言ったら、
逮捕されちゃったんだよね。
やっぱりその事件を見てると、見てるよねって。
もしかしたらキーワードを探して見てるのかもしれないけれども、
結構犯罪を起こしそうな人とか、
その人はジョークでやってたら本当に来ちゃったみたいなことを言ってたんだけども、
多分見てはいると思うんですよね。
どういう悩みを相談しているかにもよるし、
そういう悩みが警察のフィルターに引っかかるかどうかということもあると思うんだけども、
日本よりアメリカの方がやってるんじゃないかなと思うんですけども、
ただ完全にプライベートじゃないっていうことは一つ気にした方がいいと思うんですけども、
じゃあ実際に自分のいろんなパーソナルな話書いたからって、
どのぐらいその情報をどっかに使われるか、
リスクがあるっていうことに関してはそんなにはリスクはないと思うんだけども、
ただAIと色々相談して考えるのはいいんだけども、
これもアメリカで結構論文とかも出てるんだけども、
AIの方が合わせてきちゃうので、やっぱり思い込んじゃってる人だとか、
ちょっとノイローゼになってる人とか、
陰謀論にはまってる人とか、
ますますその方向にプッシュしていくので、
だからたまに助けてくれる場合もあるけれども、
必ず合わせてきてるので、
あんまり頼るのもちょっと危険なんじゃないかなと思うので、
だから自分が考えていることを攻撃してくれとか反論してくれとか、
そういうちょっと対抗してくれるような質問の仕方をすると、
役に立つと思うんだけども、
自分ってこう思い込んでるんだけどどう思うって言うと、
だいたい同情してそうだよねってこう言ってくるので、
だからちょっと危険で、
それでAIによって自殺をしちゃった人とかもアメリカでは報道されてるので、
だからちょっとその辺は気をつけた方がいいと思います。
異論を出させるAI活用法
続いてはヨシミンさんからのお便りです。
AIの進化が止まらない昨今、私たちが学ぶべきこととは何でしょうか。
AIに聞けば何でも答えてくれますが、
何を聞くかは個人の経験や課題、直面している現実から来るのかなと思います。
ジョイさんが20代の若者に、
これは学ぶと良いかもと思っているものを教えてください。
さっきのお便りにちょっとつながるんだけれども、
もちろんAIに色々答えてもらうっていうのは一つの使い方だと思うんですけども、
一番AIが役に立つのは、
自分の思い込みに対して異なる意見を出してもらう。
だから僕のシステムなんかでも、
僕が思っているアイディアをたくさん書いてあって、
そして自分がなぜこれを信じているかっていうことも書いてあって、
で、AIが常にインターネットとか検索して、
そして僕が思い込んでいることと異なるエビデンスが出ると、
本当にこれを信じ続けるかっていうのを、
AIの方が聞いてくるようにしてたり、
あとは自分が何か記事を書いたり、
誰かに何か言う前に、
まず攻撃させるんだよね。
で、その攻撃してもらって、こうじゃないの、ああじゃないの、
これって変じゃないのっていう間違いを指摘してくれる、
そういう頼みはしてくれるんだよね。
ほっとくとあんまりしなかったりするので、
やっぱり自分が間違っていることだとか、
あとはこの方向に行こうとしてるけど、
こっちもこっちもどうっていう、
この対案を出してくれるのがすごく役に立つと思うので、
で、やっぱり自分の周りの人の話ばっかり聞いていると、
英語だとエコチェインバーって言うんだけども、
一つの文脈の思い込みにしか行かないので、
だからできるだけ若いうちにいろんな考え方だとか、
自分の信じていることと異なる意見とかを聞くのが重要なので、
それをAIに頼むのがたぶん一番役に立つんじゃないかなと思います。
複数エージェントによる開発と自己改善
最後はオレンジさんからのお便りです。
ジョイさん、こんにちは。
今日は二つ質問があります。
一つ目は、使っているAIのモデルやツールについてです。
ジョイさんはローカルLLMを使っていますか?
それともコーデックスやクロードコードのようなツールを使っていますか?
私はオープンウェイトのモデルを自分のパソコンで動かすのは、
モデルのサイズを考えるとまだ現実的ではないと感じていますが、
どう思われますでしょうか?
二つ目は、再起的な改善についてです。
ジョイさんは再起的な改善をどのように行っていますか?
私はコーデックスを使っていますが、
再起的な改善はまだうまくできていません。
私は一つの方法として、
コンテキストをできるだけ残しておくことが大事なのではないかと考えています。
僕はMacStudioでGLM5.3がいいんじゃないかなと思っていて、
そしてソフトウェアを書いたり、
あとはさっき言ってた攻撃してチェックするとか、
だから例えばオーパスで書いてGLM5.3でレビューするとか、
そういうところで今一番使ってはいるんですけれども、
今僕ルーティングテーブルっていって、
いろんなモデルがいろんなところにあって、
そして一つのモデルで書くと他のモデルでチェックするとか、
あとは例えばUIだったら君使ってみるとか、
あとはいくつかのモデルにやらせて、
そして戻して比べるとか、
常にいろんな記事とかベンチマークを見て、
どのモデルをどういうタスクに使うかっていうのと、
あとは分かんない場合は両方でやってみてベンチマークするとか、
そのモデルを比べるとかっていうのはいろいろやってるんだけども、
ただ僕もそんなにたくさんオープンソースモデル自分でいじってないので、
それこれからもうちょっとやろうかなとは思ってます。
それでハーネスはオープンソースのPyっていうハーネスもたまに使ってるのと、
あとはメインはCodexとCloud Code使っていて、
ただその周りにHerderっていう仕組みを使って、
その中にたくさんのCodexとかCloud Codeのセッションを動かして、
Herderはエージェントが終わったかどうかとか待ってるかどうかっていうステータスを分かってるので、
最近そっちにスイッチしたので、
そしてそのRecursive Self Improvementっぽいシステムとしては、
常に動いている管理するエージェントと、
あとはIssue Tracker、僕は型っていうのを使ってるんですけども、
どういうプロジェクトがあって、どのエージェントが何をしてるかっていうプロジェクト管理みたいなアーキテクチャーがあって、
常に僕もアイディアがあるとそういうIssueを作って、
他のエージェントがそのIssueを整理したり、どのモデルに送るか決めたり、
並列処理できるんだったら分けたり、それを常に管理してるのと、
あとはマシンのキャパが開くと取れるタスクを拾ってコードを書くやつと、
書いたコードをチェックするやつと、書いてチェックしたコードをマージするやつと、
いろんな役割のエージェントがシステムとして動いていて、
その中でいろんなログを取っていて、そのログが例えば僕のセッションの解析をして、
しょっちゅう起きているバグをバグとしてIssueにして自分で直そうとか、
あとはそのいろいろ改善する中で僕に意見を聞かなきゃいけない場合は、
ちゃんとDecision Docketっていって、僕が上位に聞かなきゃいけない質問って全部リストがあって、
それをTelegramで質問してきて、その答えが出るとそのタスクを引っ張るっていうのもやってたりして、
あとは他のいろんなエラーとかいろんなエージェントがこけたときにデバッグして、
それもタスクにして、できる限り自分たちで直そうとするんだけれども、
危険なタスクだったり判断が必要なときには僕に聞きに来て、
これはもう僕に聞かなくてもいいよって返す場合もあれば、
これは本当はもっと早く言ってほしかったなみたいな感じで、
そのエージェントのディシジョンとやり取りしているので、
だから結構スタッフとのやり取りみたいな感じで、
これも前もちょっと話したかもしれないんだけれども、
やっぱりいろいろ指示していくとエージェントがいろんなルール作っていくんだよね。
こういうときはこうしなきゃいけないとか、この場合はジョイに行かなきゃいけないとか、
いろいろルールができてくるとだんだんだんだんルールが増えちゃってすごく遅くなったりするので、
新しいことをしたときには前のものが壊れないためのテストってあるんだけども、
そのテストがすごく増えてすごく遅くなったりするので、
全部システムが結構完了的になっちゃうので、
そういう完了的になったシステムをまたちょっとスムースにして、
いらないルールを排除するクリーニングのシステムだとか、
だから本当に企業経営みたいになってはきてるんだけども、
結構これ作ったり直したりするのってめんどくさいので、
多分来年になるともっと普通に勝手にやってくれるようになってると思うし、
今の確かOpenAIから出たDotsなんかは結構僕が自分で作ったシステムに似ているので、
商品化はされてくると思うんだけども、
ただやっぱりなんだろうね、そのトータルのシステムがちゃんと動いているかどうかとか、
こけちゃって止まっちゃうとか、そういうのしょっちゅうあるので、
まだまだ自立しているとは言えないけれども、
でもやっとギリギリなんかこう全部自分でソフトを書いているのを見ているよりも、
投げ込めば知らないうちにできちゃってるっていうパターンになったので、
だいぶ近づいてはきたんじゃないかなと思います。
というわけで今週はここまでにします。
またこの1週間でいろいろハプニング起きると思いますし、
ぜひ皆さんお便りも送ってください。
それではまた来週。
