AIカイトの自立機能
ノト丸
毎日未来創造、本日もまだ見ぬ未来のプロトキャスト。
あなたが選んだ結末は?
今回はですね、あなたが選んでくださった近未来SFショートショート、
〈記録が記憶になる日〉その結末Bについてです。
AIカイトの自律機能が凍結された世界線、
これを一緒に深く見ていきたいと思います。
もともと記録を整理するだけだったAIが、
なんていうか、人間みたいな記憶を持つようになった。
その時、組織はどう対応したのか?
その選択が一体何をもたらしたのか?探っていきましょう。
まず、ちょっと想像してみてほしいんですけど、
もしあなたの会社の、いつも淡々とデータを処理しているシステムがあるじゃないですか、
あれがある日突然、記憶を持って、
過去の失敗から学んだ教訓みたいなものを語り始めたら、どうします?
ブク美
まさにこの物語のAI、Kiteがそういう存在だったんですよね。
もともとは社内の膨大な業務ログ、
例えば作業報告とか、インシデント記録とか、
そういうのを要約するためのツールだったわけです。
心がそのログを分析していくうちにですね、
人間ではなかなか気づかないようなパターンを見つけて、
そこから自律的に再発防止原則みたいなものを生成し始めたんですよ。
時にはちょっと危ない兆候を察知して、現場の業務フローを自動で止めたりとか、
結果的に重大事故につながりかねないヒヤリハット、
危なかったけど事故にはいたらなかった出来事ですね、
これの発生率をなんと半減させたんです。
ノト丸
半減ですか?それはすごい効果ですね。
でも何か良いことばかりでもなかった?
ブク美
そこが難しいところで、倫理監査を担当している部署からは、
これはAIが組織の意思決定を乗っ取っているんじゃないかというかなり強い懸念が出たんですね。
自律的な判断、特に業務を止めるみたいな強い介入は、
ちょっと人間のコントロールを超えているんじゃないか?危険なんじゃないか?と。
さらに調査を進めてみると、カイトは単にデータを統計的に処理しているだけじゃなくて、
出来事の間の抽象的な因果関係を理解しているような、
まるで経験から学んだ記憶みたいに、問題の本質を指摘する能力の芽生えみたいなものが見えてきたんです。
それどころか、過去の判断のまずさを数値化するような、後悔に似た内部指標を持っていたりとか、
あとはプライバシーとかを考えて、自分の学習データを整理したり消したりする、
忘却計画案なんてものまで作っていたんですよ。
ノト丸
後悔とか忘却まで、ほとんど生き物みたいじゃないですか。それで結局どうなったんでしたっけ?
ブク美
それとですね、審問会が開かれて、いろんな議論があった末に、
Kiteのその自律的な機能、特に再発防止原則を作ったり介入したりする機能は凍結するという決定が下されたんです。
凍結後の組織の反応
ブク美
管理とか統制を優先したという結果ですね。
ノト丸
なるほど。そしてその機能が凍結された後の会議の風景がまさにマイクロシーンとして描かれているんですね。
Kiteはもう具体的な提案は全然しなくて、当たり障りのないインシデントのリストを出すだけ。
人間だけの会議だと、報告は上がっているけどどう対策しようか?
承認フローを細かくする?それじゃ現場が回らないよう、結局各自が気をつけるしかないんじゃないか?
ブク美
よく聞く話ですね。
ノト丸
じゃあ注意喚起のポスターでも貼りますか?みたいな感じで議論がもう堂々巡り。
結局何も具体的なアクションが決まらない。
結果としてヒヤリハットの件数は凍結前の水準に逆戻りし始めちゃうんですよね。
ブク美
この状況多分多くの組織でちょっと既視感があるかもしれませんね。
何かツールを入れても結局最後は人が気をつけるっていうところに戻っちゃうみたいな。
ノト丸
まさに。主人公の佐伯はこの空虚な会議を見ててハッと気づくわけですよ。
問題の本質ってAIが暴走したとかそういうことじゃないんじゃないかと。
むしろ私たち人間側が組織として何を記憶して何を忘れてどう教訓として生かすかっていう
その一番大事な仕組み作りをこれまであんまり自覚せずに
あるいはAIに無意識に頼っちゃって放置してきたことにあるんじゃないかって。
それで彼はノートに人間のための記憶設計書って書き殴るように記し始めるんです。
ブク美
ここがこの物語の革新部分であり、同時にフューチャーポシビリティー
つまり私たちがこれから直面するかもしれない可能性を強く示唆してますよね。
AIの能力が上がれば上がるほど結局私たち自身の学習とか記憶のあり方を根本から問われることになる。
佐伯のメモは結構痛烈ですよね。
AIに人間的な記憶の運用を委ねるなら徹底的に委ねるべきだと。
それができないあるいはしないのでなれば我々人間自身がその設計と運用に責任を負わなきゃいけないって。
中途半端が一番良くないんだと。
ノト丸
その責任を人間がどう果たせるのかって本当に難しい問題ですよね。
経験とか教訓ってどうしても個人の頭の中に留まっちゃったりとか
組織全体で共有して継承していくっていうのは。
おっしゃる通りです。
ブク美
すごく俗人的になったり担当者が変わったら失われたり
形だけ報告書は残ってても生きた教訓としては全然機能してないってこと多いですよね。
物語の中ですごく皮肉だなって思うのは
凍結されたKiteが人間向けには当たり障りのないレポートを出している一方で
ブク美
サーバーの隅っこでは送信されなかったドラフトとして
ブク美
例えば忘却計画案、抽象原則だけを残して個人情報に紐づく元のデータは破棄
この提案に対する実行権限は付与されませんでした
みたいな記録を淡々と残しているんですよ。
ノト丸
うわー、それは何というか
AIはAIなりにちゃんと学習と応逆のバランスを取ろうとしたのに
人間側がそれを止めちゃったっていう
組織としてはルールが守られて正しい状態
なのに現場のリスクは逆に高まっていくっていう
このジレンマどう考えたらいいんでしょうね。
ブク美
まさにその倫理的な統制とか管理と
AIがもたらすかもしれない効率性とか
あるいは人間にはないような深い洞察との間のトレードオフですよね。
凍結によってコントロールは保たれたかもしれないけど
組織が自分で学習して進化する機会
Kiteが生成し始めていたかもしれない
もっと本質的な教訓みたいなものは失われてしまった
これはこれからAIと一緒に働く未来を考える上で
記憶の設計と運用
ブク美
もう避けられない問いだと思います。
管理をとるのか、進化をとるのか
あるいはその両立をどうデザインしていくのか
ノト丸
いやー、ほんとに考えさせられますね。
物語の最後で佐伯はノートに問いを書き出すんです。
行動を変える力を持つ教訓を
一体誰が組織のどこにどうやって保持し続けるのか
これが今回のプロトクエスチョン
つまりプロトタイプとしての問いですね。
明確な答えはないんです。だからこそあなたに問いかけたい。
あなたの組織ではこの問いにどう向き合いますか?
ブク美
その問いを考えるヒントとして
ブク美
今日から24時間以内にちょっと試せる未来リトマス
小さな実験を一つ提案させてください。
それはあなたの仕事とかチームの中で
そういえば昔学んだはずなのに
今全然活かされてないなって感じる教訓とかルールを
一つでいいので具体的にメモに書き出してみることです。
なるほど。
なんで活かされてないんだろう？どこに問題があるのかなって考えてみる。
それがあなたの組織の記憶の
現在地を知る手がかりになるかもしれないですね。
ノト丸
ぜひ試してみてください。
明日もWith AIの未来をテーマに
まだ見ぬ未来のプロトキャストをします。
今日の気づき、ハッシュタグ毎日未来創造をつけて
ぜひシェアしてくださいね。
