00:08
すべての人にとって役立つAIシステムの構築ですね。いや、これはすごいですよね。タイトルが罠ですよね。
そうですね。
このすべての人っていうのを本当にちゃんと考えなきゃいけないみたいな話だよな。
みんなとかすべてって誰のことですかって。
みんな言ってるんだよみたいなね。
一生がイントロだとすると、実質本編ここからみたいなところはありますけど、いきなりやっぱりすごい難しいなーってなりますよね。
ざっくりどういう問題を定義してるかっていうと、どうですかね。公平性の問題、公平性とは何か、それをどう評価するかとかって話がなされてるそうですね。
公平性とは何かって何でしたっけ。つまりこれが公平性ですみたいな言い方はまとめにあるかな。
まとめの方に行くと、公平性は文脈に依存するっていう話がこの中では出てきて、つまり公平であるってことをやろうとしても、
誰かにとっては公平にしようとした結果、別の人にとっては良くないことが起きてしまうっていう。唯一こういうものですっていうのがないですよっていう話がこの本では出ていますね。
だから一応多分機械の平等みたいなところとか、そういうところは多分あるにはあるんでしょうけど。
そうですね。全てのユーザーに対して同等の品質で機能する場合、それは公平であると言えますっていうのが一応の、一応のというか究極の定義で。
これ同等の品質っていうのはもちろん使いやすい使いにくいみたいな話してくると、じゃあアクセシビリティどうなってるんだっけとかって話もあるし、
なんか心地よい心地悪いとかピンとくるピンとこないみたいな意味での、何ですかね感情的なところも含めて平等な品質。
品質って誰かにとっての価値だから。
価値。
誰にとっても平等に価値があるものって見返っていいと思うんですけど、それってすごい難しいよねっていうのがその文脈によるよねって言ってたところですね。
システム内の様々な不公平さやバイアスを確実に検知し、軽減することは可能ですっていうふうにそのまとめを読むと続いていきますけど。
その公平性はなぜこんなのかっていうのも語られてるそうではありますね。
03:00
これでいくつかAIとかを使った例が出てるじゃないですか、こういうところが実はバイアスなんですみたいな。
この例がすごいわかりやすかったですね。
そうですね。
嫌な気持ちになりましたね。
溢れてるんだろうなこういう問題がって思わざるを得なかったんで。
そうですね。
この本で今言ったような例として出てくるのは、例えば男性が聴診器を首からかけているとこれは職業なんでしょうって聞くと医師ってなって、
女性が聴診器をかけていると看護師っていうふうに出てくるみたいな話があって、
これは明らかにそこだけで断定するっていうのは難しいはずなのに、
AIの学習の偏りによって傾向性みたいなものによってこういうふうに出てきてしまうっていうのがあったりとか。
2つの写真を見せてこれは何が映ってますかってAIに解かせてみたみたいな文脈ですよね。
あとバスケットボール選手を描いてってやるとどうなるかっていう話もあって、
白人の大柄が出てくるみたいな話とか。
じゃあ生成するときに肌の色をどうするといいのかっていうのはなかなか難しいですよね。
難しいですよね。プロバスケットボール選手のように見た目にしてって言って写真を渡すと、
なんかがたえのいい感じの、何ていうのが正しいんですか。黒人っていうのがあれですもんね。
多分正しくない。肌の色が変わったりとかっていうのが出てきて。
でもあれですからね、地球上で一番バスケが上手いって言われてる人が、どこだっけ、ヨーロッパの白色人種系の人なんで、
AIの学習が足りてないですね。
そうだから学習、すでに存在するものを学習して、ある意味多数決的に決めるのがレイルエイムだと思うんで、
なんかすごいステレオタイプを増長していくはずなんですよね。うっかりというかそのまま素直に使うと。
だから人間が何かを判断すると、価値判断が入ってよくないんだ。だから機械にやらせようみたいな発想で、
AIがいい評価を出してくれる、かっこつきの正しい評価を出してくれるっていうようなことを言ったりする人もいるんだけど、
06:00
結局そこの学習データに依拠してるっていうことになると、例えば、これは例えばですけど、男性と女性の賃金を推定してくださいってやったら多分、
学習データは男性の方が大きい、高い、それは社会的な、今の実際現実の平均給与だったりとかを見たときに、
男性の方が高いからっていうところとかも含めて、結局評価をするときにこの人給与どうするって言ったときに、
男性が高く出る可能性が高そうだなって思ったりするんで、でなるとAIって全然平等でもないし公平でもないし、
何ならただ単に現実の社会をミラーしてるだけだったりすると、AIによって評価されました、で説明責任はAI果たしてくれませんっていうと、
もっと悪い世界が待ってるかもしれないんだけど、やっぱり人に評価されるよりはAIが評価された方がいいと思う場合もあるんだろうなと思ったりとかして、
なかなか難しいなって思ったりしますね。
現実世界が多分正しくないので、それをそのまま反映すると、理想的ではないものがそのままアウトプットされてくるので、
それって欲しい世界だっけみたいなところになっちゃいますよね。
逆にステレオタイプとかよくあるものを書いてくださいみたいなことであれば、AIは多分当たり障りのない、よくありそうなものみたいなものを出してくれるけど、
それをもうちょっとパーソナライズしたものに使うとか、過度な一般化のために使ったりすると、すごく辛いことが起きてしまうんだろうなとか思ったりして、
AIはパーソナじゃないし、現実はそもそも歪んでるし、ってか歪んでない状態ってのは何なんだろうかみたいなことまで考えないといけなくなってしまうので、
じゃあその公平って何なんだろうねってなっちゃうんですよね。
難しい、本当に難しいというか、向き合わなきゃいけないよねっていうのがこの本を読んで思うところであるんですけど、公平っていう問題が難しいよねっていうのは本当に文脈に依存するので、
例えば今ここで喋ってる僕と源井さんの中で許せるライン、ぜんぜん問題とみなさんラインっていうのと、アジア全体で使われる何かですとか、
アジア全体って言った時には当然アジアの外で生まれ育った人、そういう文化的な背景を持つ人っていうのも当然入ってるよねっていう文脈での許容できるラインとか、ぜんぜん違うじゃないですか
09:12
たとえば僕と源井さんだけが喋ってて、中学校時代の投資とかを書いてくださいって言ったら別にそこにあらゆる人種の人がいなくてもそんなに深い感はないはずなんですよ、
それって僕と源井さんにとっては、本当に本当に言葉で選べるの難しいけど、どっか日本のどっかの田舎の方の学校で育ってきた芸風景があるから、それはそのままアートプットしても配慮が足りないにはならないはずなんですよ、だってそれって僕と源井さんに対して配慮されればオッケーなので
だからそこの中では被害者は生まれないはずなんですけど、でもやっぱりこれが文化的な文脈とかを所有されてない人にとっても公平な表現をしなきゃいけない場面だったらもちろん考えなきゃいけないことは増えるので
ってなった時にそのAIを使って公平なものを作るっていうのは、ちゃんと工夫しなきゃいけない?
そう
その工夫ね、はい
やっぱり自分たちが誰に何を提供しようと思ってるのかってことをこう、強いイメージを持ってないとなんかすごい危なくなりそうだなって思ってて、まあでもそれもそれで危ないっていう気もするんだけども
そんな使い方されると思わなかったとか、そんな人にも使ってもらえるなんて考えてなかったんでみたいな
そうするとじゃあ配慮が足りてないかもしれないかもしれないかもしれないってこう繰り返していくと、一生リリースできませんみたいなことになっちゃうんですよね
そうですね
どこまでやったらオッケーなんですかって言われたら、いや完璧になるまで、パーフェクトなソフトウェアになるまでやってくださいって言われると、じゃあ宇宙人に対しては配慮しますかみたいなことになってくるんですよね、だんだん
未知の生命体がやってきた時どうしますかとか
牛の気持ちは考えたことあるんですかとかなってくる
そうそうそう、そうなんですよね
でもね、生命倫理とかの話になってくると当然家畜の話とかも出てくるわけだし
特にソフトウェアの話でいうと、ブランチの名前をマスターがデフォルトだったのをメインにした方が問題になりづらいっていうとすごい消極的な言い方なんですけど
12:04
マスターっていう言い方に対して無感覚な世界だと、なんていうんですかね、生きづらいっていうとちょっとあれなんですけど
心良くない、そこに対してすごい想起されるものがあるっていう反応を示す人もいるところに対して無自覚じゃいけないよねっていう運動とかやっぱりあったわけで
それやった時に社内の日本国内でやってる社内のプライベートレポジトリーまでそこまでやるんだっけとかっていうと
責任を持つっていうのはどういうことなのかなっていうのを考えなきゃあかんよねってなったりとか
そうなんですよね、あと言葉の意味みたいなものも変わっていくじゃないですか、その時代において
よく言われるのが子どものどもっていう字を、僕らが小学生ぐらいの時ってデフォルトというか学校教育現場だと子どものどもって開いてたと思うんですけど
なんか今普通に漢字使ってよくねみたいな雰囲気だったりしますもんね
あれがなんで変わったかあまりわからないんですけど、こういう問題で開くようになってますっていうのは聞いたことあったんですけど
結局その言葉みたいなものがどう受け入れられるかっていうのは、もしかしたら時代が進むことによって気にしてた人たちの世代交代が進んだから
なんか別に昔はそういう言葉よくないとされてたけど、普通に使うしなみたいなこととかいう風になっていくってのもあったりするし
あるコミュニティにおいてはその言葉っていうのはすごく一般的な言葉として使われていて
そのコミュニティの外に出た瞬間に世の中とのギャップがあって、よくない、あいつらはけしからんみたいなことを言われたりとかして
なんかすべての問題が簡単じゃないみたいな感じになってて
そうですよね
でまあ内輪みたいなものが昔は多分まだ情報の拡散力がなかったからよかった
拡散されないからその中で閉じた言葉として使われてたけど、てかその言葉を使うからこそそのコミュニティの一員なんだっていう
ある種お互いが仲間だよねっていう印でもあったんだけども
それがインターネットによって一気に外に広がったことによって
15:00
なんかあそこは変な感じになっているとか、あそこのやってることはけしからんみたいなのを外野が言うようになったし
これが昔は日本語だけだったんだが、日本語で閉じてるから世界見つかってなかったんだけど
最近ツイッターの自動翻訳とかで、よくない言葉が外に広がっていくんじゃないかとか
よくない風にとられることがあるんじゃないかっていうのをなんか自分は結構最近ヒヤヒヤしながら見てたりしていて
なんかもうそれは言葉遣いの問題かもしれないし
その翻訳がそもそもなんか間違った翻訳をしちゃったせいで変な風に伝わってる可能性もあるしとか思うと
なんかコントロールはできねえし、何も言わないがいいことになるよねみたいな話しちゃったりとかして
でも別にそういう言葉借りしようってわけじゃないんだよなって思うし
そうですね
じゃあそのどういう風に訳したらいい、訳の問題だったらどういう風に訳したらいいんですかって言ったら
文脈によってはこの言葉をこう訳すべきっていうのは多分あるはずで
それも難しいですって言われ
もう言葉が自分の手を離れて知らないとこに飛んでいってしまうっていうような状態が起きるっていうのは
いやー難しい
そうなんだよな
でまぁちょっとなんか難しいねっていう話ばっかしてるとちょっとなんかすごい悲観的というか暗くなっていくんで
この本でじゃあどういうことかやるといいのっていうのを今の話もちょっとしてるから
なんとなくちょっとそれに触れていくと
AIのモデルにおける公平性問題みたいなのは攻撃をシミュレートすることがいいですよって言って
レッドチーミングっていう言葉があって
それは多様な背景と人生経験を持つテスターを配置して
要はある種のチームそのチームにバックグラウンド偏りがある状態っていうのが良くないから
そこにいろんな人種だったり人を配置してそのAIのモデルっていうものに対して評価していくっていうことが
一個のやり方だよっていうふうにこの本では言ってましたね
レッドチーミングの話ここでしたっけ
ここじゃなかったっけ
今ね話す気あるか2-4-2にあるか
レッドチーミングの実施ありますね2-4-2-3にありますね
失礼します
これさねコピペが一番上に来てるから若干怪しいと思っちゃったけど
あとあれですねモデルのトレーサビリティみたいな何を学習してるかとか
想定用途とか構成要件みたいなところをトレーサビリティをつけましょうみたいな話をしていて
だからこれっていうのはこういう意図で作られているものであって
こうじゃないものに対して使ったらそれうまくいかんでしょうっていうようなことを
18:01
わかるようにしていきましょうと
食品で言えば食品品の栄養成分表示みたいなものと一緒ですよっていうような言い方をしてますね
あとあれかなその前提としてそもそもマイナスっていうのはどんなものがあるんだいみたいな話
まず知るところから始めなきゃいけないよねっていうのもいくつか紹介されてて
紹介されての4つですね
基本的な前提におけるバイアスっていうところで
人々が自らの前提の多くを自覚していないよねっていうところに気づけるようにしたいよねって話
2つ目は訓練データの選定におけるバイアスですよね
例えばやったらそれはそうなるやろうってなっちゃいますからね訓練データ
その後が訓練データそのものにおけるバイアスっていうのがあって
これどう打ちなんだっけ2つ
訓練データそのものっていうのが世の中からわーっと集めてきたと言っているが
その中には例えばYouTubeからいろんな動画を撮ってきましたってやったけど
わーっと集めてきたけど
その動画を撮られたものとしてはいろんなものを手に入れてきたかもしれないけど
そこに映ってないものがあるよねって
カメラで撮られてない場所があるよねっていうようなバイアスがまずかかってるよね
例えばスマートフォンで撮ったものだけが最終的に集まってて
それスマホのない時代のことはわかんないよねっていうようなバイアスと
じゃあその撮ってきた中から今度どういうものを訓練データとして使いますかとか
じゃあ何でもいいですけど犬を撮った動画を使いましょうとかってやった時に
犬以外のことはそこには入ってないんで
でもそれを何も意識せずにこれ猫にも使えるんじゃないとか
いろんな動物にも使えるんじゃないってやった結果あれなんかうまく動かないですねみたいな
うまく動かないですねだけでだったらいいんだけどもそれをリリースしちゃって
あんまり業務の話されると僕が口開けなくなるのでやめてもらっていいですか
そういう人は全然なかったですね
まさにね猫とか犬の動画を集めてるんで
そうでした
そうなんです
YouTubeで平和そうな動画のイメージをした結果今俺犬が出てきたら犬にしようって思っただけでした
だからそういうこれがバイアスですよね平和そうな
確かに平和の象徴って言ってね犬
その時に文化的に犬がどういう存在なのかっていう扱いって文化によって違うよねとか
21:07
牛の話はありますもんね神聖な動物って扱ってるところに対して
牛といえば家畜食肉なイメージが先行してきてる時はすごいもうバイアスかかっちゃうよねみたいな
そうそうそう
そこら辺が訓練データそのものにおけるバイアスで訓練データの選定におけるバイアスっていうのはあれですね
選定されるプロセスみたいなところで誰がデータを集める人とかどういうデータを集めようか決める人の中で
さっき言ってた人種的なところで言うといろんな多様性のある選定チームディレクターチームとかになってるんでしたっけとか
選び方選ぶ人に偏りがきちゃってないかっていうレイヤーもあるし
プロセスを経て選ばれたものがちゃんと公平に平等に集まってるかっていうのはまた一つ違う話だよねっていうところでしたね
最後運用時のバイアスってやつもあってこっちもこれは出てきたものを例えば遊び心神経みたいな分類
タグ付けをするみたいなことやってるけどそのタグ付けしてる人のバイアスが入ったものになるよねっていうのもあったりとかして
じゃあ正確性ってどうやって判断しますかねっていうことになると難しいですね
まあそんなところでいろんな段階でいろんな形でバイアスっていうのが入り込んでくるよねみたいな話ですね
話ですけど結構多様性で対抗しましょうは一つこの本で言ってることかなっていう気はしていて
一人でやってたら完全にその人の主観から逃れられないけどそこに対してある意味数で対抗するっていうのは大事だよね
というか逆にその少数になればなるほどバイアスっていうのが強く出ちゃう
時計的に正しくないじゃんっていうのと全く同じ問題になりますもんね
そうですねそうそう
っていうのは一つこの本で大事にしようねって言ってることな気がしますね
っていうところかな第二章他に何かありますか全ての人にとって役立つAIシステムの構築
24:09
なんか一個これ知らなかったなーっていう言葉があったんでちょっとだけ話すとカーブカット効果っていう言葉が出てきていて
これはなんか問題があるから対処しましょうって言うとすごくネガティブな感じがバグが出たんで直しましょうみたいな
すごいネガティブなものをマイナスをゼロに持っていくみたいな感じになってしまうけども
でも実際のところはこういう多様さの問題とかにやった結果より精度が良くなったよとか
この例ではピクセルのスマートフォンのカメラで肌の色の濃い人と写真すると画質が悪くなることに気づいて
これをコミュニティと協力して問題を解決した結果
なんかその肌の色が濃い人の画質が良くなったんではなくて
あらゆるいろんな人にとって画質が向上するっていうことがありましたよっていうのがあって
ある問題を解決したことによってトータルで良いことになったっていう風なことがあって
そういうのをカーブカット効果っていうのがあるんだよっていうのがあって
このことは全然知らなかったと思ってちょっと気になりましたね
そうですねこれなんか他にどんなのがあるかなっていうのはちょっと
元々の由来が車にする利用者用の道路への出入りをやるために遠赤のところを切ってやってたんだけど
その結果ベビーカーを遅刻したとか自転車やスケボーを利用する人とか
他の人にとってもそこが良い恩恵を得るようなものになったっていう風な話がこの本の中に書かれていて
なるほどなるほどっていう風に思ったりしました
でもこれによっていきなり遠赤がなくなったからつまずいちゃう人とか
この後に雑差があったんだみたいなことになるとか
悪いことはゼロじゃないと思うのでいろんなエフェクトがあると思うんですけど
でも多くの人にとって良いことがしかも予想外に良い恩恵があったっていうので
良い名前がついてるなと思いながら
マイノリティへの配慮を主目的としてやったらそれによって利益を得られる人がたくさん出たねみたいな話か
チューアルコールとかもある意味そうかもしれないですね
工場とかで使えるように汚れとかに強い簡単に読み取れるみたいな話をやったら
今いろんなところでめっちゃ使われてるじゃんみたいな
27:02
まあそしてあれをちゃんとオープンにしてくれた人が生き残ってるっていうのもありますけど
あれは本当に素晴らしいですありがとうございます
ありがとうございますって感じですけど
実は結局工場だけではなくてそうですね
工場は外でも役に立つものだったっていうことですね
これはだから良い話っていうか良い話っていうのは難しいの?
難しいなと思いながらけどまあそういうものが事例がありましたよという感じです
なんか問題をリフレイミングしたらより本質的な解決が見つかるっていう話にもちょっと近いのかもしれないですね
そうだと思いますねそうだと思いますね
たまたまN1の人を解消したら実は同じように課題を持ってた人たちはたくさんいたんだみたいなそんな感じがありますね
うん確かにな
問題を抽象化すると実はその段差に困ってる人はいっぱいいたっていうことですね
言われたらねわかるんだけどね
そうですね
ただまあ確かに乗り越えやすい段差にしようで終わっちゃうかもしれないかな
そうそうそう
公平性は正確性とは異なるっていうのもちゃんと書いてあるんだな
公平と平等がごっちゃになってスタジアムの外側に視野が見えない人に対して段差を乗っけるやつと
あれを思い出してじゃあそれにさらに正確性が今度あるのかとか思いながら読んでましたよね
正確性はさっき言ってたなんか世界中の人口の比率をそのまま落とし込んだら
あんまりこうマイノリティに排除された世界になりづらいよねとかそういう話のはずですね
なるほどねステレオタイプがより強化されていっちゃうよねとか
うんうん
まあでも第三章いきますか