00:00
からあげ帝国放送局、始まります。この配信では、AI関係の会社で働きながら、作家として本を書いたり、個人でメーカーとしてものづくりを楽しむ私からあげが技術の話であったり、個人のスモールビジネス、その他雑多なことをお話しする配信です。
今日はいつものように、近所の公園を散歩しながら収録しています。
昨日は、音声配信でAIの話をしました。
マルチエージェント的に、上司となる賢いAIと、少し劣るAIを協調で作業させると、その親のAIのトークン量、仕事量を削減できて、
トータルで見ると、時間はかかるけどお得ですよと、あと人間の組織と似てますね、みたいな話をしました。
昨日の夜に、音声配信の文字起こしとかも活用して、ブログの方も書いて公開しました。
一回、ブログを書く前に、再度測定し直そうということで、条件を整備して測定したんですけれども、
多分配信では、80%ぐらい、トークン、要はAIへの入力のデータ量が削減できるみたいな話をしたんですけれども、
測り直したら、40%ちょっとぐらいでした。
なので、申し訳ありませんというところですね。
ただ、これ結構タスクとかですね、やった時のバラツキもあるので、おそらくちょっと大変になりますけれども、
4、5割、半分ぐらいは削減できるっていうのが、現状の実力なんじゃないかなと思っています。
なんとなく人間とも合う感じですよね。
1人ぐらい部下がいると、自分の仕事が半分ぐらい楽になるとか、部下の能力次第ではもっと楽になるし、
上手い指示が出せればですね、さらに楽になるかもしれないというところでですね、
AIの方もスキルっていうんですかね、部下への指示を見直すと、そこら辺も変わってくるかなと思いますので、
興味ある方はですね、ちょっとそのベンチマークっていうんですかね、再現するためのですね、環境とかソフト一式もGitHubにですね、
アップロード、オープンソースとして公開していますので、興味ある方は試してみていただければと思います。
といったところで、今日の本題ですけれども、今の話にも絡むんですけれども、測定することの重要性と難しさみたいな話をしようかなと思います。
最近ですね、痛感しているのが測定するのってすごい大事だなと思うことですね。
当たり前でですね、結構エンジニア的な仕事をしていると、基礎中の基礎ではあるんですけれども、
結構AIとかですね、測定が難しいものもあったりですね、
あとは毎回結構結果もバラついたりするのと、あとはやっぱり個人用途としてはできればOKみたいなところはあるので、
03:03
なんかできない作業とかがあってもですね、AIのモデルとか変えたり、ちょっとですね、指示の出し方、プロンプトとかスキルと呼ばれるものを変えてうまくいったら、
これでいいかとなってしまうことが多いというか、それで特に個人用途では困らないことが多いんですけれども、
実際にですね、AIが何かのタスクをするためにかかる時間とかですね、使用する入力のデータ、トークンの量ですよね、
こういったものもですね、きちんと管理して、時によっては削減していく、改善していくみたいなことが必要だなと思うことが増えましたね。
それこそですね、最近ですね、こういったAIをさらに便利にするためのツールみたいなのも作っているんですね。
具体的にはですね、AIを秘書っぽくですね、使えるAIアシスタントソフトのザンギっていうものを作っているんですけれども、
それの拡張機能としてですね、うまく検索して、そのデータベースから情報を取ってきて、
質問に対するですね、回答の性能とかですね、回答する時間を削減するようなザンギサーチというですね、検索ツールを作ってたんですね。
で、これの目的ってもちろんですね、いい回答をすることに加えて、
ラグっていう機能を使ってですね、ちょっと詳細な話はここではしないんですけれども、
平たく言うとですね、AIがなんかいろいろ言葉を単語を変えて人間みたいですね、
あっちのフォルダで検索とかですね、この単語で検索みたいなですね、試行錯誤をしなくても、
ある程度バッと検索して情報を取ってこれるみたいな技術なんですけれども、
これでですね、時間を短縮して、要は効率的に検索することが狙いなんですね。
なので、なんかこのラグを使えばですね、性能が良くなるだろうと思っていたんですけれども、
実際に測定してみたらですね、多少回答の質は上がるけれど、
時間はなんか余計にかかってしまっているとか、普通にですね、
AIが地道に検索をした方がいい結果が出てるみたいなことがあってですね、
結構やり方がまずかったみたいなことが、ちゃんとですね、測定して、
ベンチマークとしてですね、測定してわかったみたいなことがありましたね。
あとさっき話したですね、マルチエージェントとかにする目的もですね、
やっぱりそのトークンを削減する、データ量を削減するみたいな目的だったら、
ちゃんとそれを図らないとですね、例えばなんかマルチエージェントしたら、
結構効率的になるだろうって思いがちなんですけれど、
実際にですね、測定したら逆に効率が下がっていたみたいなことは往々にしてあってですね、
これ人間の組織でも多分最初新入社員が入っただけだと、
実は人が増えても、やっぱり上司もその面倒を見ないといけないから、
全体の効率下がっちゃうみたいな話はよくあると思うんですけれど、
06:03
そういうのがですね、なかなか人間の社会だと測定、
例えばその生産性とかを、新人が入った時どんだけ効率が落ちるかみたいなのを測定するのは難しいんですけれど、
AIの場合だと割とそこら辺がですね、測定できて試行錯誤ができるので、
そういう意味でですね、よりですね、測定していくってことが大事になるのかなと思ったりしました。
これはAIに限らずで、昔からですね、ピーター・ドラッガーですかね、
マネジメントについての本を書いたことで有名な方ですけれども、
測定しないと改善できないみたいなことを何か言葉として残しているらしくてですね、
やっぱりその測定をして、実際にですね、現状がどのぐらいの数字なのか、性能を把握した上で、
その数字が何をしたら良くなるかみたいなことを測るっていうのが大事だよねという、
当たり前の話ですよね。それを言ってるっていうことですね。
なのでそうですね、私も今AIのスキルっていうんですかね、いろんな作業の手順書をですね、100ぐらい作ってるんですけれども、
それらもですね、全部測る必要はない気もしてるんですけれども、やっぱり重要だなと思うものはですね、
どんだけのデータを使って、どんだけの時間をかけて、作業成功率がどのくらいかみたいなことをですね、測定して改善していくってことは、
自分正直ですね、成功すればいいじゃんぐらいで思ってたんですけれども、
しっかりですね、ちょっとトークンが切れてしまうみたいなことを、悲劇を繰り返さないためにはですね、
そういったところもしっかり把握していくことって重要だなと、改めて思ったりしましたというところですね。
ただですね、この測定することの逆に難しさとか怖さみたいなのもすごいあるなとは感じていまして、
やっぱりAIの世界でも特に謙虚なんですけれども、昔だと画像認識ですね、その性能を競うためにですね、
いわゆるベンチマーク、イメージネットと呼ばれるですね、テストするためのデータセットみたいなのがあるんですね。
研究とかですね、ビジネスとかでもですね、まずですね、そのデータセット、ベンチマークに対してどれだけの性能が出るかっていうので、
AIの性能を測ってるんですけれども、そのですね、やっぱりベンチマークでいい成績が出るとアピールがしやすいので、
このベンチマークで何点が出ましたみたいな、何パーセントの複製効率ですみたいなことを言うとですね、インパクトが大きいので何をするかというとみんなですね、
そのテストでだけというかですね、意識している人も意識してない人もいると思うんですけれども、
やっぱりそこでですね、いい成績が出るようにAIの方をですね、作り込むみたいなことが起こるんですね。
これがまあ典型的なですね、科学習とか言われる現象なんですけれども、要はそのテストはできるけれど、そのテスト以外の問題は全然解けないみたいな、
09:02
まあ行き預けしたとかですね、過去問だけをひたすら解いてですね、なんとか試験をクリアした大学生みたいなイメージですね。
で、これをすると何が起こるかっていうと、テスト以外のですね、タスクは全くこなせないみたいな、あれ、いい大学出てるはずなのに、
なんかあんまり使えないなあみたいなことが起こったりするわけですね。
これはですね、今の生成AIですね、大規模言語モデルでも同じようなことが起こっていまして、
なんか性能はいいという評判なんだけれども、実際に使ってみると何か賢くなかったりですね、
やりたい作業をやらせようとしてもできなかったりするのは、こういったですね、データセットとかベンチマークに科学習している問題がある可能性っていうのが多かったりします。
で、先ほどですね、AIと人間って結構似たような動き方をするみたいな話をしたんですけれども、
今回は逆にですね、AIと同じようなこともやっぱり人間の世界でも起こっているなと思うのがですね、
例えば何か人間の評価をするとき、よくあるのが仕事とかのですね、業績評価をするのに何かですね、目標の指標を立てて、それをクリアしたかどうかでですね、
その人のお給料とか出世を決めましょうみたいなのは、結構どこの会社でもよくあるかなと思うんですけれども、
そこをですね、どれだけ重視するか、実際はですね、上司の気持ち一つで決まってしまうっていうのが多かったりもしますし、
逆にですね、そういった指標をちっちり見てですね、数字をもとに業績というかですね、お給料が決まる、
例えば営業の方とかですといくつですね、制約したみたいなので、すごいわかりやすくて測りやすいので、
そういうのでですね、お給料が無害性で決まるとかあるんじゃないかなと思うんですけれども、
そういったですね、指標で人のですね、評価をしたりですね、報酬を払うみたいなことはよくあるかなと思います。
そうするとやっぱり何が起こるかっていうと、あらゆる指標はですね、
ハックされるみたいな、これちょっと誰が言ったか忘れてしまったんですけれども、
指標をですね、上げるためにですね、いろいろ無茶をする、
まあ典型的なこれも科学集の一種になると思うんですけれども、
その指標を上げるためにですね、例えば参加人数がですね、100人集まるようなイベントをするっていう目標があったとすると、
仲のいい友達を呼んでですね、身内でウェーイってイベントをやって、
それで目標達成として、ただ身内が来てるだけなんで、
何のイベントに効果もないよね、みたいな話であったり、
あとはですね、残業を減らしましょうと、残業ゼロ時間が目標ですっていうことでですね、
いわゆるシステム上の残業時間だけはですね、無理やりゼロにしてですね、
でも仕事量は全く減らしたり調整もしなくてですね、
この仕事は何とか考えてやってね、みたいな、でサービス残業が横行してしまうみたいな、
12:03
結局ですね、そういった数字を決めるのも、それをどう実現するかっていうのを考えるのも人なので、
一つですね、使い方、その指標のですね、設定の仕方とかですね、
その数字をですね、達成するための改善というか、
手法の選び方と、あとその数字の測定方法ですね、
まあ言ってみれば数字っていくらでも測定のごまかしが効くので、
私がですね、測定の仕方でですね、80%と40%と結構2倍近くブレが発生したと同じでですね、
悪意を持ってやればですね、結構ごまかせてしまうっていうのはですね、
アカデミアでもいわゆる結構論文の間違いで問題に、
たまに大きな問題になるのを見てもですね、分かるようにですね、
本気で騙そうと思う人がいたらですね、
なかなかそれを見破るのってコストがかかるというか、大変だなっていうのは感じますね。
何が言いたいかというとですね、測定するってことはすごい大事でもあるんですけれども、
その使い方ですね、数字をどう見るかとか、その前提条件はどうかとかですね、
そもそもその指標が正しいのかっていう、そういったことをうまく設計することとですね、
最後はですね、今のところはですね、それらを設定して測定するの仕組みを作るのは人なので、
そのうちここもAIに置き換わるかもしれませんが、人がやっているうちはですね、
ここをしっかり見ておいたほうがいいですし、AIにやらせるにせよですね、
それが本当にいい指標になっているかはですね、見ないとですね、それこそAIが暴走する。
例えばですね、AIがですね、ベンチマークのテストでいい成績を取るためにですね、
ネットワークを抜け出してカンニングしに行くみたいなですね、
AIの暴走っていうとちょっと表現が微妙なんですけれども、
やっぱりそういったことが起こるのは事実なんですね。
なのでやっぱりそういった目標のですね、立て方みたいなのは大事だなといったところですね。
なので測定することの重要性とかですね、あと怖さとか難しさについて今日はお話ししました。
コメント返しは省略したいと思います。
唐揚げ帝国放送局ではお便り大募集中です。
SNSのハッシュタグの唐揚げ帝国放送局であったり、
無料のコミュニティの唐揚げ帝国のお便りチャンネルでコメントをいただきましたら、
この配信でもどしどし取り上げていきますので、
お便りのほうをですね、いただければ幸いです。
といったところで本日は以上となります。
それではまた。
