00:06
どうもリツトです。この放送は、AI活用を広めているリツトがお届けする放送です。
最近はですね、もういろいろ開発も進めていっておりまして、今日はですね、あの AI で作ったものに対して、どんな風なチェックが必要なのかっていうね
ところを主に話していきたいなと思います。 はい、皆さんはいかがでしょうかね。
AIでいろいろ作っている人もいるかと思いますけれども、作っていない人もね、今後何かAIを使ってですね、何かを作るという時が現れるかもしれません。
ほとんどの人間がね、まあAI活用で何かを作るということをしていくようになっていくんですけれども、
これからの方もね、参考になると思いますので聞いていってください。 僕はですね、今アプリみたいなものを作っております。
それは手帳アプリでして、個人の生産性を上げるためにタスク管理とか、あとカレンダーの連携とかするみたいな、そんなものを作ってますね。
クロードコードっていうAIエージェントツール、これを用いて扱えるわけなんですけれども、現在テスターさんを募集しておりまして、
150人ぐらいの方がテスター室に入ってくれて、いろいろデバッグ、修正を続けているというところになります。
はい、なんですけれども、いやー、やっぱもうね、今回僕が作る手帳アプリが本当に一番難易度の高いと言ってもいいんじゃないかなというものになっていて、
僕が今まで作るものの中で一番難易度高いかも。 あらゆる方面においてみたいな、総合格闘技みたいなものに手をつけちゃったなと思うんですけれども、
そこでですね、やっぱり結論から言うと、一人じゃ無理です。 テスターさん必要ですね。
はい、誰か他の人に使ってもらうサービスですと、やっぱね、他の人に触ってもらわないといけないんだよ。
事前に、事前に扱ってもらわないといけないですね。 そこで抜けがあったり、あれこれ押さえたはずなのになんでみたいな。
結局AIがね、やってくれてなかったりするのを見つかったりとかして、そこでですね、磨かれていくわけなんですよ。
僕のね、今回ヤバかったテストをして、一番ヤバかったところをお伝えします。
何が一番ダメだったかというと、そのトークン効率ですね。 トークンの消費量が結構多かったというのが、
テスターさんのおっしゃる通りのところでした。
なんかね、どっかの自動実行とかね。 やっぱそういうのがされて、AI社員が裏で動いて、でタスクを振り分けてくるなりとかするっていう
03:05
コンセプトでやっていたんですけれども、 そこでですね、やっぱりAIが動くんですよ。自動的にね。
そうすると、だいたい10万トークン使っていたりとか、知らぬ間に20万トークン使っていたりして、ヤバいみたいな。
なんでこんなトークン使ってんのみたいな。 このトークン消費量の計算は、どんな風にプランのそのトークンの使用条件まで影響しているんだみたいなところもあったりして、
完全に抜けてました。 トークン効率予期してみて作り例みたいなところは言ってたんですが、最終的に全体を見た時に
その完成品となったところで、いやでもここで動いたらトークンかかっちゃうねみたいなところもあって、 トークン効率はトークン効率で別にですね
組み立てて再構築する必要があったんですよ。 これはね最終の計画、つまり設計図ですね。
僕はよく設計図を練り上げろと言うんですけれども、設計図を練り上げてもですね、途中でやっぱ機能とか足されたりとかしていくわけなんで、
その全体最終的に出来上がったもので、全体的に見てトークン効率はどうかというところをもう一度ね
議論する必要があるんですよ、AIと。 最終の設計段階ではトークン効率も良いという見通しでやっていたが、完成したら、これ1年運用したらトークン効率悪いっすって。
トークン結構使っちゃいますみたいなことになっていることもあります。 その時にやっぱりAIにですね、聞いておく必要があるんですね。
このアプリを1年運用したとしたら、どんなトークン消費量になりますか? デイリーでどんな感じですか?
と聞いて、推測とかで返してくるんで、いや推測じゃなくて実測で基づいてと。
1日ちょっと使ってみて、それの実測値から予測値を割り出してほしいと。 ここまで支持しないといけないですね。
ちゃんとやるね。 このように支持して、ようやく現実的な数字が出てきます。
きたー! それをもとに、これはヤバい!
改善の必要があると感じた僕は、 あなたがもうプロのシニアエンジニアとして、外部のね。
今回このトークン消費量とか効率の観点から見た時に、 どのようにこのシステムをゼロベースから考えて再構築すべきでしょうか?
ポイントはゼロベースで考えてってことですね。 ゼロベースじゃないと、例えば10万トークン消費しますっていうのも、
じゃあこれ改善しますねって言って、8万トークンに抑えました! みたいなことをするんです。
06:00
いやいやいや8万トークンでも多いよ。 という話ですね。
なので一旦そのゼロベースで考えてっていうのは、かなり指示として効率の良い指示の出し方になります。
ゼロベースで考えてとか、ゼロベースで再構築してとか、 ゼロベースで見るとどうですか?みたいな。
そういう指示は結構使うところありますね。 ぜひ覚えていってください。ゼロベースという指示を。
そんなところなんですけれども、まずその一点ですね。 トークン効率が悪かった。ここがもう最大の議論ポイントでした。
次にですね、
表示バグですね。
MacやWindows、スマホ、Android、様々な端末がありますね。 今回の場合はスマホでも使えるという打ち出しでしたので、
スマホでも使えるって言っちゃうと、はいじゃあiOS、iPhoneでの実機確認、最新のスマホと最新じゃない古いバージョンの
iPhone12とかの、iPhone12使ってる人いますかね。iPhone12とかの実機確認、でiPhoneの最新の端末での実機確認、
Androidでの実機確認とかね。もうヤバい。 スマホを打ち出した時点でもうね、終わる。
簡単に言うと終わる。
終わります。 ここでもうね、作業量が10倍以上、50倍ぐらいに跳ね上がるって思っといた方がいいですね。
マジで舐めてました。 スマホ連携できるといいよねっていうアイディアから始まったんですけれども、これは実現するとなると50倍以上の労力が一気に増えるということを意味してますからね。
ヤバいですね。 そりゃ端末いっぱいあるしね、スマホとはいえ。
そんな感じでですね、表示バグがいろいろ現れてしまったというところがありました。 僕ももちろんMac持ってるし、Windowsを持ってるんで、Windowsでの確認とか、
僕の持っているスマホでの確認はしたんですけども、それじゃ全然追いつかないですね。
逆にこれ一人でやるとね、もう1年ぐらいかかるね。 テストだけで1年かかりますね。いくらAIに任せられるって言っても、最終確認は人間がしないといけないし、
やっぱり確認している最中に穴がどんしゅん見つかるんで、 まだ魔法は使えないんですよ、AIはね。
なので、 表示バグがある。これが大変ですね。特に端末ごとの。で、現在テスターさんはどうかというと、
テスターさんがもう神なんですよ。 神です。特にですね、カトスミさんという方と、あとアオイさんという方が協力してくださってね、
テスティングをしてくださってます。ありがとうございます。 こちらはこのカトスミさんが、こちらはこんな感じで、こうこうでしたがいかがでしょう。
09:10
アオイさんが、私はこうこうでありまして、ここがこうです。 カトスミさん、なるほどなるほど。ではこうかな?
今後こういうことでしょうか。 ここはこういうことでした。
なるほど、ここはこうでしたね。 神連携プレイが行われています。
伝説のテスター達は、どこから現れたんだろう? っていう2人もいて、面白いですね。
ありがとうございます。 大採写視点から言うと面白いって感じなんだけど、
当事者からすると、本当にありがとうございます。
テストもここまでしていただけるなんて、 もちろんもう即改善しました。最新版ではですね、
おかげさまで実機の確認もしていただきましたので、僕の確認できなかったです。 僕の持ってない端末でもちゃんと表示されるようになりました。
全部とは言い切れないけどね。 まあ理論上大丈夫なはずっていう感じですね。
そんなわけでね、本当に一歩ずつですよ。 一歩ずつ進んでいるって感じですね。
リツトさんこれリリースいつですか?と。 最近そういう言葉をよく聞くような、ミーティングとかでも言ってもね
リツトさんいつリリースするんですか?出すんですか? もう出すか出さないかまで議論が入ってます。
出すよ!出すよ!
あともう出し方ですね。 音声なんでね。裏側もお届けしますけど、出し方がむずいと。
ただただ思いますね。 出し方むずいですね。
ちょっといくつかアイディアあるんでね。もうちょっと練り上げて出します。
もう出さないといけないと思ってます。逆に。
それはなんか、まあでもちょっとね、あと
まだ僕の中で使ってみて、ここら辺の改善入れたいよなっていうところがあるんで、そういったところを
移行してですね、それから僕から入れ込むという形になります。
ただなんだろうな、もうアプリっていう打ち出し方はね、ちょっと難しいなと思います。
何かもうアプリって聞くと、どうしても完成品というイメージがあるじゃないですか。
イメージはしやすいんですけれども、ただですね、これクロードコードでともと動くし、皆さんのAIエンジンですね、使って動くやつだし
12:01
実際のところは、皆さん用に最適化していってもらうのが一番良いので、そうですね。
やっぱり僕は、今その自動化でダッシュボードを作ってね、それをカスタマイズしていくのが非常に自動化にとって良いというのを実感してますので、
まあその知識を交えつつですね、皆さんにじゃあこのテンプレートのクローバーを渡します。
これはもう皆さんの育てるアプリですと、ぜひ皆さんアプリを育てていってください。ダッシュボードを育てていってくださいみたいな感じで進めていくが、一番もう皆さんにとっても価値があることだと思いますね。
僕のプライドとかね、そういうなんか参加コストとかね、ここまで継ぎ出したのにみたいな、そういったところも土返ししますね。
皆さんにとって一番価値のある形でお渡しするのが最善だと思いますので、ちょっとそれもね、やっていきたいと思います。
というわけで5つでございました。またね!
