![[1] 手探り / LLMのトークン節約 / つくりたいアプリ](https://image.listen.style/img/8Uq6mcrd_OLedtdwRnob4qwQc7XRJqfZUIZuL2mr-R4/resize:fill:1200:1200/aHR0cHM6Ly9pbWFnZS5saXN0ZW4uc3R5bGUvcC8wMW0wN3gyZXFxNDFncHE3a21id3AxNHludC9pbWFnZXMvdGdrNXUwWHhFbmxwcTVwcWJaWlBYVjhndEh3bXBjNUZMbVU5azdNay5wbmc.avif)
番組開始とSalesforce置き換えの話題
juneboku
で、ちょっとまだ冒頭の何とかもないので、 ヌルっと話し始めるのがいいんじゃないですかね。
ひとし
冒頭、junebokuさんがBGMを流すっていうのはどうですか?
juneboku
好きな。 いけますね。そんなに種類がないんだけど。
いきますね。 あ、そうなんだ。 これやってみるか。
あ、待ってよ。プラスボタンから何か足せる。 あ、登録できるんだ。好きなMP3とかを、多分。
ひとし
持ってこれるんだ。
juneboku
やってみますね。これじゃない。これ野球だ。
ひとし
それ野球なんすか。
juneboku
テレレレッテレーってそうですね。 あー。
野球場で流れるやつですね。 なんか、はい。
おー、始まりましたね。 おはようございます。
おはようございます。 喋ってみますか。
ひとし
はい。 これはあれですね。このBGMは、
この前のjunebokuさんの番組の時と同じ。
juneboku
結構長めな。 結構急激なフェイドアウトが。
ひとし
ということで、番組を始めてみようと思いました。
よろしくお願いします。 撮ってみましょう。
juneboku
はい。前段になっているのは、僕の個人ポッドキャストひとしさんと喋ったやつで、
番組作るかもって言ったやつあって、 それは概要欄からリンクしておこうと思います。
juneboku
はい。 今日は何を話しましょう。
ひとし
今日は、なんかいろいろ、いろいろあったんですけど、
junebokuさんとトピックになりそうな、 Xの投稿をいろいろ出し合っているじゃないですか。
juneboku
はい、そうですね。一緒にお仕事しているのもあって、
これは共有しといた方がいいかみたいな、 リンクをばんばん貼る生活をしてますね。
ひとし
その中で、ついさっき今日見つけたやつで、
セールスフォースっていうツールを、 CRMですね。
ひとし
とある会社で使ってたのを解約して、 自分たちで作った、
だから僕みたいな多分、コーディングしない人が バーッと作ったツールを社内で使い始めたと。
なので既存のSaaSを置き換えたみたいなことをやったら、 微妙だったっていうノートを見て、
これについて話したいなと思いました。
juneboku
いいですね。これはノートの記事で、 著者は中島卒さん。
Life is Beautifulの中島卒さん。元Windows 95とか作ってた人ですね。
レジェンドですよ。ソフトウェアエンジニアの中では。
ひとし
なるほど。
juneboku
僕は何度かお会いしたことあるけど、 僕は全然覚えてないと思います。
ひとし
僕が面白かったのは、
毎年、もともとSalesforceというシステムに 9000万使ってたんですね。
juneboku
そうですよ。60万ドルだから今だと9000万円ぐらいですね。 年9000万円ですからね、このツールにね。
ひとし
大きい会社だからっていうのもあるかもですけど、 そのぐらい使ってたところから、
自分たちで作ったら、いくらになったんだっけ。
結局、コストダウンにならないんじゃない? っていうノートですね、これは。
juneboku
そうそう。コストダウンのためにやってんじゃないよっていう会社はね。
Curativeっていう会社は、コスト下げたくて自作したんじゃないよっていうことを言ってるのは、
この話の肝だなと思いました。
ひとし
なるほど。肝は何なんだ?だから。
juneboku
肝はどっちかっていうと、コスト下げたくて自作のやったっていうよりは、
自分たちでコントロールできるものにすることで、
どっちかってアップセルを、売上げを伸ばすためにやってんだよみたいな感じですね。
うーん、なるほど。
ひとし
えー、そういうことなんだ。
LLMのコストとトークン節約の重要性
juneboku
僕はそう読みましたね。だから節約の話じゃなくて、
むしろ、コストダウンしたけど、その分めちゃくちゃLLMにお金払うことになるから、
juneboku
どんどん毎月LLMのトークン使用量はどんどん上がってるんだけど、
だから節約にならないじゃん、じゃなくて、
どんどんつぎ込んで売上げを10倍20倍にするぞ、みたいなことを言ってる。
ひとし
うーん、なるほど。
いや、なので僕はそう、最近初めてちゃんとシステム開発というものに触れてみて、
juneboku
はい、素晴らしいです、本当に。
ひとし
いや、エージェントを動かすってお金がかかるんだなっていうのを体感してるわけですよ。
はい。特に補足しておくと、リスナーさん向け補足して、
juneboku
ひとしさんはエージェントを使ってコードを書いてるのもあるし、
アプリケーションの中にもLLMを組み込んでるんですよね。
ひとし
あー、そっかそっか。それは違い。
juneboku
二重にお金かかる構造になってる。
ひとし
なるほど。まあ自分でコーディングする分には別に月額いくらって決まってる範囲でやってるんで、
そんなそこのお金はまあまあ払いますって感じですけど、
ユーザーさん増えたら、ツールが使われたらどんどんお金かかってくんだっていうのを、
想像以上にお金かかるんだなって感じを、感覚がありますね。
juneboku
今、うちのLLM無料で使っていいよっていうのが出てきたら、
たぶん早々に潰されると思う。みんな使っちゃうから。
あー、潰されるってそういうことか。
あの、ここ無料で使えるらしいぞって人が殺到して、
juneboku
1ヶ月とかで、あーもうちょっとこれ赤字無理だわって。
ひとし
急に500万みたいな。
juneboku
それはウェブの歴史で言うと、あれですね、クラウドストレージ系が辿った道で、
うちは容量無制限でアップロードし放題ですよみたいに、
やる写真保存サービスとかは何度か登場してるんですけど、
1%の鬼みたいにアップロードするユーザーがいると潰れちゃうんですよ、サービス。
普通にスマホで撮った写真を全部ぐらいな。
ひとしさんとか僕とかがスマホで撮った写真を1日20枚撮りました。
それを預かりますは高低範囲内なんだけど、
毎日100ギガ上げるユーザーとかがいると、
ストレージ赤字でなんかサービス無くなっちゃうんですよね。
ひとし
いやだから利用制限とかかけるもんなんだなっていうのは思いますね。
数学学習ツールの構想とトークン節約術
ひとし
今日特に話したかったのは、
アプリ内でトークンを節約するためにできること何があるんだっていうのを、
juneboku
はいはいはいはい。
ひとし
ちょっと先人であるじゅんぼくさんに聞きたいと思って。
なんか題材があった方がわかりやすいですかね。
僕がちょうど昨日の夜からまたアイデアを形にし始めたやつがあって、
それとかを題材にどうしたらトークンCを加力できるかを話すとか、
juneboku
いいじゃないですか。
ひとし
いいかなと思いました。
juneboku
実際でも僕も現実的に向き合っている課題でもありますしね。
最近仕事で作るやつとかも、
なんかAIチャット機能をつけてほしいみたいなのはあるんで、
その時にまずどのプロバイダーのどのモデルを選ぶかっていうところと、
どう無駄にLLM使わずに進ますかみたいなところは、
2つあるかな分岐は。
そこをやっぱめっちゃ相談するようになりましたもんね。
ひとし
できるだけ節約する設計にしてっていうこと。
juneboku
ヒトシさんがこの土日の間にやってたことは、
かなり堅実で、
無駄なことをしないっていう。
LLM動かすとお金かかるから。
しかも今後値上げしてもおかしくない。
ひとし
そうなんだ。
値下がりもあるけど、
今オープンAIもアンソロピックもめっちゃ特大バーゲンセールみたいな感じで。
ひとし
そうですよね。
ジャブジャブ使ってほしい。
無いと生きられない人。
juneboku
だからすごく言い方悪いですけど、
麻薬の売人みたいな。
最初はすごい富豪とか安値で、
いいよって言って、
この間のあれまたもらえないですかって来たら、
そこからだんだんお金取るようになるみたいな感じ。
だから今僕、クロード使えませんって言ったら、
いくら払ったら使わせてもらいますかねってなるからね。
ひとし
いや、そうですよね。
そんなもんではありつつ。
juneboku
だから無駄に使わないっていうのはすごい大事なので、
何が必要で、あるいは同じ処理2回やらなくていいようにするとかね。
その辺は堅実にやることになります。
ひとし
リスナーさんもしいらっしゃればですけど、
僕の現在地としては、
ほんとこの数週間前から、
自分でツールを自作し始めたみたいな状態で、
多分今の僕のレベルは1週間ぐらいで多分、
触ってみたら、こういうことやってたんだって分かるぐらいのレベルです。
確かに。そうですね。
juneboku
もうちょっと言うと、
ひとしさん今、実運用が始まったので、
Webアプリケーションの。
そこの経験値は確かにあると思います。
ひとし
でもこの2日ぐらいですからね。
juneboku
そうそう。でもなんていうかな、
自分一人でやれることは契約して、
なんかオープンAIでもアンソロピックでも、
Googleでも契約して、
ガッと自分が思うもの作って動かして、
自分で使うところまでで得られる経験と、
ひとし
なるほどね。
juneboku
自分以外の人が使って何か言われるって直すみたいなって、
なんか質が違うから。
ひとし
確かに。
juneboku
ひとしさんはフェーズ、少なくとも、
2つ目以降のフェーズにはいることは間違いない。
ひとし
なるほど。
なので2つ目のフェーズに足を踏み入れたぐらいって思ってもらったら。
juneboku
そうそう。だからフェーズ1だけだと、
1週間やっても2週間やっても、
たぶんひとしさんと同じ経験には手に入らない。
ひとし
うんうんうん。
という状態なので、
この番組を聞いてもらいながら一緒に、
成長していければいいなと思っております。
juneboku
ひとしさんすごいことになってるからね。
ひとし
すごいことになってる。
juneboku
だからどんどん通じる話がどんどん増えてる。
ラケットだなっていう、
juneboku
そう、せやろーみたいな気持ちになってる。
だから、ワイはディスコード通知入れたかんねんみたいな、
そういう感じ。
ありますね。
ひとし
で、作りたいなと思ったツールがあって、
中学1年生から2年生の数学難しいって行き詰まってる子が、
問題を、この問題わかんないっていう問題を写真撮ってアップしたら、
こういう道具が使えれば解けるよっていう分解してくれて、
その練習ができるみたいな、
ものを作りたいなっていうのを今思ってるんですよ。
昔TTで話した、数学を知るの楽しいみたいな音源の文字起こしを、
クロードに読み込ませたりして、
こういうことをやりたいんだっていうのを伝え、
今、ちょっと揉んでるって感じなんですけど。
juneboku
あ、もう手が動かしたみたいな。
ひとし
あ、はい。そうです。
juneboku
そうだった。僕も知らない間に、一晩でもう変わるじゃん。すごいね。
ひとし
で、今どういう設計でやろうとしてるかっていうと、
写真撮ってアップしたら、どういう問題かを理解して、
あらかじめ中学1年生の単元の武器と、道具と呼ばれるスキルみたいなものを、
あの、データベース化しといて、
あ、この問題だったらこういう、武器、武器じゃない道具か、道具って呼んでるんですけど、
道具がこのステップで3つの道具を取得したら解けるよみたいなのを呼び出してきて、
表示するっていうのを作りたいなと思ってて、
最初は全部AIに任せようとしてたんですけど、
なんか1回10円かかるとか言われて。
juneboku
ああ、画像は特にそうか。
ひとし
なんか100円、10回で100円って思ったら割となんかちょっとテストしてたらすぐ、
ね、1000円とか1万とかいくなと思ってやめたくて、
あらかじめデータベースを、道具のデータベースを作って、
juneboku
はいはい、そこは。
ひとし
どういう問いだったらどの道具が必要みたいなのまでなんか、
あらかじめ汲めたらいいのかなみたいなのを持っているっていう。
juneboku
あ、それ賢いですね。
それは、えーっとなんだ、ひとしさん。
juneboku
どのどこに合わせて喋ったらいいか分からないんだけど。
ひとし
いやもうそれプルスロットルでいい。
まあでもそれは適切にキャッシュを活用するっていうことで、
ひとし
ソフトウェアの世界ではやってるようなことで。
juneboku
例えば、結果を保存するなんていうんですかね、
例えば暗算、例えば3桁かける2桁の掛け算ってやるとする算数の話ですね。
はい。
juneboku
例えば、分かんないけど、
僕頭の中で3桁かけ2桁を頭の中で処理できないからあれだけど、
juneboku
筆算みたいなの習うじゃないですか、小学校で。
ひとし
うんうん。
juneboku
そのときはまず1桁かける1桁みたいなのを数字書いて、
ひとし
はい。
juneboku
結果を、その部分の計算した結果をどんどん書いていって、
最後にそれを足して答えを見つめるじゃないですか、掛け算の筆算で。
ひとし
はい。
juneboku
その途中経過の、ここの結果はこうっていうのを書き留めるじゃないですか。
ひとし
うん。
juneboku
それは計算結果を、途中経過を保存することで、
ひとし
はい。
juneboku
そっから先は、これ足すこれに落とせるみたいな感じで、
なるほど。
juneboku
計算の途中経過を保存しておく、必要なものを順次保存しておくと、
2回目からは、その保存されたものを取り出すだけで済むようになるので、
ひとし
はいはいはい。
juneboku
めちゃくちゃコストが安くなるんですよ。
ひとし
うん。
juneboku
だからさっきので言うと、その例えば中学生の算数のカリキュラムの、
これを特に、これを習得するにはその手前の基礎スキルとしてこれを習得する必要があるみたいな、
スキルツリーみたいなものは、
ひとし
はい。
juneboku
1回出せば、その変わらない、そうそう変わらないものだから、
ひとし
うん。
juneboku
それはもうハードデータとして置いとけばいいんですよね。
ひとし
それはなんか、データベースを1回最初に作るっていうよりは、
利用される中で保存していくみたいな方がいいってことですか。
juneboku
どっちもあります。
どっちもあります。
例えば、もうこのアプリケーションを運用する中で、
もう今も1年後も変わんないみたいなやつは最初に用意して、
その用意するところを手元のエージェントと1回やって、
そうですよね。そこはだから1週間かけてでも結構大量のトークン使ってでもやると。
juneboku
逆にそれをやらないと都度でLLMにそのデータを揉ませることになるから、
そうするとLLMをかなり贅沢に使うことになりますよね。
ひとし
なるほど。
そしたら、今回のこの数学に関してはツールにはLLMを使わないっていう縛りでやってみるっていうのはありかも。
でも画像を読み込むんですか。そこは使います。
juneboku
そうそう。なのでユーザー入力っていうのがあるんですよね。そのアプリケーションの性質に。
ユーザー入力はユーザーに入力されるまで内容が確定しないので、
そこは何かやらなきゃいけなくて。
でも今回やりたいのはOCRだけど、多分OCR真面目にやると、
例えば数学の微分、中学校だと微分積分とかないか。
でもああいう手書きの微分の動向を読み取って何書かれてるかっていうのを、
自前のプログラムでやるの結構大変で、
でもLLマルチモーダルのその画像に対応したLLMにポンと投げたら、
これは微分の話ですねみたいなのはすぐ分かってくれるから、
そっちの方が今だと圧倒的に安いですね。
ひとし
それは、なんかこっちはこっちで、画像を読み込む方は読み込む方でデータベースなんか準備して参照するみたいなことなんですか。
juneboku
でもそれ多分手書きの算数の問題を読み取って、
これは何の問題だって認識するのを自前でやるのはめっちゃ大変だと思う。
できるのかないけど、今だったらLLM使っちゃう方が安いっていうのは、
自前でやったら、もっかい空お金はないけれども、
juneboku
でもそれを作るのに3ヶ月かかったら、まあなんていうか、高いですね。
そうやったらやるかな。
今だったら現実的にこれを自分だとどうするか考えると、
多分Gemini 3.7 Flashか、GPT 5.6 Lunarに画像試しに手書きの数学算数のを上げてみて、
1回いくらぐらいでかかるか。
これめっちゃ0.2円だったらいいかみたいな感じで落としどころ探すだろうなと思いました。
ひとし
なるほど。
今のGPTとかGeminiとか言ってたのはどのモデル使うかによって価格が変わるってことですよね。
juneboku
そうですね、モデルごとに。それはまあ何て言うんですかね、
家電量販店のエアコンコーナー行って、これは12畳用だから高いです、ランニングコストはこんぐらいです、みたいなのと一緒ですね。
ひとし
それを選ぶってことですもんね。
juneboku
今GPT 5.6 Lunarとか異常に安いんですよ。
ひとし
でも最初1回10円って言われてたのが、そういういろんな議論をした結果1回0.3円まで。
juneboku
0.3円ならね。
0.3円ならまあいい感じしますね。
ひとし
いいですかね。100回で30円。
juneboku
そうそうそう。
ひとし
全然いい気がする、それは。
juneboku
例えば月500円以内に済むならいいなとか考えたら、
0.3円とか0.1円だったら、
juneboku
まあそこまでね、何て言うかソーシャルゲームみたいに同設5万人とかにはならないだろうから、
これならいけるなみたいなのがありますよね。
ひとし
なるほど。
juneboku
あとは、すごい小さいテクニックとしては、画像アップロードされるときに、
例えば今だと最新のiPhoneとか撮ると、
多分横幅4096ピクセルとかのすごい贅沢な画像、カメラの性能がいいんで、
数メガの写真になるんだけど、
ちょっと変えるのか。
juneboku
そんなにでかいのはいらないので、
例えば長辺1600まで落とすと、画像ファイルサイズが4分の1とか10分の1とかになったりするんで、
画像を一旦こんなにでかいのを食べさせたら、トークン食うから、
ちょっとキュッとして必要なところまで、
まあこれ以上ちっちゃくしちゃうと文字読み取れなくなるなっていうところがあるので、
その辺をちょっと検証して、キュッと圧縮してからLLMに渡すと、
トークンの接着になりますね。
学習アプローチの議論と番組の展望
ひとし
なるほど。今長辺1000ピクセルにしようとしてるみたいですね。
juneboku
1000、いいんじゃないですか。
ひとし
一応じゅんぼくさん、ちょっとさっきのイメージ伝えられてなかったかと思ったのが、
基本多分問題集のこの問題わかんないを取るんで、手書きじゃなさそうなんで、
ある程度読めるんじゃないかなと思う。
juneboku
よさそう。
ワイネットではでも、それを解こうとした手書きの部分もあるかないかもみたいな感じか。
ひとし
そうですね。
なるほど、いや、理解深まった。
でも今言ったようなことは、演じるのが答えてくれそうですね。
ひとし
まあ演じる、質問さえあれば答えてくれるんで、それはね、そうかもしれないですけど。
juneboku
でもなんか最初ってどう相談していいかわかんないっていうね、あらゆる分野でそうですけど、
何を聞いていいかもわかんないみたいなのありますけど、
juneboku
でもひとしさんは今めちゃくちゃ具体的な問題と向き合ったから、
トークンってこんぐらいあったらこんぐらいかかるんだなっていうなんとなくの相場感とかが身体地として身についてきて、
なんか節約するにはどうしたらいいですかっていう質問ができる状態になってるから、
やっぱりすごいな、この1週間とかで見てもかなりすごいことが起きてる。
ちょっとそうなんですよね、気を抜くと、ほんと頑張って制御しないとやりすぎちゃう感がありますね、ずっと触っちゃうっていう。
juneboku
そうですね、お互いに数値を見てるからね、また動いてるなみたいになりますよね。
ひとし
ちなみにちょっと今の話、数学のツールの話とつなげると、
まさにそうです、AIについて疑問がある状態って触ってみてわかるじゃないですか、初めて。
数学の学び方って単元ごとに、ボトムアップ的に何のために使うかわかんない道具を覚えさせられて無理だなと思ってて、
というよりはこの問題わかんないからスタートして、この道具がいるんだ、
で、それ練習してたらあっちの問題でも使ってたらこの道具使うんだみたいな、
なんか僕そっちの体験設計意外と中学の数学にまだないんじゃないかなと思っており、やりたいっていう感じです。
juneboku
面白い、いやでもそうです、僕も応用とか実践から入りたい人なので、
だから僕のメンタルモデルはなんか勉強したいっていうよりはなんか練習したいとか訓練したいとか、
スタディっていうのはトレーニングの方がなんか自分の脳が向いてるんですよね、
だから人々が言ってくれたのって、料理の勉強したいですって言って、
なんか箸とはとか塩とはとか酢とはっていうのを、第一章はずっとひたすらそのじゃなくて、
じゃあ今日は卵焼きを作りましょうとかから入った方が、卵焼き作るってなったら、
ボウルとか箸とかフライパンとか塩とか、もしかしたら砂糖とかが出てくるって感じだと思うので、
そっちから行きたいってことですよね。
そうですね、で多分そういう教え方本当はしてるんだと思うんですけど、
ひとし
一、問題を解く側とか授業を受ける側になると、あんまそういう認識で受け取れてないっていうのを、
もう生徒が困った時に使ってもらって、この問題わかんないで、
問題が、練習が生成される方がいいんじゃないかなっていう。
juneboku
面白い。
ただあれですね、これ、ティーチャーティーチャーでよく話してて、
ひとし
意味がないと覚えられないみたいな、
脳の作りな、僕はあんま詳しくないのでわかんないですけど、そういう意味がなくても覚えられる、
マナー暗記で、クックとかそうだと思うんですけど、
とかっていうフェーズもあるみたいなんで、
juneboku
あるね。
ひとし
子供にとってどうかっていうのはわかんないですけど、
僕的には中学校ぐらいでそれが反転して意味ないと覚えれないっていう人が多くなってきてるんじゃないかなと、
勝手な仮説で思ってるという感じです。
juneboku
確かに。
だんだんグラデーションで意味の方が大事になってく感じがするよね。
ひらがな書けるようになりましょうの時に、
なんでうはこの形なのかとか、
それは結構難しい気がする。
そこはあまりにもファンダメンタルなところは、
juneboku
とにかく定義なんでみたいな感じで行くしかないかもしれないけど、
だんだんその組み合わせになってきますからね。
ひとし
というシェアでした。
こんな感じで、
juneboku
いいですね。
ひとし
週1回ね、1時間僕とじゅんぼくさんの定例があってるのの、
前半30分を収録に使っていこうと思っております。
juneboku
いいじゃないですか。
あれは記録になりそうですね、我々が。
juneboku
多分半年後、全然違う話してるなっていう。
さすがに確かにこの同じ話してたらちょっと、
juneboku
ヤバい。
ひとし
あれ触ってないんじゃないかってなりますからね。
juneboku
確かこれは我々の記録としてすごい良さそうですね。
ひとし
いやー楽しみだな。
1年後とか確かに何の話してるんだろうな。
juneboku
全然もう全然違うレイヤーの話してるでしょうね。
3ヶ月後とか半年後は。
それはすごい楽しみですね。
ひとし
確かにな。
だし、今からアプリ開発するぞみたいな人が、
ゼロから聞き返してもらったら、
ちょっと楽しめるかもしれない。
juneboku
はい。
ひとし
はい、じゃあ番組名とかはまた考えておきます。
juneboku
はい、やっていきましょう。
ひとし
ありがとうございました。
ありがとうございました。
はい。