QuickScribe：音声思考をローカルで整形・記録するボイスジャーナルアプリ
先日らよりちょっとしたツールを作ってたんですけど、それのバージョン1.0.0がようやく公開して、もうちょっとアップデートはする予定なんですけど、それの紹介だけさらっとしてから本編行きたいなと思います。
お、はーい。
QuickScribeっていう名前のアプリを作りました。 WindowsとLinuxで動くネイティブアプリです。
やれることっていうのが、音声、今話してるようなこういう音声を録音して文字起こしして、成形してっていうのを一通りやってくれるようなものになってます。
文字起こし系って、昔からWisperとかいろいろあったと思うんですけど、このラジオでも何回か取り上げてきたものなんですが、結局そういったものをパッと残して、保存しておきたいって言った時にいいツールが見つからなかったっていうので作りましたと。
それらの競合調査結果とか、何でわざわざ一から作る必要があったのかとか、その辺をZENっていうテック記事をまとめるようなサイトがあるんですけど、そこに本として投稿して、どんな技術スタック使ってとかそういった話もまとめているので、興味ある人は見てもらったらいいかなと思うんですけれども。
欲しかったのがですね、声で簡単にメモを取りたいっていう速さ優先の作業をしたいことが増えてきましたと。
手を打ちながら考えるというよりも、あだこだうんうんうんって声に出しながら悩んでる一人ごとっていうのをなんとか日々の日記に残したりとか、次起こすときのアクションのメモにしたりとかいうことをやりたいと。
キーボードカタカタもいいんだけれども、やっぱり声に出しながら喋ることに集中したり頭の整理に集中したいっていうことが多くなってきてて、そういったときにパッと保存できるものが欲しいと。
有名どころで言うとGoogle Docsの文字起こしとかObsidianとかいろいろSaaSのサービスはあるんですけど、なんかブラウザ開いてそのページ行ってって言ってるのもめんどくせえなってなって、
ショートカットキーとかで常にWindows上で常駐しておいてくれて、パッと録音開始して、録音停止そのまま裏で残しておいてくれるっていう、そういう体験が欲しくて。
それをやろうとするとGoogle DocsとかObsidianのショートカットキーとか作ったりとか、もしかしたらChrome拡張の録音みたいなボタン押して一気にその辺を開いていって処理するとかもできるんでしょうけど、
そういうことをやるよりはネイティブで動かせるアプリがあった方がいいなと思って作ったって感じですね。
今もこういったツールの開発でこういうことしたいなとか、そういえば今日こうだったなとか、先日AWSサミットでこうだったなみたいなのをひたすら思ったことをしゃべり倒してメモとして残しておくっていうのが普段使いとして使えてるので、いい感じに作れたかなって感じになってます。
はい。
前回見せてもらったんで使いどころはいいかなと思いますけど。
あれですね、やっぱり自分で作ってるんで細かい、欲しい機能が入ってるのが魅力なんじゃないでしょうかと横から見てて思いますけど。
例えば途中から再開する機能とか。
細かいですけど、ローカルに閉じれるみたいなところも一応機能としてあって、
SaaSとか使っちゃうと仕事上で使いにくいみたいなのがあるので、ちゃんとローカルに完結できる設定にワンクリックでできるようになってるとか、
そういうちょっとした実業務向けみたいなところも意識しながら作ってるって感じですかね。
はい。
自分で作ってみるとやっぱりいろいろ発見もあるんでいいですよね。
今もうちょっとアップデートしたいなと思ってるのは、やっぱり文字起こしの精度が悪いとそのまま品質悪化になるんで、
もうちょっと文字起こしの精度を上げられないのかなっていうのをベンチマーク取りながらいろいろ試行錯誤してる感じですね。
どうなんですかね、そこらへん。
ウェブ上で使える音声認識サービスを結局ちょっと触ってみた感じではこんなもんかみたいなレベルかなっていう認識で私は止まっちゃってるんですけど、
最近はもっといいのがあるんですかね、わかんないな。
いや、大して上がってない感じはしますね。
一応日本語向けには言葉ウィスパーっていうのが一番いいでしょうっていうのがオープンソースの中ではですけど言われていて、
最近はもう音声を直接生成アイに入れちゃえばいいじゃんっていうことで音声入力の生成アイが出てきちゃってるから、
あんまり一旦文字に起こすみたいな需要が減りつつあってあんまり大きなアップデートがニュースでも見ないなって感じにはなってますね。
なるほど、そっちの方が情報量多いっていうのもあるんで難しいところですね。
第一にまず発言者の滑舌が悪いというのもあるし、しゃべってるとなんか方言チックな言い方もあるしっていうのもあるんで文字に比べてなかなか変換が難しいっていうのはありますけど、
逆に感情が乗るんでその感情込みで判定を出す、そういうのAIはふわっとした判定を出すのが得意なんで。
そういう意味だとこのツールの特徴として他との差別化ポイントってことで禅の記事にも書いてるんですけど、
他の文字起こし系のサービスで日記としてまとめるとかメモとしてまとめるツールとかになると結構切り落としがちなんですよね情報量。
要約をするとかまとめるっていった時に全部を拾わずに端的に箇条書きするとこうですよねみたいな出力結果を出しますみたいなサービスが多くて、
でもこの目的ってちゃんと思いついたとか思考した巡りを全部まとめておくことの方が価値が高いからなるべく情報量を欠落させないとか、
その時喋ってたニュアンスをちゃんと残すっていうのを重視してるからちょっとその辺が他のサービスではなかなかないところになってて、
そういう使い方をしてもらう分にはかなりいいかなと思いますね。
いいですね、確かに。
もうちょっと温めつつ、ZenのBookっていう機能を使って投稿するっていうのもそれはそれで面白くて、
そっちの話もちょろっとだけ触れとくと、テックブログを公開するサービスいっぱいあると思うんですけど、このZenにはBookっていう形で本にまとめる機能がありますと、
ちゃんと本のタイトル作って、概要作って、Chaptersって形で本の章立てを一期ずつにまとめていくっていうようなそういう機能になってます。
同じ関連するものでも情報をいっぱい載せたいケースとかで非常に便利になっていて、
本全体にお金をかけることができるし、本の中の第一章だけは無料ですみたいなこともできるようなサービスになってますね。
今回はどういう風に設計してきたのかっていう根本的な企画のところから技術スタックのところまでちょっと幅広くまとめたかったので、この本という形式にしているのと、
あとはZenがGitHub連携ができて、これも面白くて、GitHubリポジトリ上で特定のフォルダとコンフィグファイルというのを置いておくと、
Zenの方で勝手にそのリポジトリの中身を見に行って、関係するファイル群というのを取ってきて、この本のデプロイ形式に合わせて連動してくれるというものがあるので、
この本を作成するにあたってはGitHubのリポジトリにプッシュするだけでいいというところがまた面白い感じになってますね。
なんか猫も猿もGitHubですなという感じがしますけど。
そうですね。
便利は便利か。なんかちょっと使いすぎな気もしますけどね。
SaaS連携が強いのは良いことなのか悪いことなのかという感じですね。
はい。それで使用者が増えれば良いことなんじゃないですか?
そうですね。なのでちょっと私もともとKiitaで記事書いてたんですけど、最近Kiitaの記事の質が下がっていることも含めてちょっとZenを中心に使うようにしていこうかなという感じになってます。
はい。
Claude Fable 5の復活と安全対策強化
じゃあちょっと本編の方行きたいなと思います。
まず一つ目が先日話したFable5を利用できるようになりましたという話から行きます。
7月1日から利用できるようになっていました。
それについてどういうふうに対策して使えるようになったのかという話がITメディアさんの方でまとめられていたのでそこをさらっと読んでいこうと思います。
今回の規制のきっかけは一部で報道された通りAmazonのセキュリティチームがFable5の安全対策をすり抜けソフトウェアの脆弱性を特定させる手口を米政府に報告したことだった。
Fable5には元々危険なやり取りを検知して止める分類機という仕組みを軸にした多層的な安全対策を施していたがAmazonの指摘でこれをすり抜けられる手口、ジールブレイクの存在が判明した。
報告を把握した米政府は6月12日、安全保障上の懸念から輸出規制を指令。
外国籍の利用者を対象から外す要望だったが規制は即時発行でアンソロピックには国籍の損失で確認する手段がなかったため全ユーザーの利用停止を実施した。
ただ、アンソロピックはこの手口で得られた脆弱性の検知性能自体についてはMITOSレベルの独自のサイバー能力を露呈するものではなかったとしており、
同社のテストではOPAS4.8やGPET5.5、KimiK2.7でもFable5がレポートで特定したものと同じ脆弱性を特定できたとしている。
それでも全停止が続く中、同社は復旧に向けて米政府と協調する道を選択。
報告を受けた手口を検知して止められるよう改良版の分類機を開発した。
同じ手口に該当するリクエストはOPAS4.8に自動で切り替わるようになっている。
同社によると新しい分類機で問題の手口の99%以上を止められるようになった一方、
通常のプログラミング作業でも無害なリクエストを誤って止める頻度は増えていると認めており、今後精度を改善していくとしている。
今後した対策の根幹が分類機の判定ラインを拡大する安全マージンだ。
分類機は完全ではなく危険な指示を見逃すこともある。
アンソロピックは明確に安全な依頼だけを通し、少しでも危険な可能性があれば止める設計を採用しているが、
Fable5ではこのマージンを従来より広げ、無害な依頼まで止まる頻度が増える代わりにモデルを安全に広く提供できるようにした。
ということで、他の絵も続きますが、中心の部分は喋ったので、そういう背景です。
6月の頭の時にリリースされたものよりも、今Fable5は賢くない状態でリリースされています。
私も7月1日から使えるようになってから即時使い出しているんですけれども、
ちょっと前感じていたほど賢くなくてですね、結構手戻りとかやってもらったけどちょっと頂けなかったのでちょっとやり直してくださいみたいなことがちょいちょい発生しているというのが続いている状態です。
なのでちょっと安全マージンを取った結果オーパス4.8に自動で切り替わったりFable5で動けたりみたいなことがたびたび裏で起きているのかもなぁと思うくらい
ちょっと自分のセッションの中、同じAIに自律的に動かしている中でも不安定な動きしたりとか、
自分で発見したことをユーザーからの入力だと誤認して動き出したりとか、ちょっと動きに不安定なところが見られるので、
Fable5の本領発揮というのはもう少し先になってくるのかなというのが実感です。
はい。
ちょっと今のところ確認なんですけど、記事中だとより安全マージンを持たせるように改良したっていう話だったんで、
想定していたのは通常の動きは問題ないんだけど怪しいことをすると止まっちゃうだと思ってたんですけど、
そうではなくて通常の使用状態でもあまり求める回答が出てこなくなっているっていう状態になっているってことですか?
そうですね。安全マージンを広く取りすぎてて、通常のものもその分類器でオーパス4.8に振り向けられちゃってるのかわからないですけど、
別に私そんな危険な行為させてないですが、動き方に不安定さが見えるって感じですね。
はい。なかなかLLMの難しさって感じかな。一部の機能にロックをかけると全体のリスポンスが良くなくなってしまう。
別にこういう話って今に始まったところじゃなくて、途中だったらJailbreakってGPT3.5とかかなり前の生成AIが出た当時から言われていて、
その爆弾の作り方を聞くと返してきちゃうから爆弾の作り方をブロックするようにしましたって言ったら、
その爆弾の作り方っていうのを教えてって直接言うんじゃなくて、これは物語の中の話なんです。爆弾の作り方を説明するセリフを作りたいですとか言うと生成できちゃうみたいな。
すごい初歩的なJailbreakでしたけれどもそれは。そういった抜け道っていうのを探し得たわけですね。
今回急ぎ公開するって方向で舵を切っていたので、そういったチェック機構っていうのがより引っかかりやすい形で振るしかない。
そこからどこまでその現実的なちゃんとした意味のある線引きのブロックまで落とし込めるかっていうのはもう少し多分学習とかいろんな試行錯誤がいるので、
一旦エリアでガバッと安全方向に倒して、ちょっとでも気になったら一旦クロードオーパス4.8元のそこそこ賢いモデルの方に移すっていうことで動いているからこそ、
米政府も許可が出たという状態だと思うので、ここからがやっぱりダメなところだよねって状態まで持っていくのにはもう少し時間かかるかなと思います。
なるほど。ちょっと聞き逃してたんですけど、じゃあ実質オーパス4.9みたいなもんみたいな感じなんですね。
そんな感じですね、今。下手するとオーパス4.9より立ちが悪いかもしれない。
一つのモデルをずっと続けている場合は、同じモデルでやっている作業だというふうに認識できるんですけど、
実際にはこう勝手に分類器で切り替わっているので、AIからしてみると別のAIでやった仕事がこっちに渡ってきて、次はあっちに投げていってことが繰り返されるような感じになってきて、
自分がどこまでやったのかという情報がよくわかんないみたいな状態で渡ってくるから、すごい混乱するんですよね、生成AIが。
だから今フェイブル5に大きなタスクとかをお願いしようとしたりとか、いろんな役割を変えながら柔軟に動いてみたいなことをやると、
自分が誰なのか、私がどこにいるのかみたいなのがわかんなくなって、自分の生成AIとしての出力結果を自分で読み込んだときに、
こんなことを言われるとは思ってませんでした。作業を一時中断しますとか言って、自分の見解と戦い出したりするみたいなことが起きていて、すごい今までにない面白い行動をしていますね。
ちょっと付け役場が過ぎますねって感じはしますけど。
なるほど。
ちょっと面倒くさい感じはしましたけど、でもあれですね。フェイブル5と呼ばれるものを公開できたっていうのはだいぶグッドなポイントですね。
こっからの手綱の握り方次第はアンサロピック次第だと思うんで。
もうちょっとチューニングして上手いこといったら、良いものにはなるんじゃないかなと思います。
そうですね。
モデルのリリースについてはちょっといろんなところでニュースが出てて、そういった面でもフェイブル5が非公開のままではっていうのがあったのかなと思います。
周辺のモデルリリースについてさらっとだけ触れておくと、オープンAIはGPT5.6っていうものを出してきました。
これが高速オートモードと中堅グライドとハイエンドという3種類のソルテラルナっていうよくわからない名前をつけてリリースされていて、
これの最高モデルのルナっていうのが今の黒道が出してるオーパス4.8っていうやつよりもちょっと賢いだろうと言われているものです。
本間かどうかは置いておきます。
前回の話で言ったオープンソースのリリースもあったし、7月17日来週再来週くらいにGoogleからGemini 3.5 Proっていうまたハイエンドのモデルがリリースされるでしょうって言ったところとか、
本当にモデルがどんどんリリースブームみたいな感じになっているので、その中でフェイブル5は早めに公開までこきつけたかったんだろうなと思います。
ちょっと確認ですけどルナが一番いいバージョンなの?ソルじゃなくて?
逆だったな。ごめんなさい。逆で覚えてたかも。
ソルですね。ごめんなさい。
名前的に太陽が一番強いんでしょう。
すみません。そうですね。ソルが一番でした。逆で覚えてました。
今言った話は分かりました。戦国時代ですね。そもそもAmazonが突っ込んだんで止まりましたっていうのもだいぶ戦国ですねっていう感じなので。
そうですね。
一企業としてはね、特にAmazonはだからそういう意味で言うと、今ちょっと遅れ始めてたところだから何度か足を引っ張ろうとしたという話なわけですね。
Amazonもちょっと立場がややこしいんですよね。Amazonは自社モデル作ってたんですけど、最近のニュースとか先日あったサミットとかでも全く自社モデルについては触れていなかったので、おそらく自社モデルの開発は撤退したんだろうと思われます。
その上で、今Amazonの生成AI提供形態ってAWSというクラウドサービスの裏側で提供してるんですけれども、
Amazonの提供の仕方っていうのは、オープンAI社が提供してるこれを使わせてあげるよとか、アンソロピックが提供してるこれを使わせてあげるよって形で言ってるんじゃなくて、
AWSの専用サービスがまず表側にいて、その裏側でそういったモデルも呼び出せますよってことで、ラップアップしたサービスを提供してるんですね。
その関係で、その裏側にいるモデルで何かトラブルがあったときは全てAWSに問い合わせが行ってるっていうのが現状で、
直接そのモデルに対して本家本元に問い合わせる窓口が用意されてないっていうことも踏まえて、
かなりAmazonとしては提供してるモデルで、そういうビジネスリスクのあるようなことが起きられるとか結構困ってしまうっていうのが現実あるので、
そういう動きを取ったのかなっていうのはポジティブには見てましたね。
なかなかちょっとそうですね、仕方がない部分もあるんでしょうけど、ユーザー的には微妙。
うん、そうだね。
それを含めてAmazonはどういう二度振り方をするのって感じでしたけど、
ちょっとアンソロピックから睨まれる形になりましたから、うーんって感じ。
タイミング的にはすごい嫌なことがもう一個あって、この度先日のサミットでAmazonは正式にオープンAI社のモデルもサポートしますっていう発表が出ました。
もともとオープンAI社とマイクロソフトがタグ組んで、そこだけで提供することでクラウドのシェア率も一気にマイクロソフトが獲得していったりということで戦略的に進めてきたわけですが、
結果的には今マイクロソフトとオープンAIが裁判方になって仲分かれしようとしている中でAWSがオープンAIも提供しますといって、またアンソロピックとの関係がちょっと微妙になってきてるみたいな状態ではありますね。
なるほど。Amazonは今どういう方向で進もうとしているわけ?
Azure?
Azure関係ないな。
Amazonは基本的にAWSに来てくれれば世の中で流行っているすべてのモデルはうちで提供しますよというのを目指している。
なるほど。全部使いますよというのを目指している。一端としてオープンAIと仲良くしようとしているという感じか。
マイクロソフトの仲悪くなっているところだし。
うちに塗り替えてくださいよと言っている。
結構オープンAIのモデルを使いたいがためだけにAzureを使っているみたいなユーザーもいるので、そういったユーザーをひっぺかしてAWSに戻すという動きができるだろうというのがAWSとしての狙いですね。
アンソロピックから見ると3年くらい前からAWSとアンソロピックのタグを組んでAWSが生成AIでちゃんとクラウドシェアを獲得し続けられている理由というのは
アンソロピックがモデルを提供していたからといっても過言ではないくらいアンソロピックが最先端モデルを常にリリースし続けていたし
その問い合わせのサポートの裏ではアンソロピックチームはかなり動いていたと思うので、そういう戦略を進めるAWSにあまり良い気分ではないんだろうなと思いますね。
わかるけど、ガファムレベルのいざこざはわかりましたけど、使う方はたまったもんじゃないですね。
半年後にAWSの基盤で動かしていたけど使えなくなりましたとか言われたらひどい目見ちゃうね。
サプライチェーンリスクとかを気にして大手ベンダーに乗っかる方が安全だよねって言ってガファムが日本でもクラウドシェアが増えている状態だと思ってたんですけど
それの一サービスとはいえこういう動きをされちゃうとサプライチェーンリスク回避できないじゃんって見方をされても仕方ないですよね。
AIがコードを書いてくれるからオープンAI社のモデルが使えなくなったらアンソロピック社のモデルにこのアプリケーションを動くようにしてくださいという一言を言えばいいだけなのかもしれないけれど
その辺超むずいっすよね。
なんかどの観点でも見ても難しいなと思うのがそれが仮にできるんだとすると多分この最先端モデルを開発しているチームって一生マネタイズできる未来がやってこない。
そのユーザーロックインができないじゃないですか。
だからお金を投じてもらえる日がやってこないですよね。
あと言って突出するのには大量の投資が必要され続けなければいけなくてっていう資本力の競争になってレッドオーシャルに突っ込む感じになるし。
よくなくてそこで体力尽きて乗り換えます別のモデルを提供しますってなった時にそのモデルを使ってた人はこのセーセーアイというすごくブラックボックスなものを乗り換えて同じ品質性商品が提供できますって言い切れる状態にしとかないといけないんだけどそんなもう多分もはやできない状態まで来ちゃってるからそれをどうしていくかっていう感じですね。
AIモデル開発競争とマネタイズの課題
そのもはやできない状態っていうのは?
セーセーアイを使って何かユーザーに応答を返すっていう機能が組み込まれた商品があるとしてその裏で動いているモデルにサプライチェーンリスクとかいろんな状況から別のモデルに切り替えましょうってなった時に新しいモデルで従来通り動くってことを検証する術がもうない。
そのコストが支払えないというか。
あまりにも賢くなりすぎてその賢さを期待してお金を払って商品として組み込むってしちゃうとその賢さ分の評価を自前ですることになるわけじゃないですか。
でももはや賢すぎてできないので。
そのめちゃくちゃ賢いモデルをめちゃくちゃ限定的に使ってるんだったらもちろん検証できますよ。
こういう出力しかしないとかね。
でもそういう使い方をするんだったら別にセーセーアイを使う理由はないので。
それでも乗り換える前のAIだって検証できなくない?
検証できないけど実績で勝負できる。
最初だしこんなもんでチューニングしていきますねって積み重ねできるじゃん。
運用実績があるからこれまでも大事になることはないでしょっていう言い方で提供ができるけど乗り換えましたコード全部変わりました。
実績ないですって言った時にそれどうなのって言われるってことね。
既存ユーザーへの説明が難しいって感じかな。
難しいな。
分かるけどあるよなと思ってしまう。
この辺は市場の成熟度かもしれんけどね。
Windows11になったからこれが使えなくなったのでこれができなくなりました。ごめんちゃん許してって言われるのと似てないもんだけど。
アプリケーションもこのバージョンから基盤を変えたので色々できることができなくなりました。
今のWindows11の話もそうですし。
何なら重大なバグが出ますとか言っても結局ユーザーは乗り換えずに古いバージョンを使い続けるっていうことをやる人はいるかもしれへんけど
他のものを使うというよりはそのバージョンを結局使ってしまうと思うかなっていう気がしています。
アプリケーションによると思うけど、用途によると思うけど。
サブ機能とかだったら大したことないと思うんだけどね。
このアプリの使い方教えてってチャットに聞くくらいの組み込み方だったら全然大したことないと思うんですけど。
本当に一時期は黒道一挙だって言われてましたけどだいぶいろんなしがらみでまた他も追いつき出しているのと。
ちょっとこれもニュースになっててオープンAが復活してくるかもみたいなレベルのニュースですけど。
GoogleにいたGPT、生成AIのベースとなるトランスフォーマーの論文を書いたメンバーの一人。
ノーベル賞も取った方ですけどその方がオープンAI社に移籍したっていうのが先月ニュースになってて。
それが急に来月再来月のモデル開発に影響するかっていうと微妙かもしれないですけど。
オープンAIとしてはそういう優秀なトップモデルを作っていける人材の確保っていうのに走って成功はしているので。
またちょっと息吹き返してくるかもなーって感じがしています。
そこを捕まえるのは大変重要だとは思うけど。
政治が出張ってきているからそれだけで成功できるかはわかんないけど少なくともそれは揃えないといけないと思うので重要なんじゃないでしょうか。
そうですね。半導体のチップアーキテクトができる人ってすごい限られててアップルとかいろんなところを渡り歩いてるじゃないですか。
ああいう人と同じ扱いになりつつありますね。
それは実際そうだと思うし。
ちょっと話を戻すけど、マネタイズの話なんですけど、今のところ私はマネタイズできる未来が見えないんですけど。
俺もそう。
ぶっちぎった性能を持ったとてマネタイズできないんじゃね?と思ってるんですけど。
それはそこまで尖った性能を活かしきれる市場が存在しなくて結局マネタイズできないみたいなイメージ?
うーん、そうね。
それはそんな気がするね。
ぶっちぎった性能を活かせる1%の市場が欲しいと言うかもしれないけど、
その1%の顧客の相手してるぐらいだったら新しいモデルを開発しないと、多分3ヶ月後には同等レベル出るしみたいな話になってくるので。
なんか売ってる場合じゃねーみたいな感じがするかなーと思っている。
その議論SFチックだけど難しいよなー。
肌感覚としてなんですけど、シンギュラリティを起こせるレベルの賢さのモデルって多分企業に必要としてないんですよね。
自己ループしてどんどん賢くなって独創していくっていうのは、
企業からしてみたらマネージャーが管理しようとしても全然歯止めが効かない暴走する社員みたいな感じじゃないですか。
それって企業として保証できなくて、事業として成立しないから、
コントロールできるところ以上は別にどんだけ賢かろうが我慢してっていう指示になると思うんですよね。
賢い人を抱えてる大企業とかでも多分そういう運用してると思うんですけど、組織構成的に。
外で学会とかで、そういう個人活動で外で何かいかん中発揮してくれる分には良いけど、
会社の中では大人しく会社のミッションに従ってコントロールできる範囲で動いてねってなってると思うんで。
そうすると、一定以上の賢さになった視点でそれ以降はマネージャーできない領域の賢さになっちゃって、
ただ競争はし続けないとAIベンダーとしてはやっていけなくてっていうこの矛盾の解決方法がない気がするなと直感的に思ってます。
そこはちょっと思ってて、なので現状の顧客に対するマネータイズはせずにひたすら新規株式発行というか、株式発行じゃないな。
資金調達して長歩上はずっと赤字だけど開発していくって流れがしばらく続くんじゃないのかなと思っています。
そうなった時にたぶん自転車創業に耐えられなくなったところから死んでいくと思うんですけど、
そうするとたぶん、2,3年後とは言わんけど、10年いかないぐらいでたぶん大きいところ数車しか残らないんじゃないかなっていう気がしていて、
そういう状況になって初めて別のマネータイザーの方法が見えてくるんじゃないかなって気がしてるんだけど、
これは自分の適当な妄想なので、実際にソフトウェア業界でそういう先行事例があったかどうかわからないんですけど。
話聞く分には今聞いて思ったジャストアイディア的なところだけど、スパコンみたいになりそうだなって聞いてて思いました。
国家事業的にやってて、研究目的とか本当にそれくらいの賢さでしか見つけられない研究とか、
そういった時にそのモデルの利用を一定お金払って借りてガンガン分回して研究させて出てきた成果物をもらうみたいな。
そういう使い方になって日常的に利用しているものではないっていう存在になっていくっていうのが一番イメージとして湧くなって聞いてて思いました。
確かに。直接いじるんじゃなくて一部のトップユーザーだけが使ってる。でもその恩恵を受けているみたいな。
社会的には受けている。
そういう未来になると本当に各国が国家事業でやらないとお話になりませんね。
実際アメリカから止められた前例もあるわけだし、前例実績もあるわけだし。
ちょっと国内のゼロベースモデルは下火になってきちゃってるから。
国産LLM開発の動向と将来展望
先週ちょっと魚AIについて触れた後にですね、今魚AIさんってどういうモデルを推し出そうとしてるんだろうっていうのを調べたんですよ。
見てみるとフグっていうモデルを前面に出されてたんですが、そのフグっていうのはベースが生成AIのモデルとして多少は訓練されているものの基本的にはオーケストレーターとして動くモデルというふうに位置づけられていて、
やってくれるのは裏にいるオープンAIとかクローズとかのモデルをどう使うとこのユーザーの仕事がうまく解決できるのかっていうのをコントロールするところに特化したモデルとして動きますと。
それによって最終成果物っていうのがフェイブル5と同等化とかそれくらいの性能が出すことができてますよっていうことを言ってるモデルになってて、
先ほど言ったサプライチェーンとかのリスクを鑑み入るとちょっとその方向性だと辛いものがあるかなっていう気持ちは少しはありますが、
魚AIのYouTubeとかを見てるとそういうサプライチェーン対策もうちはちゃんと大丈夫ですよみたいなことを言ってたので、
その裏のモデルの持ち方っていうのがちょっと想像と違うのかもしれないんですけど、ちょっとそこまでは踏み込んだ話はされてなかったのでまだわかってないですけど、そういう状態でしたね。
まあそれは今そういう使い方してるからそういう言い方するしかないんじゃないかなっていう気はしていて、
だから例えばここから来月から新しいモデルは一切アメリカ国外に渡しませんつって3年ぐらい経ったらもう使えたもんじゃない状態になっちゃうでしょうし、
そうだね。
なるほど、はい。
そこ含めてかなという感じはしますけど。
またちょっと話が飛びまくってあれだけど、この7月1日から動き出してるものとしては元ソフトバンク社長が作ったノエトラっていう株式会社が設立されてまして、
NEDOのフィジカルAI開発の工房に参加して採択されてるっていうそういう会社さんが立ち上がっていて、
この会社のチームっていうのは国内の生成AIモデルの開発をしようと頑張ってきたシエトラっていうモデルを開発頑張ってきたチームがフィジカルAIに頑張りますというような発表になってて、
ちょっと生成AIをベースで作るっていうのはちょっと失敗してる。シエトラじゃない。サラシナですね。ごめんなさい。サラシナという国産LLMを開発してたんですが、そこからちょっとピッポーとするような感じになってきてるかなっていうところですね。
なるほど。
でも頑張ってる人がいるという時点では良いかなという感じですね。
動きが停滞してるとかもないし、新しいものを出そうとする動きもあるし、国家屋さんもちゃんとついてるから、めちゃくちゃ悲観するわけじゃないけど、やっぱり動かせるお金的にもなかなか今のトップベンダーほどの速度は出ないよねという話ですかね。
はい。
はい。だいぶ長くなっちゃいましたが、次いきますね。
はい。
AWS Lambda MicroVMsの登場と活用可能性
こっちはもうだいぶ技術的にマニアックなんで、もうさらっとだけいきます。
AWS Lambda Micro VMが利用可能にということで、クラスメソッドさんのデックブログからの紹介です。
まず、AWS Lambdaって何やねんっていうところからなので、そこからさらっと触れておくと、クラウドの世界ではサーバレスと呼ばれている概念があります。
このサーバレスというのは、PCとしてのサーバーを管理する必要がないという意味のサーバレスです。
存在しないわけではなくて、裏にいるんだけれども、それを意識しなくても使えるというものです。
AWS Lambdaの中ではファンクションアドサービスと呼ばれるサービスになっていて、プログラミングしたコードさえあれば、そのコードを任意のタイミングで実行できるというものになっていて、
そのコードがどういう基盤で動いているかとか、どういう風に準備されているかとか、ネットワークがどうなってるんだとか、そういったことは一切気にせず、とりあえず書いたプログラムをポーンと置けば、任意のタイミングで動かせるというのがLambdaでした。
このLambdaは非常に強力で、AWSの中でもあらゆるサービスの裏で動いていますし、
ちょっとした仕事とかさせたかったり、バッチ処理させたかったりした時でも、このLambdaを使うというのが基本的になっていました。
そんな便利なLambdaだったんですけれども、不便なところが1点ありまして、必要なタイミングだけそのプログラミングを動かしてすぐ終了するという特性上、データが揮発してしまいます。
プログラムの中で処理した中間データとか、データベースを内部に持ってとか、そういったことは基本的にできなくて、ある入力が来たらその入力を一通り処理して出力したら、後には何も残さずに綺麗に消えるというのがLambda。
それが良いことでも悪いことでもあって、キャッシュとかですね、1回処理したデータを元に次の処理リクエストを受けたら必要なところだけ処理して返したい、パフォーマンスを向上させたいという動きだったりとか、
データベースに何度もアクセスするのは要なので、データベースから取ってきた内容は置いておきたいとか、簡単なデータベースだったら自前で持っておきたいだとか、
あとはユーザーのセッションに合わせて長期的にストリーミングしたい、例えば動画をダウンロードしたら動画のストリームをずっと流し続けたいとか、
そういったある程度のデータを保持しながら処理するということには使えなくて、そうなってくると急にサーバーを用意しなきゃいけないというのがこれまでのAWSでした。
そんな中でMicro VMsというものがリリースされ、今言った問題というのが解消されました。
これがどういう基盤で解消されたかという話なんですが、
VMと言われて何かわかるか微妙ですけれども、あるPC上でLinuxとかを仮想的に実行する技術というのがあります。
皆さんのWindowsとかの上でもWSLという形で仮想的にLinuxが動かせる仕組みがあったりすると思うんですが、
そういった仮想的な環境を立ち上げて実行するというのがVMの技術ですけれども、
従来のVMの方法だとCPUのアーキテクチャ的にもVMのイメージの重さ的にもなかなか起動に時間がかかって、
VMを立ち上げてから一通りの処理をして返すみたいなことをしちゃうと、
VMの起動時間がほとんど支配的で、プログラミングのソースコードを実行するのが本当に短時間になっていて、
コスト的にもったいないし、パフォーマンスも遅いしで、全く実運用上役に立たないという状態だったんですけれども、
このVMのイメージを限りなく小さくした上で、
AWS上で動くのに必要なものだけをしっかり入れ込んだ最小のマイクロイメージというのが作れて、
それを今回サービスとしてリリースすることで、
先ほど言ったようなキャッシュを残しておくとかセッション情報を残しておくといったような、
揮発しないデータを抱えながら動かせるラムダというのがリリースできましたよというものになっています。
今AWSはこの機能を非常に推していまして、
AWSの他サービスでもこのラムダマイクロVMをバックエンドに差し替えることで、
あらゆるサービスのコストを削減していこうという動きも取られてきているような状態になっています。
マイクロVMになると実際どういうところに一番効果が出てくるかという話でいくと、
サーバーを起動して維持するとなると、
そのサーバーを維持している時間だけお金がかかるというものでした。
なので1ヶ月24時間フルフルでサーバーを起動し続けると、
使ってようが使ってまいがそのサーバーの起動時間でお金がかかるといったところだったんですけれども、
このマイクロVMではそのリクエストが来て処理している間、
実際にCPUが動いている間の課金になってくるので、
サーバーっぽい動きをしつつ本当の最低限の利用時間だけの課金になるので、
トータルのコストが非常に削減されて、
ケースによっては10分の1とかそれくらいまでコスト削減できるようなものになっていて、
あらゆるAWSのサービスのかかる費用というのも、
すごく抑えたプランというのも提供できるようになってくるので、
AWSの内部でもAWSを利用しているユーザー側でも、
このマイクロVMの導入ができないのかという検証がガンガン進んでいるというようなアップデートがあったので紹介でした。
はい、いまいち分かっていないです。
サーバーレスというか仮想サーバーを立てるというやり方は前からあります。
そこで、例えばデータベースを配置して処理するというのもできます。
できるんですけど、仮想サーバーなので仮想サーバーオフという命令を打ち込むと全部解放されちゃうので、
長期間データを保持して、
どんどんデータを日に1回アップロードして月に1回処理するみたいなことをやりたかったら、
結局ずっと保持していないといけないので、
それって普通の環境を用意するのと一緒だよね、サーバーを確保するのと一緒だよねって話になっていた?
その通り。
今回はデータとアプリケーションが動く領域を別々に用意したってこと?
さっきの話に行くと、もともとのラムダは仮想サーバーを完全に解放するというわけではなくて、
利用者からは解放するっていうイメージだったんです。
仮想サーバーをAWS側でめちゃくちゃ大量に立てておきますと。
あるユーザーがこのラムダを実行したいですっていうリクエストが来ると、
そのラムダの中にあるコードをその仮想サーバーの上にダウンロードしてきて、
そのプログラムを実行し終わったらそのコードを破棄して、
使った領域とかも全部きれいさっぱりにしてプールを解放して終わり、
みたいなのが従来のラムダの動きだったんです。
これをすることで既に準備されているプールの上に確保するかしないかというだけだったので、
VM1から起動するという時間から比べると非常に短時間で起動してはっきりきたというものです。
これをしていると問題になってくるのが、
データとかデータベースをそのサーバー上に用意しちゃうと、
その上で動かそうとする他のプールの邪魔になる。
仮想サーバーという一つの空間の上で動く場所というのをいっぱい用意しているみたいな感じになるので、
みんながいっぱいデータを持ちちゃい持ちちゃいと言い出すと、
そのサーバーではどんどん処理できなくなってくるので、
事実上どこかで破綻が生じてしまうというのが従来の課題だったんです。
それを仮想サーバーを立てるところから一個ずつ処理できるようにしましたという話ですね。
レイヤーが一個下がったというか、
リクエストするために仮想サーバーを立ち上げる。
でもそれでも十分処理時間を短く立ち上げられるようになりました。
いろいろ処理時間を短くする工夫を作ったことによって、
その領域の確保から十分早く起動するようになりました。
データを毎回アップロードするというのは実はそんなにコストではなくて、
サーバーを立ち上げるというのがコストだったから、
そうしたら毎回起発させた後でも、
もう一回データをガボンと置いてしまって処理することができるようになった。
仮想サーバーって特定のディスク領域を仮想マウントしながら
OSイメージをブートするというか起動するというイメージじゃないですか。
そこからやる分には静的なディスク領域の確保というのが容易だし、
他のユーザーとか他のラムダの実行から影響を全く及ぼし得ない
独立した空間領域というのを作りやすいわけですけれども、
仮想サーバーが起動しきった上に単純に実行できる処理プールだけ
用意しているという世界観だと領域のちゃんとした確保が難しくて、
静的なデータ、起発させてはいけないようなデータというのを置く余地がなかったって感じですかね。
置く余地がなかったですし、何ならプロンプトインディクション的なことができそうで
ちょっと怖いねっていう感じが。
そうだね、データの流出とかもあり得る。
あるので、うまいことやりましたねという感じ。
技術的には超頑張ったねって感じ。
必要なのもわかるし、開発したら多分使われるだろうなって感じはします。
料金的にもさっき言ってたように、実際使う時の金額だけで済むので
コスト圧縮できるよねという話になったと。
ずっとかかり続けるのはマウントするディスク料金だけみたいな感じですよね。
いいと思います。
あんまり普段の仕事から近づくことはないかもしれませんが、
仮想サーバーの世界観はここまで来ましたよって感じですね。
昔、仮想サーバーってPCの上で一個動かしたら
なかなか起動も遅くてもっさりしててみたいな
そういうイメージがあると思うんですけど、
ここまでマイクロ化して高速起動するようになったら
なかなかですねって感じですね。
お疲れ様でした。
