1. その、帰り道に振りかえり。
  2. おやつの散歩から。生成AIを作..
2024-07-11 12:01

おやつの散歩から。生成AIを作るのも現実的に考えるかもって話 from Radiotalk

00:01
はい、sonoです。おはようございます。じゃなくて、こんにちはですね。
おやつの時間に、反省会ですね。散歩してます。
ちょっとね、一瞬息抜きを入れて、お昼の時間が短めだったので、分けて休憩撮ってる感じですかね。
今日は、ちょっと最初出社しようかなと思いつつ、
なんやかんやありまして、朝起きるの遅かったんですけど、むしろ昨日ちょっと、夜更かしをついしまして、コーディングの沼にはまるというか、むしろ飛び込んでましたね。
なんやかんやって、午前中である程度動くようになったので、あとは評価と、一般化というか運用に向けた固定化をしなきゃなっていうと、割と一歩進んだ感は感じれていいと。
急に、ずっと座って、ずっと画面見てみたいな感じで、すごい肩こりがひどいところもあるし、
ちょっとね、どうしてますね。
なんか、今散歩しながら考えてたのは、目の前の仕事と関連しつつ、もうちょっと未来のことでなんだろうな。
昨日の夜ね、コーディングというか、実際には自分で絵はほぼ描いてなくて、指示しながらちゃんとGPTに書いてもらうっていうことをして、なかなかだんだんとコミュニター指示とかレビューにはなってきたので、
なんか仕事した感はあるんですけど、というのを置いておいて、とはいえ実行確認とか、特に大きな単位でもちゃんと動くかみたいな確認だと、ほぼほぼ1時間待ちとかね。
その間にちょっと別なのを走らせたりとかはしてたんですけど、その中でドキュメントを見つけて、
LLM、生成AIの作り方というか構造とかについて、わりとすごいシンプルでわかりやすく説明してくれているものがあって、
ある意味ね、ちょっと最近、生成AIのモデルを作るっていうことも、半年どころか3ヶ月前ぐらいの時には、これはもう億単位の課金ゲームみたいなガチャみたいなもんだから、
03:10
今は難しいのは変わらないんだけど、そうは言っても結構ね、調べていったりとか、世の中も進んでいって、
わりと何か作るっていう話がリアリティあるんだなぁみたいな、目的に特化したものとかを作るのがあり得るなぁっていうのをちょっと思ってきた。
それで、もやもやと考えてたりっていうのが今の散歩中だったかなっていうところだね。
僕自身は今、カレンダーのアプリの会社なので、予定とかスケジュールみたいなものっていうのをデータとして扱っていくっていうとこなんだけども、
もちろん、今のチャットGPTというか、最近だと性能的にはクラウディかな。
いまだ正式な呼び名がいまいちしっくりきてないけど。
クラウディかな。
また新しいのアップデートされたとかが、昨日だったっけな。
なんか出たりはしてたけども、なんか聞くと幅広いタスクに対応していて、
かつ、今はインターフェースも含めてチャットだとGUI提供して、
より何ていうか、人に聞いて賢いというか、何でも知っている人?
ですばやく答えられる人っていうのに、なんか聞くっていう体験はできるけども、
例えばカレンダーに特化しますみたいな話だと、なんかこの辺いい感じの予定ないかなとか、
なんか今の予定でもうちょい考えるのないかなとか、僕だったらそうだね。
夏休みの予定とかどうしようみたいなところとか、
この辺の日程、カレンダー見て空いてるところ見てとか、
今もやっててそうなんだけど、入れてないけど仕事がこの付近あるとかね。
そういうのも含めて、なんかいい感じに答えてくれるっていうのはね、
06:04
大規模の今の生成愛っていうのは難しくて、
多分特化をしてないんで、将来に渡っても難しいと思うんだよね。
もちろんある程度その情報を与えて、その中で選択してもらうみたいなタスクに変えれば全然対応できるし、
どんどん良い感じのコミュニケーションっていうのができるようになってくるっていうところなんだけど、
でも本当のバチッとした提案を出させるっていうところで、
やっぱどっかでモデルを作るという解決策まで達する?
しないと達せないところっていうのがあるなという感じなんだよね。
必要性っていうのもあるし、ニーズとかね。
ニーズっていうのはサービスと組み合わせて作るところもあるんだけども、
そう考えてた時に、わりと今って空間的にモデルの戦略っていうのは、事業の戦略っていうのはあって、
大規模モデル、大手3社っていうのかな。
アンソロピックとオープンAIとあとGoogleはそれぞれ広く人の行いタスクっていうのをサポートするっていうところに行くし、
その中で文学技って日本語の、日本の文化の中にあるタスクだと日本に特化したLLMっていいよねとか、
より最近だとアイベースとかで建築図面のモデルとかもあったけども、
そういう建築図面とか建築関連でもそっち系に特化しましたとか、
あとモデルの中ではコーディングにすごい特化したものっていうのは結構よくあるというか、いくつか有名なものがあって、
プログラムのコードを作るにあたってそこに特化して、学習も基本はコードだけでやってるとかね、あるよね。
それと別にずっと今はGPTとやりながら、メモリの量とか考慮できる長さみたいなものっていうのはあるけども、
09:07
全勤的に増えていくだけなんだよね。
一つのやり取りの中でも文字量が多くなってくると、長いやり取りっていうのはできない。
前を含めてっていうのもできないし、時間軸みたいなものっていうのを考慮して、
次々とこれがあってこれがあってこれがあってみたいなやつは一見タスクとしてできるけど、
それは計画のタスクっていう一瞬でできることをやっていて、
なんていうか、次々と起きていくことをつなげて何かするみたいなことも得意じゃないとこだよね。
扱えるメモリ量とかはどんどん大きくなってきて、Googleとかはわりとそっちに強みをつなげていったりとかしてるけども、
でも多分、時間軸的な分割のアプローチみたいなところがあるなってなった時に、
予定スケジュールってどっちかっていうと未来の少し先のことについて考えるから、
これも日本の監修も強いと思うんだけど、
マンスリーっていう月の予定を月初に立てますとかね、あるよね。
それとは別に、来年の同じ今頃にやらなきゃいけない予定とかね。
そういう時間軸を空間的に分類して対応するというタスクでも解決できるんだけども、
その辺がより考慮されて回答が来るっていうものとかだと、やっぱりちょっと特化モデルを作らないといけないかも。
その前にやることいっぱいあるんで、今言ったようなアイディアをベースに、
まずは多分ラグっていうね、所条件をできるだけ固めて与えて、
それぞれのタスクに対応させるみたいなところからだと思うんだけど、
まあなんかその辺考え始めると結構現実的にちゃんと考えなきゃいけないなっていうのと、
自分がまたね、それを考えて進めない限り会社の中で進まないけども、
そういう意味だとそこは背負いたいと思ってやってるところだから、進めなきゃなーみたいなことを考えたりしてました。
ちょうどね、払いながらアイディアを求んで良い時間だったかなと思います。
今日はこの辺で、もう午後ですけど良い一日を。
12:01

コメント

スクロール