00:00
からあげ帝国放送局、始まります。この配信では、AI関係の会社で働きながら、作家として本を書いたり、個人でメーカーとしてものづくりを楽しむ私からあげが、技術の話であったり、個人のスモールビジネス、その他雑多なことをお話ししていく配信です。
今日はですね、休み明け久しぶりですね。いつもの公園を散歩しながら収録をしています。
セミもみんみん鳴いていて暑いですね。今までですね、ちょっと先週はお盆休みを取っていたんですけれども、結構ですね、色々できたかなというところですね。
岐阜の方にいて、AIの苗木城っていうですね、山城を舞台にした漫画を書いた話とかも前にしましたけれど、そういったことをしたりですね。
後半はですね、子供がですね、ちょっと親のところの方に一人で行っていてですね、久しぶりに夫婦みずいらずというか、ゆっくりした時間とかですね、色々ですね、開発の方を進めたり、読書をしたりっていうのが久しぶりに結構できたかなという一週間でしたね。
今週からまた仕事が始まりますが、ちょっとちゃんと仕事ができるか若干不安ですね。
今日はですね、初日なので、なんとかですね、仕事が開始できたらOKにしたい。なんか自分に優しい基準でいきたいなとか思っていますといったところですね。
で、今日は早速本題の方に入っていこうと思うんですけれども、検索システムって重要だよねと改めて思った話をしようかなと思っています。
というのはですね、連休中に読んだですね、検索システムっていう本を読んでたんですけれど、それがすごい面白かったというかですね、もともと検索って実は重要だよねってことをですね、最近というわけでもないんですけれども、結構思うことが多くなって、
そういうのはですね、自分がAIをですね、よく使ったりですね、それこそAIアシスタントソフトですね、Zangiっていう、いわゆるなんて言うんですかね、AIエージェントをより便利に使うようなソフトを作ったりしているんですけれども、その中でもですね、やっぱりどう検索するか、それはですね、ウェブの検索もそうですし、
自分がですね、ローカルっていうんですかね、元のパソコン上に保管しているようなですね、いわゆるですね、ナレージというんですかね、その蓄えてきたデータですね、そこでいかに検索するかみたいなのって結構重要だなと思うことが多くなってきたんですね。
というのはですね、やっぱりそのAIですね、特に大規模言語モデル、いわゆるLLMって呼ばれるようなものの性能ってですね、入力するデータをどうするかっていうので、出力のですね、アウトプットの品質がですね、変わってくる。
03:08
だからよくAI、いまいちな結果しか出てこないっていう人はですね、モデルが悪いか、入力するデータが悪いかのどっちかのことが多いですね。最近のLLMの最新のモデルとかすごい賢いので、やっぱりこの入力するデータをですね、いかに良いものにするかっていうのが重要でして、その指示を人間が与えることに加えてですね、実際に自分が持っているデータとかですね、
ウェブからですね、いかにデータを抽出して持ってくるか、いわゆる検索ですね。これが重要だなってことに改めて気づいたわけですね。AIの性能を左右するやっぱり一番一つの重要な要素っていうのが検索だなと改めて思いましたし、それこそですね、今もAIというかIT関係で覇者を持っているGoogleとかも検索の会社ですもんね。
やっぱりその検索っていうのが重要だなと思って、その検索システムっていう本を読んでいましたっていうところでしたね。私もですね、検索とかは割とAIだとラグって呼ばれる技術とかで、一部検索をして回答を生成するみたいな技術が流行っていてですね、これもですね、やっぱり検索が重要だよっていうことの現れだと思うんですけれども、そこら辺でですね、
ある程度そのベクトル検索っていうんですかね、意味的に検索して情報を取ってくるみたいな仕組みはですね、一応知ってはいたんですね。なんですけれども、結構検索を網羅的にしているかというとそうでもなくて、いわゆる初歩的なというか基礎的なキーワード検索っていうのはどういう手法があってどうすると効率的なのかとかですね、あんまりそこら辺がすっぽり抜け落ちちゃってたので、
そういったですね、基礎的な知識を含めて網羅的に理解するのにすごい良い本でしたね。あと、著者の方の文章もすごい上手くてですね、確かブログとか結構書いていらっしゃる方だと思うんですけれども、検索に対するですね、深い知識があることが文章の端々から感じられましたし、結構ですね、面白いんですね。
なんかコラム的なこぼれ話とかですね、結構実際に使ってみてどうなんだとかですね。あと、検索のソフトウェアとかも私も全然知らなかったんですけれども、そういったですね有名なソフトがいくつか紹介されていて、それぞれの特徴がどうかとかですね。
あとはですね、難しいところとかは、ここは結構難しいのでスキップしても、本の理解はできるので大丈夫ですみたいなことまでですね、言ってくれてですね、すごい優しいなと思ったりしましたね。
06:05
で、私もですね、まだ全部読めているわけではないくて、だいたい60から70%ぐらい読んだっていうところなんですけれども、かなり良い本だなと思っていまして、で、電子書籍がまだ今後配信で、今紙の本はちょっと品切れの状態が続いているみたいですが、あの一度ですね、Amazonとかチェックしていただけると良いのではないかなと思いますといったところですね。
で、理論を学んだので、やっぱり早速実践してみたいなっていうところでですね、私が作っているAirAssistantソフトですね、Zangiというソフトにですね、検索の機能をですね、ZangiSearchという名前でですね、ちょっとつけてみることにしました。
で、これはですね、Zangiで初めての形で、プラグインみたいな形でですね、拡張機能として提供するですね、ソフトになります。
直接内蔵しても良かったんですけれども、結構ですね、ベクトル検索とかすると処理が重かったりですね、その作るインデックスのファイルが大きくなってしまったりするので、標準搭載するとちょっと困る人とかですね、最低限で基本はいいんだよっていう人にとってはちょっと重いソフトになってしまうので、
いわゆる後からですね、拡張機能としてアドオンできる、いわゆるVSコードとかのエディターとかですね、拡張機能とかでどんどん好きな機能を追加していけるんですけれども、ああいった形でですね、拡張機能として追加できるような形にしていますと。
もともとですね、スキルっていう、アンソロピックが作った仕組みですけれども、今のですね、AIエージェントの共通企画みたいなもので、ラグで検索できるようなものは作っていたんですけれども、やっぱりですね、スキルとしてあんまりそういった大きなセットアップが必要だったり、独自のユーザーインターフェースが必要なソフトを作ってもですね、
多分使う人ってどう使っていいかわからないのかなっていうのを最近思ってですね、多分ほとんどの人は使えてないというか、よく使い方がわからないんじゃないかなと思ってですね、拡張機能という形で提供したっていったところですね。
で、実はもともと本を読む前からですね、この懺悔サーチっていうのはずっと作ってはいたんですけれども、なのでですね、実際はこう理論が先で実践というよりかですね、もう既に実践していて若干行き詰まりというかですね、不安を感じたので本を買ったっていうのが正直なところになるといったところですね。
で、本を元にですね、ある程度網羅的に理解できたので、その懺悔サーチもですね、本を参考にいろいろ改善しようとしたんですけれども、結論から言うとそんなにですね、改善はできなかったですね。やっぱりもともとですね、AIが作ってくれたソフトが無難なというかですね、割といい設計をしていたんですね。
09:16
なので、あんまりですね、改善の余地が実は結果的にはなかったっていうところですね。ただですね、良かったのが、そもそもですね、性能を測るっていうことを今まで全然してなくて、その性能の測るっていう概念ですね。
基本の基本なんですけれども、個人で作っているソフトだから別にそんなに自分が満足できればいいかなと思ってたんですけれども、やっぱりちゃんと計量的に測る仕組みを作ってですね、どういった手法が効果あるのかみたいなことをですね、できるようになったってことが自分の中で一番大きかったですかね。
それをもとにですね、今使っている方法が割と自分としてはベターだよってことをですね、自分なりに納得できるようになったっていうのが大きいですかね。あとですね、一部ですね、少しだけですね、性能自体も改善できたところはゼロではなかったので、そういった点も含めて本を読んだ価値があったかなというところですかね。
なので、今回はですね、本を読んだだけじゃなくて、実際にこのザンギサーチっていうですね、検索システムを作ることでですね、実践も踏まえて割と内容がよく理解できたかなといったところですね。
この検索もですね、何がいいんだっていうのが、やっぱりラグっていうものが一時期流行って、これがめちゃめちゃいいんだっていう話だったり、実はですね、ラグより普通にAIに任せて検索した方がいいんじゃないかみたいなですね。
いろいろどの検索がいいんだみたいな話が出たりするんですけれど、検索システムを読んだプラスですね、今までの自分の実践を踏まえた自分なりの理解ですけれども、当たり前なんですけれども、やっぱりその検索する対象とか目的とかですね、やっぱりその検索対象のデータベースというかデータですよね。
それによってですね、全然最適な手法っていうのは変わってくるかなと思います。大規模なシステムで1万人の人が使う場合の検索と、本当にその1人だけがですね、自分の個人的なデータベースを探すときの検索システムでは、やっぱりですね、作り方とか最適な結果っていうのも全然違ってくるので、
その個個人に合わせたですね、本来は最適な検索システムがあるんだろうなと思っていますが、その中でもですね、自分にとって良さそうな今回は検索システムを作ってみたのとですね、ある程度自分と近い環境で使っているような人には有用かなと思うので、今回ですね、ザンギサーチとしてOSS、オープンなソフトウェアとして公開したといったところですね。
12:00
なので、それに合わせてですね、AIアシスタントソフトのザンギもですね、バージョンを今0.52かなにしていますので、そのバージョンを使うとですね、拡張機能としてザンギサーチをですね、ウェブのユーザーインターフェースが使えるんですけれども、そこからですね、追加っていう形でボタン一つで追加できるようになりますので、試してみていただけましたら幸いです。
拡張機能もですね、どう作ればいいのかあまり分からなかったんですけれども、AIにお任せしつつですね、一つですね、ユニークというか、ちょっと試してみていることとしてですね、こういった拡張機能のセットアップとかですね、設定をですね、ある程度AIを活用しているということですね。
どういうことかっていうと、普通はですね、割とこのプラグインの機能の追加とかって、ルールベースでボタンを一つ押したら決まった処理をしてセットアップされるっていうのがほとんどのソフトだと思うんですけれども、そういったですね、ルールベースの部分もありつつですね、結構具体的な組み込みとかはですね、AIに任せている。
なのでボタンを押すとですね、新しくウィンドウが開いてですね、そこでザンギーのAIが走ってですね、セットアップをするような仕組みになっています。
こうすることで結構環境によってエラーがあったときとかもですね、勝手にAIがよしなに解決してくれるっていうところに期待しているっていう、そういったところですね。
あとはですね、結構プロンプトとかもですね、エージェントっていうですね、システムプロンプトにそのザンギーサーチの使い方をですね、組み込んだ方が便利だったり、あとこういった使い方ができますよみたいなですね、
セットアップガイドというか使い方のガイドとかもそのまましてくれたら便利なんじゃないかなというのを思ってですね、結構そのセットアップをAIに任せるみたいな、アップデートもそうですね、一部をですね、AIに任せるみたいなことをしています。
ここらへんのですね、拡張機能がちゃんとセットアップできて動くのかっていうのは、あんまりですね、多くの環境で試せていないので、もしですね、よかったらこの配信を聞いて興味がある方とかですね、試してみて、うまく動いたよとか動かなかったよとかあれば、ぜひですね、コメントの方をいただけたりすると嬉しく思います。
といったところでですね、今日はお便り回収の方は省略しまして、唐揚げ帝国放送局ではお便りを大募集しております。
SNSのハッシュタグの唐揚げ帝国放送局であったり、無料のコミュニティの唐揚げ帝国ですね、こちらのお便りチャンネルでコメントをいただけましたら、この配信でも取り上げていきますので、ぜひどしどしコメントの方をお寄せください。
といったところで本日は以上となります。
それではまた。
