LayerXとAI検索エンジニアの概要
LayerXの本田です。それでは本日のLayerXを始めていきたいと思います。
LayerXは、組織・文化・プロダクトのセキュラルな話を伝えていくポッドキャストです。
私、今、申し上げたんですけど、名前は本田と言いまして、LayerX歴5年でちょっと長くなってきたんですけど、
今、Ai WorkforceというAI LLM事業部で作っているプロダクトの導入を行うチームで、LLMグループというのがあるんですけど、そこのマネージャーをしております。
本日はですね、AI検索エンジニアって何ですか?というところを深掘って、そこのところ、3月にジョインしてくださった渋井さんに来ていただいているので、
そこを深掘りながら、渋井さんのキャリアですとか、AI検索エンジニアってそもそも何なの?みたいなところを深掘る時間にできればと思います。
それでは早速なんですけど、渋井さん、簡単に自己紹介というところで、まずこれまでのキャリアと、あとLayerXに入社を決めた理由みたいなところをお伺いしてもいいでしょうか。
はい、初めまして渋井と申します。
本田さんがLayerX歴5年とおっしゃってましたけど、私はLayerX歴2ヶ月ちょっとっていう感じで、まだまだ新米な人です。
私のキャリアなんですけど、エンジニア歴としては10数年、何年かそろそろ覚えてなくなっちゃってるんですけど、10数年で、
もともとはSIRでクラウドを作るっていう仕事を2010年くらいからやってました。
数年クラウドを作ったり、それを売り歩くみたいな仕事をした後に、クラウドっていうのが世の中に十分広まってきたっていうタイミングぐらいで、機械学習やAIの方にシフトチャンジしております。
機械学習やAIっていうものを扱うにあたって、機械学習とかAIっていうのをモデルを開発するっていうよりも、
システムを作ってその中に組み込んでいくっていう方に興味があったので、2015年とか16年くらいからシステムのための機械学習、
ソフトウェアの中に機械学習を組み込んでいくっていうエンジニアリングの専門家として、8年9年くらいですかね、やってきております。
今でいうとMLOps、マシンラーディングオペレーションズみたいな言葉がありますけど、それが出る前からずっとやってきております。
ここ数年は、生成AIであるとかLLMっていうものにフォーカスしておりまして、それこそモデルを作るっていうよりも、
生成AIのAPIであるとかLLMのAPIっていうものの特性を理解しながら安定したシステムであるとか、
その能力っていうのをより広げていくような仕組みっていうのを作っていくっていうことにフォーカスして仕事をしております。
LayerXに入社した決め手なんですけど、AILLM事業部の魅力としては、新しくLLMっていうものをビジネスの具体的な課題に対して適応していくと。
それこそドキュメントワークっていうものが世の中のいろんな大企業の中にありますけど、
それが今までは自然言語で書かれていたりだとか、いろんな画像とかを含めたマルチモーダルなデータになっていて、
それをうまく扱うことができなくて、ずっと人間の手に残っていたりだとか、半自動化みたいな程度にしか行ってなかったんですけど、
それをLLMによってさらに自動化していくっていうような事業に魅力を感じまして、
LayerXに転職するっていうことを決めたのがちょうど3ヶ月前ぐらいになります。
今、最初招待のあったオンダさんと同じチームで機械学習やLLMだけでなく、
それをシステムとして組み込んでいって、それをお客様に届けるっていうことをフォーカスして仕事をしております。
よろしくお願いします。
渋井さんのキャリアと業務観点
ありがとうございます。
今のお話聞くと、技術をすごい深掘っていくというよりは、
それをお客さんのところにデリバリーしたい、あとはビジネス観点もすごいあるのかなというふうに伺ったんですけど、
もともとのSIRさん時代とかクラウドやられてた時からそうだったのか、
ML Opsをやり始めてからそういうふうに考え方がシフトしていったのかとかだと、
その辺で変化だったのか、もともとあったのかとかってあります。
そうですね。自然と身についていったっていうのが正しい答えだと思うんですけど、
クラウドを世の中で広めていく、それこそクラウド元年と呼ばれるような時からクラウドを扱って、
それを広めていくって仕事をしていたので、それをやるためには結局お客様の課題であるとか、
クラウドっていうとインフラに近いところなんですけど、
インフラっていうものをうまく提供するためにもシステムがどうなってて、
お客様の業務がどうなっててっていうのを理解しないと作るところであったり、
マイグレートするところであったり、さらに言うとクラウドに作ったシステムっていうのを運用していくっていうところも理解できなくなっちゃうので、
ビジネス面含めて常にやってきた結果として今、機械学習やLLMの世界にいてもやっぱりビジネス面であるとか、
そのためのソフトウェアやシステムを作っていくっていう観点を大事にしながら仕事をしていってるっていう流れです。
ありがとうございます。
確かに渋井さんと普段仕事しながらすごいバランス感覚がものすごいなっていうか、
結構あれですかね、MLOpsで本とかも書かれてたりして、すごい技術面尖ってるのかなと入社前は思っていたんですけど、
一緒に仕事してみると、お客さんこうやって使うんじゃないのみたいなところの視点とかすごいあるなっていうところ、
本当にバランス感覚すごいなと思ってます。
ありがとうございます。
ご紹介に預かりました通り、宣伝なんですけど、機械学習を実用化するための機械学習システムデザインパターンという本と、
機械学習システム構築実践ガイドっていう本2冊出しております。
公表発売中です。
っていうのと、クラウドに限らず機械学習もそうなんですけど、結局常にユーザーがいて、
ユーザーにとって価値がない技術っていうのはどこかの時点で廃れていくというか、
使われなくなるPOCで全てが終わるみたいなことっていうのは本当によくあるパターンだと思いますので、
ちゃんとお金にしていって、自分の仕事っていうのを残していって広げていくっていうことを考えると、
検索技術の重要性と展望
機械学習のユーザーがいて、その人たちに価値がある機械学習のあり方、LLMのあり方っていうのを作っていくと。
そのためにはやっぱりソフトウェアとして、もしくはUIとして適切なものをお客様にユーザーに届けていくっていう視点っていうのが、
私としてとても重要な観点で仕事をしております。
ありがとうございます。
その観点でいうと、今回募集開始したAI検索エンジニアっていうのも、
お客さんの実案件入ってきて発生したニーズみたいなのがあって募集開始したって感じなんですか?
はい。AI検索エンジニア、私がこれ必要だよねって言って立ち上げたポジションなんですけど、
お客様のドキュメントをうまく扱おうとしたときに、もちろん日本限らずどんな大企業、海外の会的を含めて、
多様なドキュメントを用意してますと。
それが契約書だったり提案書だったり決算書だったり、いろんなフォームがあると思うんですけど、
LALMで扱えるっていうのって、結局ユーザーにとって見つかったドキュメント、
その場にあるドキュメントでしかないっていうのは課題だと思ってます。
ただ、どんなドキュメントでも過去に作ったものっていうのをベースに新しいドキュメントを作っているとか、
それこそ新しい契約書を作るっていうときにも、以前こういう契約の内容だったから、
みたいな感じで書くよねっていうような作り方ってよくすると思うんですけど、
そういった過去に作ったドキュメントや過去の参考になるものっていうのを適切に見つけてきて、
それをソフトウェアの中に、LALMのワークフローの中に組み込んでいくっていうことを考えると、
ドキュメント検索であるとか、もしくはマルチモーダルに画像を含めた、
もしくはグラフを含めた検索っていうのがうまくできないと難しいっていうことで、
検索エンジニア、特にLALMのシステムの中で使われる検索っていうのをうまく作れる人っていうのを募集し始めております。
今回のAI検索エンジニアの検索っていうところは、
対象はドキュメントワードとかExcelとかPowerPointとかPDFとか、
そういうものが対象っていう感じですか?
もうちょっと色々検索したいものがあるんですよ。
ビジネスドキュメントっていうものとしてPowerPoint、ExcelやPDF、マークダウン、
マイクロソフトドキュメントみたいなものっていうのもある、
お客様が実際直接使うのは多分その辺りだと思っております。
そういったものを大量にあるドキュメントっていうのを適切に検索する。
その中にあるテキストだけじゃなくて、
例えばグラフであるとかっていうのも、
実際に欲しいものっていうのを適切に見つけてくるっていうのも、
もちろん重要な検索のファクターだと思っております。
その一方でもうちょっと深掘って、
LAMの世界における検索っていうことを考えたときに、
検索したい重要なファクターとしてプロンプトっていうのがあると思います。
過去にこのユーザーはこういったプロンプトでAIとやり取りをして、
こういったアウトプットを出してきた。
もしくはその結果っていうのはあまりかんばしくなくて、
うまく使いこなせてなかったっていうものであるとか、
そのユーザーのリクエストの履歴であるとかっていうもの。
っていうのがLAMの世界には存在して、
そのときに新しいプロンプトを投げたときに、
過去のコンテキストであるとか、
ユーザーがこういったものを求めているみたいな傾向っていうのを、
さらにうまく使っていくことによって、
AIの挙動であるとか、
もしくはAIの中で作る、
AIエジェントみたいなものだと、
AI同士がやり取りをしながら、
プロンプトを作りながら結果を求めていくんですけど、
そのプロンプトっていうのをうまく作るためのコンテキストであるとかっていうのを
検索できるようにするっていうのも、
このAI検索エンジニアに求めたい業務として考えております。
こういったLAMの世界だからこそ発生する検索で、
このLAMっていうのがより広がっていけば、
多分そういった検索のニーズっていうのはどんどん広がっていくし、
今やっていくっていうのは、
多分ファーストペンギンというか、
誰もやったことない新しいものを作るっていう世界になってくると思うので、
そのあたりにチャレンジングな魅力を感じていただけると幸いです。
面白いですね。
プロンプトの検索とかコンテキストみたいな感じで、
この世の中の流れとして、
LAMを使っていくっていう流れはすごいトレンドだと思うので、
みんな使っていくんですけど、
それがユーザーの人が自分でプロンプトを書いて、
意識しながら使うのかとか、
裏側で使われてるからあんまり意識しないけど、
LAM使ってるよねみたいな感じになる。
両方あると思うんですけど、
そうなってくると結構前のいいプロンプトを探してくるとか、
パーソナライズされたその人用のコンテキストを含めて検索してあげるみたいなのが
すごい面白そうだなっていうのは思いました。
そうなってくるとここのポジションで求められる役割みたいなのって
素養というかこういう経験ある人みたいなのとかってあったりしますか?
ありがとうございます。
検索っていうものを軸に仕事してきているっていうのは
もちろん求めたいんですけど、
検索っていうのも本当にいろんな種類があると思ってて、
昔ながらっていう言い方ではないと思いますけど、
ECであるとかブログみたいなものにおける検索っていうものだと、
例えば全文検索っていうものがあって、
コンテンツに対して適切な検索クエリで検索できるっていうもの、
それをより早くかつ適切に検索結果を出せるっていうのが
一つの重要なファクターだと思っております。
その一方でLLMの世界だと、
ほとんどのLLMのバックエンドで使われている検索って
ベクターサーチみたいなものが主流になっていて、
そのベクターサーチっていうのをうまく使うっていうのも
やっぱり求めたいスキルセットだと思っております。
全文検索がうまくできるときとベクターサーチがうまくできるときって
それぞれ一長一短がある仕組みだと思ってるし、
さらに言うと画像であるとかグラフであるとかっていうように
テキスト以外の検索っていうのもうまくしていかなきゃいけない。
それももちろん類似画像検索的にベクターサーチで
ビジュアルデータの検索の可能性
画像っていうのは検索できるっちゃできるんですけど、
その中にある例えばグラフの意味であるとか見た目以上の何かっていうのが
実際の検索の世界、ビジネスにおける検索の世界で発生することになるので、
そういったグラフの意味認識っていうものを含めた検索っていうものができると
すごいプラスアルファだと思っております。
確かに企業の成長を表すグラフみたいなのを探したいってなったときも
折れ線グラフで探すのかとか、あと決算資料によくあるような棒グラフが
指数関数的に伸びてるやつを探すのかみたいなのでも結構
それをちゃんと意味捉えて探してくれって言うと難しそうです。
そうなんですよね。グラフを見た目だけで検索すると、例えば
地方の人口の比率みたいなもので真ん中に山があるみたいなグラフっていうのと
月ごとの売り上げっていうのはやっぱり真ん中に山があるようなグラフっていうのが
あったとして、それ両方とも見た目は同じだとしても意味は全然違くて
人口推移みたいなもので検索したいときに
前者の地方の人口みたいなもののグラフは見つかってほしいですけど
後者の売り上げ推移みたいなものってやっぱり見つかってくると
これ違うよねってなりますと。そういった何かを検索する
特にコンテンツみたいなものを検索するときにはそこには意図があって
それは人間の場合には見た目よりも多分テキストで表現する。
テキストで表現されたコンテンツ、グラフであるとか画像であるとか
テーブルみたいなものっていうのをうまく検索できると
さらにビジネスのシーンにおいてLMをさらに活用していくであるとか
そういったコンテンツを活用していくっていうのが
発展していくんじゃないかなっていうので
そういった検索っていうものを全文検索や単なるベクトルサーチじゃなくて
それからさらに一歩進んだような検索っていうのができると
世の中のLLMによる効率化っていうのを進んでいくと思っております
AIワークコースの展望
今までのテキストをトークンに分けて
それでインデックス作ってみたいな検索をさらに一歩越えて
そういうマルチモーダルも含めた検索みたいなのが
AI時代の検索みたいな
それを一緒に作っていきましょうっていう感じですかね
そうですね
実は前職が画像生成動画生成やってる会社だったんですけど
やっぱりそういった検索っていうニーズがすごいあって
ユーザーに提供するっていうのも
リサーチャーが欲しいデータを探すための検索だったんですけど
その時にもテキストでこういう画像が欲しい
それに対してやっぱりテキストと画像っていうのが
ひも付けられたデータに対して検索していくっていうような
シーンがよくありました
そういったものって調べてみるとそれっぽいのはあるけど
ピンポイントでこれっていうようなライブラリーがあるわけでもないし
技術的にはある程度組み合わせていけばできるっていう
世界にはなってきてるので
そういった新しい検索の姿みたいなものを
楽しんで作っていける方がいると
私としてもすごい一緒に働きたいなと思っております
すごい面白そうですね
面白いんですよ
実際面白いですよ
ぜひぜひ
こういう議論部内でもすごいいつもやってるし
これからもどんどん盛り上げてやっていきたいなっていう感じなので
これを聞いてくださっている方でも
ぜひ我こそはという方お声掛けいただけると嬉しいです
ぜひぜひよろしくお願いします
カジュアル面談からでもぜひ呼んでいただけると幸いです
ちょっと話を変えてになるんですけど
もうすぐ去年の夏頃にAIワークコースのリリースを出したので
そろそろ1年経つかなと思うんですけど
渋井さんが入って2ヶ月っていう目から
新たな目から見たAI LLM 事業部
どんなフレーズに見えてますか
まだまだ成長中というかやることあるなというか
完璧じゃないよなっていう率直な意見です
AI LLM 事業部としてAIワークコースというのを中心に
プロダクトを作ってお客様に売り続けるという
そうだと思うんですけど
どんなプロダクトでも
今のお客様の課題に答えて
使い続けていただくというのと
さらに違うお客様にも魅力的に移って
お客様を増やしていく両方が必要なものだと思ってます
前者については今AIワークコースというのは
ある程度の課題解決には応えられていく
一方で後者の方については
まだまだより広いお客様に広めていく
広めていくということは導入は楽
かつ分かりやすいというのが
常に必要なプロダクトのファクターだと思っているので
そういった分かりやすい使い方
LLMという技術的に色々と難しいところがあるけど
それを例えば技術に明るくないユーザーが
すぐ導入して使って
自分の仕事を効率化して一層化していく
というような世界になっていくと
もっとビジネスとしても広がっていくし
個人的にも面白いなという風に考えているので
こういったLLM事業部 AILLM事業部というのの
フェーズをさらに発展させていく
のが今というので
ぜひ新しい姿 新しいLLMの使い方というのを
考えられる方と一緒に働きたいなと思っております
AIエージェントの未来
ありがとうございます
そうですね まさに我々
住宅開発というよりはしっかりプロダクトを
自分たちのプロダクトを作って
それを色んなお客さんに
ご導入いただきましょうという形で作っているので
LLMを使うデファクトじゃないですけど
そういうのを作れていけたら
すごいワクワクするし面白いですよね
面白いですよね
最後になんですけども
渋井さんが今後このAILLM事業部で
やっていきたいことがあったりしますか
本当にいろんなことがやっていきたいんですけど
今 AIエージェントというのが
世の中で広まっているブームなのか
一家制のブームなのか
今後も続いていくものなのかというのは
ちょっと分からないですけど
流れはあると思うんです
そのAIエージェントというのを
プロダクトの中でうまく組み込んで
お客様の価値にしていくというのは
その一つです
ただそれだけじゃなくて
AIエージェントの次
もしAIエージェントというのは
実は難しいけど
こういったやり方だったらうまくいくみたいな
新しいAIやLLMの使い方というのは
多分世の中この技術について
価値はあると思っているので
そういったものを見つけていくみたいなことも
やっていきたいと思っております
あとはそういった新しいものを
見つけていくような
R&D的な仕事というのも
今 AILLM事業部として
やっていこうという兆しはあるので
その一つとして
先ほど申し上げたような
プロダクトをうまく検索するような
仕組みというのもあれば
先週だった間に
私がブログを書いたんですけど
AIのワークフローというのを
自動生成するような
AIを作るというものであるとか
そういった技術的にチャレンジングで
届きそうで届かないところというのを
到達していくような仕事というのを
ALLM事業部で実現して
それをお客様の価値にしていって
その価値によって
レイヤーXというのが
さらに発展していくような
仕事をしていきたいなと思っております
ありがとうございます
そうですね 現状だとかなり
エージェントを本番の業務に使おうとすると
制御がすごい難しくて
かなり我々ワークフローに
ワークフローで少し予測可能な形で
お届けすることが多いので
ここでさっきの渋井さんのブログにあったような
ワークフローの自動生成とかやって
ちょうどあれですよね
そろそろ成果が見始めると噂があるんですが
そろそろレポート書いて
それがOKそうだったら
Ai Workforceに組み込んでいきたいな
というふうに思っています
お客様自身の価値もそうですし
我々自身の価値にもつながる部分あるかなと
思いますので
すごい楽しみにしています
最後に簡単で大丈夫なんですけど
一言皆さんに何かメッセージあれば
渋井さんお願いします
AI LAM事業部
AI検索エンジニアに限らず
本当にやることが多くて
まだまだチャレンジングな
自分を育てる場
かつ自分の価値を世の中に出していく
チャンスはいくらでもあるので
ご興味ある方いらっしゃいましたら
ぜひ弊社にジョインしていただけると幸いです
よろしくお願いします
皆さん本当にお待ちしております
では今日のレイヤーXナウ
以上としたいと思います
渋井さんあと聞いてくださった皆さん
ありがとうございました
ありがとうございました
