00:02
Product AI Talks。この番組は、ITスタートアップで事業作り、プロダクト作りに取り組まれている経営層の方をゲストにお招きし、
昨今のAIタイトルも踏まえた、AI時代のプロダクト戦略を深掘りする番組です。
番組へのご意見・ご感想は、Xでハッシュタグ、PA Underbar Talksをつけてお寄せください。
引き続き、estie取締役CTO岩成立さんをゲストにお迎えします。
後編では、まずAIプロダクトの品質保証から、現在社会人博士としてAI研究にも取り組む岩成さんに、
LAMの品質保証をどう担保するか、今後業界でもますます議論が盛り上がるであろうこのテーマを深掘りします。
そしてそこから話を広げ、AI時代にプロダクトの作り方そのものがどう変わるのかにも展開。
エンジニアリングから事業作りまで、CTOならではの手段でお話しいただきます。
ホストは私、グローブイスキャピタルパートナーズ、プレイジパルク堂真由と、前&カンパニー代表の宮田義孝さんでお届けします。
では本日もestie取締役CTO岩成立さんをお呼びしてお届けしたいと思います。
なりさんよろしくお願いします。
よろしくお願いします。
よろしくお願いします。
今回は後編の一つ目のクエスチョンとしては、なりさん10月から社会人博士に通われてるんですよね。
はい、自己紹介また言わなかったんですけど、去年の10月に社会人博士になって研究もちょっとやりながら社会人してるという形になっております。
ぜひそのあたりの、しかもAIの研究をされていると伺ったので、そのあたりの話も伺ってみたくて、
そもそもなんで社会人博士に進もうと思ったのかみたいな課題感と、実際今どんなことを研究されてるのか、それからまず教えてもらってもよろしいですか。
ありがとうございます。
そういう意味で言うと、結構究極やりたいから言ってるっていう感じなんですけど、
博士、人生でちょっと取ってみたいものだったみたいなところがあって、
昔、修士までは出てるんですけど博士は取ってなくて、それは早く働いて作りたいものがあったみたいなところだったりするんですけど、
それが人生でいつか取るとしたらいつなんだろうな、ST忙しいしなって思ってたところを、
AI、本当にどの会社でも必要になって、興味あったんでこれ研究したら一石二鳥じゃんみたいになったっていうのがあります。
たまたま去年AIラボ立ち上げて、いろんな大学さんと共同研究とかもしたりしてるんですけど、
その中で話した先生に社会人博士とかやってるんですかみたいなこと聞いたらやってるよって話だったので、
ぜひって言って準備して講述として入ったみたいな形になってます。
何をやってるかというと、AIなんですけど、AIの品質保証、LLMの品質保証みたいなことをやっていて、
例えばこれって最初の前編の方でもあったんですけど、
例えば賃料とかマッチングとか出てきたときに何でこうなってるかわからないときちっと使えなかったりする、
その解釈性みたいなところとか、あとは出力が安定しなかったりする、ここをどう安定させるかとか、
03:00
あとはセキュリティですね、うまく設計しないと何でもアクセスしちゃうと、本当は見てちゃダメなものが見えてしまったりするみたいなところとか、
それは実はプロタクトとして提供するときに、いろんなお客さんが使ってるときに他のお客さんの内容が見れたら一番やばいじゃないですかと、
そういうところも含めて品質を保証するっていう、品質ってかなり広い概念でめちゃくちゃ大事だと思ってるんですけど、
そこをちょっと突き詰めてみたいなと思って、
事業会社やってると、実はそこをどれぐらい突き詰めるか、それによってどれだけリターンが得られるかって結構説明が難しいんですけど、
研究として出るならいいじゃんって言えるなと思って、それもあって研究してみようと思って去年入ったって形になってます。
ちょまど このあたりこれからますます議論が盛り上がるところなんじゃないかなと思っていて、
実際、奈美さんも1月上旬のXの投稿でこれ読み上げさせていただくんですけれど、
サースプロダクトとAIプロダクトは、サースとパッケージソフトくらい別物、必要な認証認可だったり監視だったり、
多くのものが別物でやることが2倍になったと思った方が妥当って形で書かれていて、
まさにこのあたりってセキュリティとか品質保証みたいなところと絡んだきた上で投稿されてるのかなと勝手に思ったんですけれど、
実際そういった研究もされてる中でのビジネス上で何が一番変わったか、もしくは変わるべきかとか、
それはプロダクトの何が変わったからっていう背景として何があるのかっていうところを色々教えてもらいたいなと思っていかがでしょう。
ありがとうございます。ビジネス的な観点でいうと、AIが提供する価値がすごく大きいので、
AIを使わないところが本当になくなってしまったなという形だと思っていて、
どの企業でも本当にAIを使うのが当たり前になったと。
ただAIで、いわゆるAIというものとソフトウェア、サースみたいなものとでは、
例えば出てくる出力ってそれが確立的なのか、完全にロジックとして決まっているものなのかって違ったりするので、
担保するものが違ったりするとか、結構いろんなものが違う。
でももう全ての会社がやらないといけなくなっているって状態なので、
そういう意味でいうとかなりスコープが広がってやらないといけないことが増えた。
でも品質保証と言ったとしても、見ないといけないものって、
例えば今まではある機能を実装したときに正解が出てあって、
そいつに対して新しい出力になってますよねって確認すればよかったのが、
確立的に7割ぐらいあってます。これを出していいんだっけみたいな話に変わっているっていう世界だったりするので、
ここはかなり考えることもやることも増えているなと思っていて、
認証認可の言い方も、今ではユーザーがただログインして使えるプロダクトがあってっていうところだったのが、
じゃあエージェントが使える情報とかプロダクトって同じでいいんだっけとか、
そういうところも結構設計していかないといけないので、
そこはだいぶ考えることが本当に2倍になったなと思って発言したという形になってますね。
この辺、真正面からちゃんと向き合っている方って意外と少ない印象で、
そもそも、こんなにAIプロが出たらID管理するのも大変だし、
しれっと会社の個人情報入りのデータをアップロードしているやついないかとか、
06:02
本当は監視しないといけないだろうし、プロダクションとしてAI活用したときに、
さっきもおっしゃってくださったように、これまでさっさと確定的だったものが、
AI活用になって確率的なアウトプットに変わった。
じゃあ95%担保できてたらいいのか、8割でいいのか、それとも99.9%必要なのかって、
ヘルスケアの領域とかだったら結構シビアに評価しないといけないし、
逆にセールスとかMAの領域だったら意外と8割でいいっていうものもあったりするかもしれないみたいな感じで、
むちゃくちゃいろんな変数あるし、むちゃくちゃ管理しないといけないことが、
真面目に考えるといっぱいあるじゃないですか。
けど、あんま注目されてないというか、本当に分かっている人がちょっとずつ言い始めてるなっていう印象があるんですけど、
これって何でなんですかね。
難しいですね。今はそれこそAIのアップサイズというか、提供できる価値の大きさっていうところに注目されているのが大きくて、
それはそんな気もしてて、分かりやすく価値があるところをやったほうがいいし、
それこそサースと違って、サースでデータを貯めて、これから価値出るんでっていうところで地道にやってきたところが、
もうAIやるとまずアウトカムから最初から求められてみたいなところになってくると思ってて、
そうするとお客さんが求めてるもそうだし、まだデータのところは確かに難しいけどちょっと分からないから、
後でいいよみたいな感じになっちゃうのはあったりするかなと思います。
ただ、これは業界に、先ほど言っていただいたように違うかなと思っていて、
我々としては不動産業界の大手の方々とやっていくと、かなりセキュリティに気にされていて、
先ほど同じモデルを使っているっていうのをプロダクトとして提供していると、
他の会社の情報が出たら嫌だよねっていうのはあったりするじゃないですかと。
その領域ってめちゃくちゃ気にされているところだったりするので、
例えばデータはうちから出したくないよとか、
本社のモデルって学習されるんだっけみたいなすごい気にされるところだったりするので、
我々はここを結構気にしていて、お客さんにとっても安心して使えるものを作るためにはどうしたらいいんだっけってことを考えると、
内製化支援みたいなところに入っていったほうが、むしろお客さんのためになるんじゃないかっていうことを考えて、
外にデータ出したくないよって、出さなくていいですよ、
本社のインフラ上で構築をするっていうところを手伝いますよみたいなところをやってるっていうのは、
本質的に何が価値として提供できるかっていうことを考えたときにたどり着いた一つの方法みたいなイメージですね。
なるほどですね。この辺ってSaaSのときのセキュリティープロダクトとかいっぱい出たじゃないですか。
はい。
だからどっちかっていうと結構大きいシリコンバレーのスタートアップとかがガサッとしっかり作りきって、
エンタープライズ中心に対応しきるみたいなソリューションがメインで出てきたような印象なんですけど、
そういうプレイヤーって出始めてるって感じなのか、
それともAI結構グラデーションがあって業種だとかAIの活用の仕方によって
個社対応していかざるを得ないので今のエスティーさんみたいな対応をしているのか、
この辺の今後の見通しとか対応の仕方ってどうなっていくんですかね。
09:01
これは難しいですね。
セキュリティをしっかりやられている会社さんがやっている深さっていうのはそんなに簡単に真似できないところもあったりするので、
それは生きていくところかなと思いますし、
またちょっと違う話ですけど誰が責任を取るんだっけみたいなところにも結構かかってくるところがありますので、
各社さんが例えばやっていくって時も、
じゃあそれって今ではこのベンダーさんがちゃんと保証申し上げてたんだけど、
それじゃあどうなるんだっけみたいなところは別途あったりするので、
なんていうかシンプルにソフトウェアだけで収まらない世界、
どういう業界でどういうふうなところをちゃんと担保しないといけないかっていうところにかなり引っ張られるので、
唯一の正解は正直ないなと思っていますと。
あとは今度攻撃者側というかセキュリティの世界ってずっといたちごっこみたいな、
攻撃者と守る側のいたちごっこみたいなところだったりするんですけど、
最近は攻撃者側がエアやエチカって悪いものを作るみたいなこともあったりするので、
そうなってくるとよりこの戦いが大変になってきて、
セキュリティのさらに知見がある人がより活躍するというか重要になってくるみたいなところもあるなと最近思っていますね。
なるほどですね。対応していくのって結構大変ですね。
大変です。なのですごい大変になったようなかなと思っていて、
SARSだけではなくてAIになると本当に領域が広がるなと思っているという感じですね。
なるほどですね。
この辺りも誰がどこまでやるのか、すごい動きがこもこも激しそうですね。
はい。
ありがとうございます。
そういう中で2つ目のクエスチョンとして、エスチって結構エンジニア、
ナリさんも含めてエンジニアも結構事業づくり、プロダクトづくりに思いっきりお客さんのところに向き合いながら行っているイメージがあるので、
CTO目線での事業づくり対局感というところを伺いたいなと思っています。
これまたちょっとX拝借させていただいて、先日ナリさんが、これまでB2Bビジネスは業務フローを熟知しているユーザーに機能のあるべきを聞けた。
一方AI機能は業務フローを変えることがあるため、ユーザーが成果を知らない状況になる。
したがってB2CでのABテストのような複数のパターンをいかに早く検証できるかが重要に変わってくるっていう形で書かれていて、
これなんかすごい面白いなというか、事業の作り方というか、お客さんへの提起の仕方が変わってきてるんだろうなっていうのを改めて考えさせられたんですけれど、
改めてこの投稿された背景も含めて、AI自体のプロダクト作りで何が変わっているのか、一番変わったのかみたいなところを伺ってもいいですか?
ありがとうございます。これはAIエネベリングチームの活動の一つで、新しくAI機能というか価値提供をプロダクトでやろうってなったときに、
いろんな表現方法、UXがあったりして、今まではユーザーさんがそれこそExcelでこういうふうにデータ入力して、
こういうふうに分析したグラフを作って、こういうふうに意思決定してましたみたいなフォーマットがすごい決まってたりして、
我々としてはお客さんにこれどうですかねって言っていくと、いってよしよしお客さんが2Bだと判断できた。
なので意思決定が結構お客さんのフィールドワークがかなり重要だったっていうのもあって、これは結構2Cと違うところ。
12:04
2Cだとそれこそ本当に何が正解か分からないから、お客さんも分からないし、我々も分からないみたいになるので、
パターンをたくさん作って、本当に成果が出るものにABテストしていくっていうやり方が、
全職も含めて結構いっぱいのときだったかなと思うんですけど、かなり2Cと2Bのそういう意味での意思決定の方法が、
2Cだったら社内のブレインストームに入れて決まるところが、2Bだとお客さんにフィールドワークをもらった方がいいよねっていうところがあって、
我々としてはというか、僕としてはあんまり使われないものを作りたくは絶対ないなと思っていて、
どうやったらそれ最短で分かるかって言ったらお客さんに行けばいいっていうところもあったりして、
普通にお客さんに会いに行くというか、フィールドワークをもらいに行くっていうのを誰も彼も実はやってるっていうのが
2Cの戦い方かなと思っていますと。一方でAIを新しく組み込もうってなったら、
裏側で勝手にAがやってくれますみたいなことが発生するわけじゃないですかと。
今までのエクセルこういうふうにやってましたっていうフローがなくなって変わる。
それはお客さんも体験したことがない世界だったりするので、
これってどういうふうな形でやっていくとユーザーに一番価値を受けられるんだっけっていうのが、
お客さんの正解言えなくなってきたなっていうところが変わったところ。
そういう意味で、我々としても少し思考を変えてパターンをたくさん出していくみたいなことの
思考作業っていうのが重要になってきたなっていうのが、このツイートの背景にはあります。
これ実際に、とはいえAIによって開発工数自体も減ったから、
いろいろ作ってみるってことはしやすくなったんじゃないかなと思っていて、
実際エスティではいろんなパターン作ってみて、お客さんに当てていわゆるABテストみたいなものをやられてるんですか。
ここどういうふうに作り方して変えていったのかなと思って。
これ結構難しくて、2Dだと今度はちょっと戦い方が違って、
エンタープライズのお客様に提供してるっていうところで、ユーザーの数がすごいたくさんいるかって、
ABテストの統計的に有意なものになるかみたいなところは結構悩ましいところだったりするので、
そうするとフィードバックをもらう方法って、例えば対面で会いますっていう話になったりする。
そうなったら、実はそこでちょっと立足があったりするので、
それはパターンをたくさん作っても好き勝手に当てて、お客さんの時間もちゃんと貴重な時間をいただいているわけなので、
そこは結構バランスが難しいなと思って、まだやれてないところがたくさんあるなと思っていますね。
それを一定解消する方法としては、社内にドメインのエキスパートというか不動産業界出身メンバーがいたりするので、
そこで最初の短くできる検証をしているっていうのは、ちょっとエスティの強みだったりするかなっていうのはありますね。
やっぱりいかにドメインに深く入って、そこの業務フロー、慣れつを社内の蓄積していくかっていうところの重要性が、
プロダクト作りの観点でもより増しているってことですね。
そうですね。特にバーティカル、業界特化になってくると、一般の人というか不動産も分かってなかったりし、知らなかったりするので、
そこで何年かプロダクト作りしているみたいな人たちがだんだん知見をつけてやっていくっていうのは、かなり価値を出せるところだったりはするなと思います。
いやでも本当そうですね。モデルいじったり、少しAIの活用の仕方を変えたりってことがかなりクイックにできるようになった印象なんですけど、
じゃあ実際それレビューするにはどうしたらいいかって、そのドメイン、その業務に精通している人、
15:04
その業務の仕方に精通しているわけじゃなくて、業務上アウトプットとして出さないといけないものが、
ちゃんとレビューできるっていう能力が非常に高く評価される時代になったなっていう印象を受けてます。
で、ユーザーにどっぷり使っていただくには、それをなりさんもおっしゃられたように時間的制約とかもあったりするし、場所的制約とかもあったりするので、
社内にどれだけドメインエキスパートがちゃんと見極めてもらえるのか。
ここは何か一つスピードを速くしていく上で価値筋の一つなのかなっていうふうには思いますね。
あともう一個、ソリューションの提供をクライアントサイドに入り込んで構築するみたいな話もあったじゃないですか。
それってFD的な動きなのかなって思うんですけど、そういう動きの中で業務の一部かもしれないですよ。
深く知る機会って結構増えてきてるじゃないですか。
その辺からプロダクト作りへのフィードバックとか、新しいプロダクトアイデアのシーズがここから出てきたとか、そういう事例も出てき始めたりしてるんですか。
そうですね。去年とかソリューションたくさんやってみようってところで、半年で10とか結構プロダクト、ソリューションプロジェクトをやっていて、
自分も何個か入った、何個かというかほぼ全部入ってるんですけどやってて、
一個は例えば不動産取引みたいなところで、今では人間でやってて結構できなかった、やりきれなかった量みたいなところをAIによって、
先ほど言ったファジーな持ち方、緩めの持ち方をすることによってマッチングが例えばできたりとか、
そういう新しい価値提供、ソリューションみたいなのが見つかって、そこは単純にマッチングしても適当なのが出ちゃうんですけど、
不動産の知識を入れてうまいこと言って、毎章で例えばするとできるなみたいなのは入ってみないとわからなかったなっていうのはありますね。
そういう動きをうまくしてくださるエンジニアの方と、こう言うとあれかもしれないですけど、
昔ながらのSI的に入ってしまう方と結構経路がバキって分かれるのかなって気がするんですけど、
どういう方がそういう動きすると、すごい価値喪失者なって感じになるんですか?
難しいですね。言われたことだけをやるというのではないとか、何を目的としているかがすごく重要なのかなと思っていて、
今まではこういうふうな順序で業務をやっていたから、これを効率化したいんだよねって言われたときに、
やりたいことはこうする作業、時間を短縮することですってなったら、
それをそのまま実装してソフトウェアでやるから早くなりますよではなくて、
その最短経路、この時間を短縮するにはどんなことがあるんだっけって考えたら全然違うやり方ができると思うんです。
そこの違いはあるのかなと聞いていて思いました。
TOCのときも結構僕はそれを意識している気がしていて、全部をしっかり作る人は実はなくて、
コアとなるもの、例えば賃貸のマッチングみたいなときに賃貸の新しい候補が出るかどうかっていうのをやりたいんだったら、
18:01
別にソフトウェアをめちゃくちゃ外側に作るというよりは、そもそも今持っているデータでそういうことできるんだっけとかいうのをやって、
最後、システムにするときに結構重要だと思っているのが、ここを捨てていいって判断できることだと思っていて、
AIを活用して、バイブコーディングじゃないですけど、すごい量のコードを書いたときに、
全部をそのままプロタイプから一旦捨てて作り直そうとすると、
かなりこれっているんだっけみたいなのがすごい出てくるんですよ。
それをこれはいって、これは必要じゃなくてみたいなことが言えると、
かなり次のステップに進めやすくて、それは重宝する能力だし、
ドメイン知識があるとそれがしかも加速するので、ここはできるとすごいいいところなんだろうなと思っています。
なるほど、目的をちゃんと真摯に捉えて、
それに向かって最短クリッカーバランスパスで走り抜くって話と、
いろいろできるがゆえにちゃんと捨て切る判断をしっかりするってことですね。
なるほど、勉強になりました。
ありがとうございます。
じゃあ最後になりさん、今日はたくさんお話いただきありがとうございました。
最後に、もしエスティから採用だったりプロダクトだったり、その他イベントなどのお知らせがあれば、ぜひお願いします。
ありがとうございます。
今は規模100人ちょっと超えてきたところなんですけど、プロダクト数でいうと本当に10を超えるところになってきていて、
意思決定を我々が早くしないといけないと、
無動産協会の方々の後押しをするためには、我々が早く動かないといけないと思っているので、
事業部っていう形で会社を切り分けて30人ずつぐらいの組織3つぐらいでやってるみたいな形になっているので、
スタートアップ30人ぐらいの規模が3つあるような、それが相互に助け合いながらやってるみたいなちょっと変わった組織だったりするので、
ぜひ入っていただけると、実はいろんなところで活躍できます。
100人のうちの1人かというよりは、30人中の1人だったり、チームの1人だとして、
かなりプロダクトとか売上とか事業とかのインパクトも大きかったりするし、
そこは楽しんでいただけるところなんじゃないかなと思っています。
あとは先ほどFDEとか広さの話あったんですけど、これからは実は深さ大事だなと僕は思っていて、
広さはAAのおかげでもあって、実は誰でもできるようになってくるとかすごいある。
2年後に誰でもできるものではなくて、我々にしかできないものを作っているかどうかがやっぱりそういう威勢になると思っているので、
エンジニアリングっていう観点でも、我々しかできない領域、深さを出していこうかなと思っているので、
ある領域を鍛えたいなと思っている方、そういう方もぜひ来ていただけると楽しいのかなと思っております。
カジュアル面談とか、別に社会人博士の話でも何でもいいんですけど、ぜひ気軽に声をかけていただけるとありがたいなと思っております。
ご興味を持たれた方はどちらにご連絡するといいですかね。
そうですね。カジュアル面談エスティって知られていただくと出てくるので、それはちょっと見ていただけるといいのかなと思っております。
ありがとうございます。概要文にもそこのリンクを貼らせていただきたいと思います。
それでは本日はエスティの岩成さんにお登場いただきました。
ナリさんありがとうございました。
ありがとうございました。
ありがとうございました。
21:02
これからもプロダクトAIトークスでは、プロダクト、事業づくりに取り組む経営層の方をゲストにお招きし、
AI時代のプロダクト戦略を深掘りしていきます。
毎週金曜日に配信中です。
ぜひ番組フォローの上、ご視聴ください。