日本最大級のエンジニアコミュニティQiita プロダクト開発部部長の清野俊文です。
この番組では、日本で活躍するエンジニアをゲストに迎え、
キャリアやモチベーションの話を深掘りしながら、エンジニアの皆さんに役立つ話題を発信していきます。
前回に引き続き、ゲストは、AWSジャパン 技術統括本部 シニア機械学習デベロッパーリレーションズで、
Qiitaアカウントネーム icoxfog417さんこと久保隆宏さんです。よろしくお願いします。
よろしくお願いします。
久保さんとお送りする2回目のテーマは、技術ドリブンvs顧客ドリブン 生成AI時代のプロダクト開発です。
2回目のテーマは、デベロッパーリレーションズというところもそうですし、
AIみたいなところについてお話を伺えたらなと思っております。
1回目から改めてにはなってしまうかもしれないんですが、現在のAWSさんでのお仕事についてお伺いしてもよろしいですか。
そうですね。私はAWSの機械学習領域のデベロッパーリレーションを担当してまして、
もちろんAWSのサービスというのを分かりやすく皆さんにお伝えするために、
ブログであるとかイベントの登壇をする、あるいはビジネスの方にどうして生成AIに取り組むべきなのかみたいなところをお伝えするというところもやっていて、
なるべく生成AIというのを皆さんの業務とか、あるいはプロダクトに活かしてもらうにはどうしたいのかというノウハウを伝えるという活動をしていると。
そこから得られてくるフィードバックというのがあるので、サービスチームのほうにしっかり伝えて、プロダクト自身の改善を図っていくというのが主なお仕事ですね。
ありがとうございます。まさに機械学習というところとデベロッパーリレーションというところをうまく、
機械学習というものをうまくデベロッパーリレーションというところでいろいろな人に伝えていくというところが仕事としてされているってことですね。
これももしかしたら改めてにはなってしまうかもしれないんですが、1回目のお話だと、いわゆる機械学習を始めたきっかけっていうところは、
DISさんの中で研究というところで始めたってお話あったと思うんですけど、そこを今キャリアとして、一個軸としてずっとやっているという中で、
いわゆる機械学習ないし、AIみたいなものの面白さみたいなところを、くぼさんがどう感じているのかみたいなところをお伝えしたいなと思っていて。
そうですね。機械学習AIの面白さは2つあるかなというふうに思っていて、1つは純粋にこれまでのシステムと挙動が全く違うっていうところがあると思っていて、
普通のソフトウェアってプログラミングしたとおりに動くって当たり前の話ですけど、機械学習っていうのはデータを入力してデータによってモデルを作って、
その結果モデルが推論をするというところで、大まかに見れば人間にはどういう挙動をするか予測がつかないっていうところがあって、
そこが普通のソフトウェア開発とは違った特色だし面白さかなというところですね。
もう一個はやはり進化が激しいっていうところですね。
どれだけキャッチアップしても抱えきれない情報というのが山のように出てくるというところもあるので、
私も論文結構ヘビーに読んでいた時はありますけど、何本読んでも論文読んでも全体像が理解できないっていうしかどんどん広がっていくという、
本当に技術の最先端にいるっていう、そういうところも一つエンジニアとして面白さを感じられるポイントかなというふうに思いますね。
ありがとうございます。まさにやっぱりAIの面白さってそういうところなんだろうなというのは、
僕も大学時代とかはちょっと勉強したりしてたので、そこら辺の面白さはすごい分かる一方で、
ここはちょっと気になるなというところで言うと、生成AIはもしかしたらまたちょっと違うかもしれないですけど、
いわゆる機械学習って当時ってすごい手法とかがいろいろ出てきてて、
それでいろいろこういうことができるようになったというのが出てきている一方で、
それを例えば世の中に活かすとか、それでビジネスに活かすというところが結構やっぱりいわゆるソフトウェアとは思いますね。
結構やっぱりいわゆるソフトウェアとはまた違った難しさもあるなと思っていて、
そこら辺のまさにTISの中では研究もされてたというのはある一方で、
最終的にそれをビジネスに活かすというところもスコープとして入ってたんじゃないかなと思っているので、
そこら辺の難しさってどうだったのかなというのをお伺いしたいなと思うんですけど、どうでした?
そうですね。機械学習をビジネスに活かすことの難しさというのはどちらかというと、
デベロッパーリエーションを担当してから感じることが多かったですね。
というのも、AWSのサービスって一般の人が普通に使ってサブスクリプションするという感じとは少し違って、
本格的にシステムを開発する方がどちらかというと使うというところがあるんですけど、
機械学習領域のデベロッパーリレーションとして皆さんにAWSのAI MLのサービスを使っていただくというふうに考えると、
AI MLっていうのがいわゆる本番業務とか本番のプロダクション環境で活かされる状況っていうのをどんどん作っていかないといけないという話になるんですね。
それに対して現実はどうだったかというと、機械学習のプロジェクトって約80%が失敗するというふうに言われているんですけど、
やはりPOCで止まったとかですね、やはり機体精度が出なかったとか、やはり本番で稼働してみたら、
そういうようなドリフトが起きたとかですね、本当にトラップが多くてですね、
知っている方は機械学習の隠れた芸術的スタイルという論文とかを読んだことがある方もいらっしゃるかもしれないですけど、
とにかく落とし穴が多いテクノロジーで、どういうふうにこの機械学習というところを組み入れたりとか、
ビジネス的にも技術的にも組み入れていくと本当に活かせている状態なのかというのは、
むしろAWSのデベロッパリエーションとして担当してからのほうが考える機会は多かったですね。
そうなんですね。やっぱり難しさというのは実際あるというところはある一方で、
そこに対して何ですかね、エンジニアとしての効力感というか、
ある意味でのちょっとした80%がうまくいかないという前提の中での虚しさみたいなのって感じたりしないですか。
虚しさはあんまり感じることはなかったですね。
もし私が機械学習エンジニアで、自宅とかプロダクトの開発をしていたら、
また俺の作ったモデルが入らなかったで、すごい泥棒を感じるというところはあったと思うんですけど、
私はデベロッパリエーションの職で、どちらかというとプロダクトマネージャーの方とかにアプローチをして、
そもそもARMLっていうのがプロダクトにどういう風な価値を与えるのかっていうところを、
どういう風に考えていくのかみたいな、そういったようなワークショップであるとか、
あとは説明講演みたいなところをよくしていたので、
あんまり自分のモデルが無になったっていう経験がなかったからっていうのはあるかもしれないですね。
ありがとうございます。
ただ、私がそうしてプロダクトマネージャーの方とかにアプローチしたりとか、
機械学習を用いたプロダクトの開発をサポートするワークショップとかを開発して提供しているんですけど、
それが虚しさを感じるエンジニアたちを少しでも救えていたら、本当にそれは嬉しいなっていう風には思いますね。
ちょっとまた具体の話になっちゃうかもしれないんですけど、
AIを活用してうまくいくものと80%うまくいかないものっていうのがあるときに、
それを生んでしまう要因というか、何がうまくいってるとうまくいくのか、
何がうまくいってないから結局80%失敗してしまうのかみたいなところをもうちょっと改造であげたいなと思ってて、
そこら辺でどうなんですかね。
これは生成AI含めてっていう話ですけど、
まず成功の定義がはっきりしないっていうのが一番良くないパターンですね。
成功の定義っていうのはですね、実は人によって違うっていうところが少々あって、
例えば機械学習モデルを組み込もうとしている研究開発部門であれば、
モデルができたっていうのが成功なんですよ。
とはいえ、実際のプロダクトを作っている人は売り上げが伸びないと成功じゃないというところがあったりして、
そうした連携する部署間での成功の定義のクイッチっていうところが、
成功の指標の定義を難しく知ってるっていうところがまずあるかなという風に思います。
最終的なビジネスのアウトカムを成功にするっていう話になると、
やっぱり組織間で結構連携が必要というところがあるんですね。
やっぱりモデルを作ってるっていうところになると、
テクニカルなモデルの制度とかっていうところに話が行きがちなんですけど、
制度が100%でもこれ儲からなくないですかみたいな話が結構あったりしてですね、
機械学習のモデルの開発に慣れてる人、ビジネスをうまく考えられる人、
それをアプリケーションの体験として落とし込める人とか、
いろんな人が連携しないと成功にたどり着けないっていうのが、
たぶん機械学習、あるいは生成を使う上での根本的な難しさとしてあるかなっていう風には思います。
ありがとうございます。
今お話の中にあった成功っていうものをどう定義していくかってところと、
やっぱりロールによってそこの成功の意味が変わってくるみたいなお話を聞いてて、
まさにそうなんだろうなっていうのは思っていて、
それって機械学習もそうだと思うんですけど、
いわゆるリサーチ部門とプロダクト部門みたいなやつでよく発生するすれ違いに近いなって気がしてて、
その現象って、リサーチ側としてはいいモデルが作れたら成功だけど、
それが使えなかったらプロダクト側的にはそれは成功じゃないみたいな、
それ逆もしかりだと思うんですけど、
そこら辺の組織のコンテキストの変えりというか、そのギャップすれ違いみたいなものって、
まさにいろんな組織のところでワークショップをされていると思うので、
いろいろ見ているかなと思うんですが、
どうやってそこを歩み寄っていくといいのかとか、
どうそこを擦り合わせていくといいのかみたいなのって、
何か今までの経験の中での知見とかであったりしますか。
会社のカルチャーとかプロダクトが目指していく方向性とかっていうのが、
その紙に書いてある画面とかじゃなくて、
人とかプロセスの面で本当に徹底されているかどうかっていうのが、
やっぱり一つキーになっているかなっていうふうには思いますね。
モデルを作っているデータサイエンティストも、
誰に価値を届けるために今こういうモデルが必要で、
そのための精度が何パーセントぐらい必要なのかっていうところを理解しているし、
ビジネスサイドとしてもそのモデルを入ることによって、
どういうふうに差別化されて、
どういうふうに継続的に例えばデータを貯めて、
より顧客の体験を高めていくのかっていうロジックが、
そのモデルの精度が改善するっていうのと、
ビジネスの成長が行われるっていうのが、
ちゃんと比例関係にあるっていうところのロジックが頭に入っているかどうかっていうところが、
ベースとして共有している会社としてのミッションとか、
プロダクトとしての目指すところっていうのが、
全員共有されていて、
いろいろ専門知識は違うけど、
全員同じ方向を向いているかどうかっていうのが、
結構大きな決定要因かなっていうふうには感じますね。
ありがとうございます。
本当にそれこそ組織間での目標みたいなのもそうですけど、
よりコンセプチュアルというか、
結局自分たちが何を価値として提供したいんだっけとか、
それで何を実現したいんだっけみたいなところを、
もうちょっとすり合わせていったりすると、
そこを分解したKPIベースとか、
そうですね。
組織が大きくなると、
やっぱり部門ごとに独立した目標数値っていうのが決められて、
その目標数値っていうのが、
本当に会社が達成したいことのために連携しているんだっけっていうのが、
多分トラックするのがどんどん難しくなってくるっていう、
現象が発生しますねと。
そうですね。敷地はもう本当に単純に下がりましたね。
逆にやっぱりそういう時代に入っている中で、
生成アイに取り組めていないっていうのは、
それ自体が何て言うんですかね、
何かに出遅れている可能性があるみたいなのもあるんですかね。
そこはそうだと思いますね。
生成アイ自身も、いわゆるインとアウトのチャット型っていうところから、
だんだんアウトする情報っていうのが、
システム理解可能なJSONとかの構造化データになって、
構造化データと連携できるよねっていうふうな形になって、
ツールユースが生まれて、
ツールユースができるっていうんだったら、
自律的に行動させることができるんじゃないかっていう形で、
モデルのリーズニング性能が上がったこともあって、
今エージェントっていうところは出てますけど、
一口に生成アイって言っても、
すごい応用の幅が長くなっていると思っていて、
今は生成アイで、生成アイってチャットっぽいやつだろうみたいな、
っていうところからすると、
この1,2年で本当に入り口から出口、
出口というか最先端までめちゃめちゃ距離が空いたなっていうところがあるので、
なるべく早く取り組みに越したことはないっていうのは、
一つ言えるところではあるかなと思います。
ありがとうございます。
もう大体、それこそ、
AWSさんのイベントとか行くと、
生成アイはプロダクションに組み込むのが当たり前じゃないですか。
それに近いニュアンスみたいなのを、
結構おっしゃってるところも多いなと思っていて、
僕もそれを聞きながらすごい焦っているんですけど。
実際、僕たちKiritaもいろいろ取り組んでいく中で、
ちょっと悩ましいなって思っているのが、
生成アイっていうものを活用したいって思って、
いろいろ試すっていうのはやっている一方で、
それっていわゆるエンジニアリングのアンチパターンとは言わないですけど、
プラクティスとしての技術ドリブン的な感じになってしまっている。
手段が先行していて、何を作るかが後になっているみたいな。
それって一昔前はあんまり良くないよねみたいな感じで、
何を作るかにフォーカスしようよみたいなのを、
結構そういう言説みたいなのが流行っている時期だったと思うんですけど、
逆にやっぱり生成アイって、逆にそれをどう活用していくかっていう、
ちょっとある意味での技術ドリブン的な考え方も必要になってきているなと思っていて、
結構僕自身はそこの考え方のシフトみたいなのが、
やっぱりすごい難しいなって思ったりするんですけど、
生成アイ時代での生成アイの活用みたいなところって、
どういう考え方でいろいろ向き合っていけばいいのかみたいなところを
もしアドバイスがあればお伺いしたいなと思ったんですけど。
これは結構難しいテーマだと思いますね。
AWSとかAmazon自身はワーキングバックワードっていって、
お客様の喜んでいる姿から逆算して物事を作っていく、
いわゆる顧客基点で物作りをするっていうのが徹底されているというところなんで、
そういう意味ではプロダクターと技術がこういうのができるから、
ちょっと出してみましたっていうところからは、
かなり遠いっていう考え方をしているっていうのは一つあるし、
それがAWS Amazonに限らず、
一つベストプラクティスとして徹底されてきたというところはあると思います。
ただおっしゃる通り、
生成アイの領域ってすごいテクノロジーの進歩が早くて、
こういうことができるようになりましたっていうふうな、
いわゆる技術ベースのアプローチっていうのも一定考慮に入れておかないと、
そもそもどういう価値が届けられるのかっていうと、
このチャンスを見逃してしまうんじゃないかっていうところは、
一つ大きい課題としてあるんじゃないかなというふうに思います。
なので今のポイントっていうのは、
エンジニアがもっとプロダクト作りに関わるっていうところが、
一つ大きいポイントなんじゃないかなというふうに思います。
こういうことができるようになりました、こんなことができますっていうのを、
どんどんプロダクトマネージャーとかビジネスの企画の人に、
恐れずインプットしていくっていうところの文化が必要だなというのは、
個人的には感じるところです。
なんか一分かし前だと、
こういうの作っていました、技術を使っていましたっていうと、
いやいや出たよそれ、エンジニアの悪い癖みたいな、クスクスみたいな。
そういう穿った見方をされてきたっていうのが、
ある意味不健全な雰囲気を生んでるかなっていうふうに感じていて、
エンジニアはエンジニアの立場からこういうものができたっていうのは、
積極的に伝えたほうがいいと思っていて、
そこに対して何かしら、
ある意味穿ったような見方をしているようなバイアスをかけるべきじゃないし、
今もっとお互いにコラボレーションする時期に来ている、
だなっていうのは、私は個人として感じるところありますね。
ありがとうございます。
じゃあこうある意味でやっぱりその、
技術取り分というか、