00:07
皆さん、こんにちは。B-Testingのブロッコリー です。このB-Testing.fmは、QA
エンジニアである私、ブロッコリー が、テストや品質に対する私なり
の考えを約10分間で語っていく ポッドキャスト番組です。ということで
2月最初の放送になります。1月分 なんですが、実は1ヶ月分ため撮り
をしていました。どんな反応がある のかとか、もしくは全く反応がない
のかとか、それ以前にちゃんとポッドキャスト をアップロードして公開できるのかな
とか、すごいドキドキしながら収録 をしていた思い出があります。前回
までは品質やテストの話、自己紹介 を第1回でした後に、品質やテスト
の話をしていましたが、今回はQA エンジニアのキャリアに関する
お話をとある別のポッドキャスト を聞いていて、そこから連想して
話したいことが出てきたので、それを 話していこうかなと思っています。
ということで、今回もbtesting.fmスタート です。ということで、今回はQAエンジニア
のキャリア、特にAIに関わるキャリア の話をしていこうかなと思っています。
今回、この話をしようと思ったきっかけ なんですけれども、伊藤佳紀さん
がやっているポッドキャストですね、 テストオフキャストに、伊藤佳紀さん
がQAエンジニアの仕事は今後AIで どうなるんですかっていうような
質問に対して考えを述べられていました。 その中で話していたのが、まずそういう
質問を受けたときによく言う回答 として、求められるものが変わって
いくので、それに対応しないとね みたいに回答をすることが多い
と思うんですけれども、それそう じゃなくて、まず生成AIがどうこう
じゃなくて、通常のキャリアのリスク ヘッジとして、自分の仕事がなく
なったらどうなるんだろうっていう 考えを持てばいいというような
意見を言っていました。それが AIがどうこうではなくて、あくまでも
自分の仕事がなくなったらの一つ のきっかけとして、生成AIとかが
あるんじゃないかなっていうような 考え方ですね。じゃあ、今後QAは
AIでどうなりますかっていう質問 は、この株、今後儲かりますかっていう
のを投資の専門家に質問している のと似たようなお話ですよっていう
話をしていましたね。その投資 の専門家がこうだよって言った
として、じゃあ本当にそれが確実 に起こるかっていうと、そうじゃない
03:01
よと。それと同様に、AIでQAはどう なりますかっていう質問に、もし
答えたとしても、それはある程度 の不確かさがあるので、もちろん
心配はする必要はあるとは思うん ですけれども、過度に心配する必要
はないかなと思っていますっていう のを伊藤佳紀さんがご自身のポッドキャスト
で話されていたんですけれども、 じゃあそこに対して自分なりの考え方
をお伝えします。現状のQAに対する 私から見た評価なんですけれども、
実はこれ3年前に発表をしたことが あるんですね。AIによる手装設計
作成の現状を評価するというスライド を公開はしています。概要欄にリンク
を張っておく予定なんですけれども、 この発表の中でいろいろとこの部分
がまだテスト設計としてはうまく いってないよねとかっていうところ
を書いていったんですけれども、 現状はこれ多分QAエンジニアの
レベルとしては新人から中堅ぐらい かなというふうに思っています。
もちろんAIのバージョンってどんどん 変わっていってます。3年前だと
チャットGPT4でしたが、それはもう バージョンが今変わってはいます
が、けど実はテスト設計に対する レベル感っていうのはあんまり
変わってないなと感じています。 じゃあ何でこのレベル感が変わらない
のかっていうことを考えるにあた って、LLMがどういう仕組みかっていう
ところを考えていこうかなと思 うんですけれども、このLLMの肝
というブログ記事から抜粋して 紹介しますと。例えばLLMに226-68
を計算してくださいっていうふう に投げたとして、じゃあそれはどう
やって答えを出しているかっていう と、実際に計算をして158って出して
るわけじゃないよっていう話が 書かれています。いくつかのニューロン
があって、例えばある一つのニューロン が226-68を計算したときに150から
180の間ぐらいなのかなっていうの を見て、その間にあったとき発火
するみたいなニューロンがあった としますと。そうするとそれが
発火しただとしたら、じゃあ150、 150、152って180までの可能性が上がる
よ、出力確率を上昇させます。他の 例えば1から10の間にあるときに
発火するっていうのは発火しない ので出力確率は上昇しない。1から
10は上昇しないとかになります。 また別の捉え方、思考の仕方として
もっと10で割ったときの余りが8 になるよっていうときに発火する
ようなものがあったとしますと。 そうするとじゃあそれが発火したら
8、18、28で998ぐらいまでのそれぞれ 8で8が余りのやつの出力確率が
06:07
上昇するみたいな、こういうニューロン がたくさんあるわけですね。そうすると
226-68を入力したときにそれらが 発火した積み重ねが大事ですよ
と。そうすると先ほど言った例 だと158が回答なんですけれども
150から180のやつも他の確率は同様 に増えるけれども8が余りのとき
には150とかは発火しないわけですよ ね。逆に998とかは8が余りのとき
には出力確率上昇するけれども 150から180の間のときには発火してない
のでそんなに高くはならない。この 場合も発火するっていう積み上がる
回数がいろいろな軸で見たときに 158が一番積み上がっているから
じゃあこれが158が答えなんじゃない かっていうふうに推測して出している
っていう話が書かれていました。 これらってまさに失速演算は厳密
に解いているわけではないんですよ ね。その荒い条件を評価してそれを
積み重ねている。それによって 真の回答を浮き彫りにしている
っていう話が書かれていました。 単純な規則演算でさえこうなので
じゃあテスト設計してください っていったときにどうなるかっていう
ふうに考えるとそもそもじゃあ こういう軸で見たらこういう出力
になるよっていうのがまだまだ 積み重なってないのが現状なん
じゃないかなと思っています。 つまりこのAIに対してはまだそもそも
のインプットとしてテスト設計 に対する学習があまり進んでない
ように個人的には考えています。 あともう一つあるんですけどある
話としてはそもそも非総称であった りとかテストどうするんですか
っていう話は何をもってこれが 担保できるのかっていうような
回答を出すものに今みたいに確率 論として推論で出していくっていう
のと相性があんまり良くないかな っていうのが正直なところです。
その上で別の伊藤純一さんのブログ の記事から持ってきているんですけ
れども今のAI生成AIってどうか っていうと自分のスキルとイコール
かもしくは一段上までのお願い だといいんだけれども自分たちの
能力を超えるような飛び越える ようなお願いはろくな結果を生
まないというようなことを記事 で書かれていましたしまた和田
タクトさんですねT和田さんはスライド ご自身の発表スライドの中で分からない
ものはAIが出したものに対して そもそもどういうことか理解できない
ものはレビューもできないですよ と。生成AIによって労力は概中できる
09:00
けどそれの能力を概中するのは 難しいですよという話をされ
ていました自分もまさにそうだ と思ってはいますとただこれを
考えたときにじゃあテストとか いう部分はどうかなって思っている
ともともとT和田さんであったり とか伊藤純一さんの考えっていう
のは開発の実装面を想定している お話なんですけれども開発の実装
に限らずそうかなと思っています とただテストの話になると途端
に先ほどT和田さんのスライドから 抜粋した分からないものはレビュー
もできないっていう話が抜けちゃ ってとりあえず開発は自分でも
考えられるけどテストはとりあえず AIにやらせればいいよねみたいな
話AIにすがりたくなるような話 っていうのはよく出てくるのが
現状かなと思っていますとそう ならないためにもそもそもテスト
ってどういうことなのかっていう のは考え続ける必要があるかな
と思っていますしまだまだ学習 としてまだそんなにAIとして取り
込まれてないような気がするので なので私の意見としてはまず現状
あるテスト技術っていうのはAIを これから使っていくにしてもやっぱり
きちんと磨くことは大事かな と思っていますその上で後々AIに
任せるっていったときにじゃあ そもそも今やってるテスト設計
ってどういうことなんだろう自分 は何ができるのかっていうのを
言語化するっていうのはすごい 大事なことかなと思っています
ということで今回はこの生成AI 時代に入っていく中でQAエンジニア
の仕事は今後AIでどうなるのか っていうことについて考えを述べ
ていきましたなのでただここに 書いているように生成AIとか関係
なくテスト技術っていうのはやっぱり 学ぶべきかなという今までの考え
とあんまり変わらないかなと思 っています
ではエンディングです btesting.fm ではリスナーさんからのお便り
を募集していますエピソードの 感想や私に聞いてみたい質問や
テストのお悩みなどどんなこと でも構いませんxでハッシュタグ
btesting banscotestingでツイートを お願いしますまた投稿フォーム
もPodcastのトップに用意しています ので自分の発言っていうのを知ら
れたくない方とかはぜひそこから 投稿をお願いしますあとはそれ
以外にも今日の話で言うと生成AI の中でのテスト設計について自分
は語ってみましたけれどもちょっと ここよく分かんないんだけどとか
自分はこの意見ちょっと違うと思 ってるんだけどみたいなそういう
意見ももらえると嬉しいです もしもこれから聞きたいという方
12:06
今回2月初めの放送ですけれども 今までも放送はしてますしこれから
も放送していこうと思っています のでぜひこれからも聞きたいという
方はお手持ちのPodcastアプリで番組 のフォローもお願いします更新が
あったときにすぐ通知が飛ぶよう になると思いますのでぜひフォロー
よろしくお願いします ということで 今回はここまでです
それではまた次回バイバイ
