オープニングと論文紹介
みなさん、こんにちは。B-Testingのブロッコリーです。 この b-testing.fm は、QAエンジニアである私、ブロッコリーが、テストや品質に対する私なりの考えを、約10分間で語っていくポッドキャスト番組です。
最近、前回まで状態遷移テストの話をしたりとか、やっぱりこのポッドキャストのメインテーマであるテスト、特にテスト設計技法の話が多く公開していたと思います。
今日は、そこからちょっと一歩外れて、最近といっても今年5月なので、もう数ヶ月経ってしまったんですが、今年5月に公開された海外のペーパーがちょっと興味深いものがあったので、それを紹介していきたいなと思います。
テストも実際リリースするまで、もしくはリリースした後も含めてですけど、開発の中の活動の一つではあるわけですけれども、テストに限らず品質っていうところを改めて考えさせられるようなペーパーがあったので、それを紹介していきたいなと思います。
ということで、今回もbtesting.fmスタートです。ということで、今日は海外のペーパーから持ってきて、紹介・説明をしたいなと思います。
AIコーディングツールの世代分類と論文概要
タイトルは、Lightning Code vs. Shipping Code Productivity Effects Across Generations of AI CodingTools という英語名になります。
直訳すると、記述するコードとリリースされるコードについての話を書いているっていう話ですね。
特に、AI コーディングツールの世代間における生産性にどういうふうに影響があるのかっていうのを書かれているペーパーになります。
このペーパー自体、そのまま引用して、いつものようにスライドに載せるっていうのは難しいなと思っているので、今回はスライドは特になくて、後頭でのいろいろな説明になるかなという感じになっています。
ここでまず言っている、AI コーディングツールの世代間っていうのは何かっていうと、3つの世代が紹介されていまして、
一つ目がオートコンプリートですね。コーディングをする上で、自分でコードを打ちながら、部分的に保管してくれるような使い方のAI コーディングツール。
そして二つ目が対話型のコーディングエージェントですね。実際にエージェント側にこっちから投げかけて、それに対して対話があって、こういう形でいいですかね、こうした方がいいよっていうのを対話していって作り上げていくコーディングエージェントですね。
最後三つ目が自立型のコーディングエージェントですね。こっちからこういうものを作りたいっていう話をしたら、後はコーディングエージェントの中で自分で考えてどんどんどんどん作っていくみたいな、そういうものの世代間、三つの世代についてのコードがどれぐらい書かれていって、それがどうリリースまで持っていっているのかっていうのが書かれているペーパーになります。
これメインだけで45ページあるペーパーになります。その後補足のコンテンツとかもあって、それ全部足すと97ページまであるんですけれども、それを全部は紹介はもちろんできないので、その中でも自分が思ったものを今回は紹介していきたいなと思っています。
AI導入によるコード生成量とリリース量のギャップ
今回紹介を主にしたいのは二つですね。まず一つが、実際にコーディングをしていったときに、それがどれぐらいの生産量というか、どれぐらい変化があったのかっていうのをこのペーパーの中では研究として調べています。
具体的にどういうふうに調べたかというと、いろいろなコーディングエージェントが使われるようになって、それを利用開始前というか、そこを100%として見たときに、コーディングエージェントを使ったときにどれぐらい量が増えたかっていうのを調べているんですね。
利用開始直後はちょっとばらつきがあるので、それを利用開始から20週から30週経ったときを比較対象としています。利用開始前と利用開始後20週から30週経ったときを比較してどうなっているかっていうのをこのペーパーでは調べています。
その中でも、ペーパーの中の図8に書かれている内容がまず興味深かったなと思っています。何かっていうと、さっき言った3つの世代の中の対話型のコーディングエージェントですね。こっちと人間側とコーディングエージェントで対話をしつつコードを作っていくみたいな、そういう形においてどのように変化があったかっていうと、
まず変更の行数ですね。変更の行数はプラス741%つまり元々が100%なので、大体変更の行数は約8.5倍になったっていうふうに調査の結果出ています。
それがファイルの変更数としてはどうなるかっていうと、プラス187%大体約2.9倍になって、それがコミット数で見るとプラス109%つまり約2.1倍になっていきます。最初は変更行数としては約8.5倍あったんだけれども、それがコミット数っていうところをくくりで見ると約2.1倍になるよと。
これから考えられることとしては、そもそも1コミットあたりの変更行数がすごい多いっていうのもわかるし、そのコミット数もすごい多いっていうのがわかります。そこからさらにプルリクエストの作成数でいくとプラス65%。2倍を切って1.6倍、1.7倍ぐらいまで減っていきます。
そこからさらにリポジトリの反映数でいうとプラス26%になり、最後リリースがどれくらいかっていうとプラス20%までつまりコーディングエージェントを使う前は100%だったとしたときにリリースしているのは120%になりますよというふうにだんだんリリースするまでに数が減衰していっているっていうのが調査の結果わかりましたっていうふうに書かれています。
これは今対話型のコーディングエージェントの例を紹介しましたが、これが他のオートコンプリートの形であっても自立型のコーディングエージェントにおいても同様の減衰傾向があるっていうふうにわかっています。
これが標語のところに書かれているんですけれども、変更行数として先ほど対話型のコーディングエージェントの場合は約8.5倍っていう話をしましたが、
それが自立型のコーディングエージェントの場合だと約7.6倍になります。
オートコンプリートの場合はちょっとそもそもが少なくて約2.3倍になります。
それがファイルの変更とかコミットとかあった上でのプルリクエストの作成数になるとどうなるかっていうと、先ほど対話型だったらプラス65%まで減ったよっていう話をしましたが、
自立型のコーディングエージェントだとプラス72%でオートコンプリートだとプラス11%までしか増加していないっていうところになります。
つまりこれ標語のところでは他のコミット数とかそういうところも載っているんですが、それは詳しくはまたペーパーを見ていただければと思うんですが、
オートコンプリートでも対話型のコーディングエージェントでも自立型のコーディングエージェントでも同様の減衰傾向が見られるよっていうことがこのペーパーから読み取ることができます。
アプリ公開数の急増と使われないアプリの増加
あともう一つ注目してみたいなと思うのが、それでリリースがちょっと増えましたと。それをリリースしたとしても、そのアプリが実際に利用者にどう使われてるかっていうところで言うと、
そもそも利用者に認知されてなかったりとか使われてない現状っていうのも見えてきていますっていうのもペーパーで書かれています。
特にダウンロードがされない、もしくはダウンロードがされても評価もされないようなアプリが増えているっていうのが紹介されています。
それがペーパーでいうと、ズー12のところに書かれています。
ズー12を読み取ると、まずアプリの公開数ですね。公開数でいくと、iOSのアプリとAndroidのアプリとChromeのWebストアについて調べているんですが、
iOSのアプリはコーディングエージェントが使われるようになる以前は、だいたい月に3から5万件アプリが公開されていました。
それがこのコーディングエージェントが普及されてからは、月10万件ぐらい公開されるようになっています。
つまり1月あたりの公開数が2倍から3倍ぐらいまで増えたっていうところがあります。
ChromeのWebストアも同様の傾向が見られます。
ちょっと意外だったのがAndroidアプリですね。
Androidアプリはそもそもコーディングエージェントがこういうふうに使われる直前まで、実はそもそも減少傾向にありました。
それがコーディングエージェントが使われるようになってから増加傾向に転じています。
ただ転じているだけで、iOSのアプリとかChromeのWebストアほどの顕著な増加は見られていないっていうところがあります。
ただ3つとも言えることとして増加傾向にある。
iOSアプリとか2倍から3倍まで増加している傾向にあるっていうのがわかります。
一方でアプリの使用数っていうのはどうなのかっていうところで言うと、
これはiOSもAndroidアプリもChromeのWebストアもどれも横ばい、もしくは少し減少したりしてるっていう現状があります。
ということは公開数はすごい増えてはいる。
けれども使用数は横ばいっていうことになると、あまり使われてないっていうことがわかります。
公開した分だけ使用数も増えていればいいんですが、
使用数っていうもともとのπは変わってないところに公開数が増えているので、
それを奪い合いしてるっていう状況が見て取れます。
それを実際に数値として表しているのが評価数もしくはダウンロード数のところですね。
まずiOSのアプリですが、おそらくこれiOSのアプリはダウンロード数を取得できなかったのかなと思うんですが、
ペーパーの中では評価数で尺度を見ています。
そうするとiOSで評価数が10未満のアプリっていうのがどれぐらいかっていうのを調べていると、
評価数が10未満のアプリはコーディングエージェントが流行して使われるようになる前は、
全アプリのだいたい79%が評価数が10未満のアプリでした。
そこからこういうふうにコーディングエージェントが使われるようになってから7ポイント増えて約86%が評価数が10未満のアプリでした。
つまり全体の中であまり評価されないアプリが増えている、割合が増えているというのがわかります。
あとChromeのWebストアですね。
ChromeのWebストアもダウンロード数で見れているんですが、ダウンロード数が10未満のアプリというのがコーディングエージェントがこういうふうに流行る前は約18%だったのが、
コーディングエージェントが使われるようになってから31%まで増加しました。
プラスの13ポイント増加したということになります。
Androidは先ほども言ったように、そもそもアプリの公開数がすごい劇的に増えたわけではないというところも影響していると思うんですけれども、
ダウンロード数が100未満のアプリというのは、わずかな増加しか見られなかったというところがあります。
なのでちょっとAndroidのアプリは傾向が特殊なところはあるんですが、
iOSもChromeのWebストアも結局公開数はすごい増えているけれども、
使用数が横ばいでみんなで同じパイを取り合っていっている結果、
そもそも使われないもしくは評価されないアプリが増えているというのが見えてきたということがわかりました。
結論と開発における品質管理の重要性
ということで結論としては、結構作り始める部分としては手軽に作り始められているというのが多いかなと思っています。
身の回りとも開発者じゃないけれどもアプリをつけてみましたみたいな事例はよく聞くんですが、
じゃあそれが実際に運用としてリリースまではどうなっていくかというと、
劇的に増えているかというと、ちょっと減衰はしてきていますと。
とはいえコーディングエンジェントできる前に比べたら増加傾向にはある。
ただし増加がプラス20%ぐらいで増加したとしても、
それで実際にリリースしたとしても結局使われていない、
そのアプリを使ってもらえていないものがどんどん出てくるという現状になるかなと思います。
ということはこの結論から考えられることとしては、
そもそもリリースまで品質の良いものをちゃんと見ていく、
人間の手で確認をして持っていくというところで言うと、
単純にコーディングエンジェントに任せればいいだけではなくて、
やっぱり減衰してより質の良いものを出そうという努力は見られるし、
ただそれをリリースして終わりではなくて、
ユーザーにいかに使ってもらえるような状況にするかというのがより大事だなというのが、
このペーパーで数値で表せてみることができたかなと思っています。
非常に参考になるペーパーだなと思っているので、
ペーパー自体は40ページを超える長いものであるんですけれども、
今回紹介したような図8とか図5とか図12あたりのところを読んでいただいて、
こういう傾向なんだっていうところを掴んでもらって、
ご自身の職場とか組織での開発においても参考にしてもらえる資料になるかなと思っています。
エンディングとリスナーへの呼びかけ
ではエンディングです。
btesting.fmではリスナーさんからのお便りを募集しています。
エピソードの感想や私に聞いてみたい質問やテストのお悩みなど、どんなことでも構いません。
投稿フォームは番組概要欄にあります。
エピソードの感想はハッシュタグBテスティングでXのポストをお願いいたします。
今日の話題で実際の海外のペーパーを紹介しましたが、
これを聞いてご自身の今の職場の感覚と照らし合わせてみて、
これ確かに似たような感覚を数値で表しているななのか、
うちの職場はそんなことないんだけどなとか、
そういう話も感想でもらえると嬉しいなと思っています。
もしもこれからも聞きたいという方は、
お手持ちのPodcastアプリで番組のフォローもお願いします。
最新回が上がったときにすぐに気づけます。
今日は突発的に海外のペーパーを紹介しましたが、
こういうふうに突発的に紹介したりとか、
あとは普段のようにテスト設計技法の説明解説をしたりとか、
定期的に行っていますので、ぜひフォローしてもらえると嬉しいなと思います。
ということで今回はここまでです。
それではまた次回。バイバイ。