00:06
はい、10月16日日曜日ですね。 地獄朝9時を回りました。
本日私は登壇2本あるんですけど、その片方のスライドの完成度がまだ70%ぐらいで、一応1時間喋ることはできるんですけど、
雑なスライドで1時間っていうのもどうなんだろうっていうのもあるし、結構超高者が多いんだろうなっていう予想もあるので、
割と緊張してますし、いやちゃんと作らなきゃっていう思いで、残り登壇までの時間追い込み頑張っていきたいなと思います。
はい、おはようございます。ひめめのきーすくんとくわはらです。
はい、では本日も朝活を始めていきたいと思います。 今日はですね、昨日読んでいた記事の中から、いろんなリンクがあったんですけど、
その中の1つだけ面白そうなリンクをたどっていって、知った知識の技術があるので、
技術でもないですね、記事があるので、それを読んでいこうと思います。
ちょっとね、古い記事なんでアレですけど、でも、割と面白そうというか、個人的には興味をそそられたので、ちょっと読んでいこうかなと思ってます。
はい、タイトルはAAテスティングへHow I Increased Conversion 300% By Doing Absolutely Nothingですね。
はい、ちょっと文字数足らなくてノーって止まってますけど、はい、ナッシングです最後は。
えーので、まあ絶対的なことはなかったということですね。
ただ、でも、あのー、コンバージョンが300%上がったよっていう風な、どういう風にしたのかっていうような記事の、読んでいこうかなと思ってます。
はい、ではでは早速入っていきましょう。
はい、えー、まあ深夜までスライド作ってたのでちょっと眠いんですけど頑張っていきたいと思います。
えー、企業家、志望者、まあ失礼ながら私自身回復途上の企業家ではありますが、が、えーと、A、Bテストの実行以上に好んで話すことはほとんどありませんと。
そうね、企業家の方々ってのは基本的にA、Bテストがすごく好きなんですね、っていう話をする人ですね。
で、テストを続ければ答えが見つかり、まあ夢のようなビジネスが構築できると信じているようです。
うーん、まあまあ、作った後とか、ものを作った後であればそれはもう改善サイクルに入るので、それはA、Bテストの話好きだろうという、いうか、まあA、Bテストばっかりやるんだろうなっていう印象なんかありますけどね。
はい、しかし彼らの多くっていうのは間違っています。彼らのビジネスの多くは、まあA、Bテストを全く行ない方が良い結果を生むのですと言ってます。
ほー、A、Bテストに対しての、まあアンチテーゼというか、一つの疑問を投げかけるんですね。
はい、で、私の無料メール講座で100文字ライティングの習慣見つけましょう。この申し込みはこちらと。いきなり、なるほどですね。宣伝を一応入れとくんですね。
100文字ライティングなんだ。えー、たった100文字のライティングだけど、でもそれをまあ毎日やってるなんてすごくいい、すごくいい話ですね。
いやー、その毎日日記をつけるみたいなことができてないので、日曜日記すら僕は最近できないので、はい、100文字日記ってすごく大事だと思いました。はい、余談ですね。
もしテストをするならば、A、Bテストではなくて、A、Aテストをすべきだというふうに言ってます。
はい、少なくともこのような起業家の多くっていうのは、A、Aテストを実行すれば自分のためになるはずです。
A、Aテストではテストの両方のバリアントに全く同じオプションを使用してテストを実行します。
03:01
そう、A、AテストではAとBに違いはないんです。馬鹿げてるように聞こえますが、結果を見るまではそうではありませんと言ってます。
今まだ内容まで入ってないけど、同じもの、バリアントに同じものを設定してテストをすることに何の意味があるのか。
それでも私のソロプレナービジネスっていうのは6桁の数字を達成することができました。
その間にこんな結果に出くわしましたよというところで、その結果っていうのがなんかツイッターの画像が貼られてますね。
えーっとですね、グループAとグループBっていうのがあって、You are eligible for the D4Hってのがありますね。
4つの、1つのDと4つのHか。で、ビデオベータプログラムっていうのがあるそうですね。
で、それに対していろんなスコアですね。メトリックス取ったっていうものを今表示されてます。
うーん、まあまあなんか、この先のお話でも出てきそうなので、いったんそんなもの出てるんだなっていうところですね。
多くの企業家、かつての私も含めてにとってこれはすごい開封数が10%増えたというふうに見えます。
一応画像の中ではその開封数が10%増えたっていうような感じのデータには見えますね。
彼らはそのビジュアルウェブサイト、オプティマイザーか、の優位性計算器にそれを打ち込んで、
Pイコール0.48みたいな数字が見えたかもしれません。
まあ統計的に優位であると、彼らもしくは私は叫ぶかもしれません。
はい。まあ企業家の方たちはそういういろんなものを打ち込んで結果数字が上がったらそれは嬉しいよねって感じですけど、
実際私がこのようなAAテストの結果を共有すると、多くの人が私を信じようとしませんでした。
彼らはこんなこと言うんです。
メールがどう違うんだと。そんなことはないでしょう。
送信時刻が違うのかと。それも違いますよと。
何を変えたんだっていうと、実は何も変えてませんと。
は?どういうこと?何も変えてないのに数字が上がるってどういうこと?
これはAAテストです。
全く同じメールを全く同じ時間にメール人数がABテストに使っている技術を使って送信したんですよと。
でもメール人数の技術はどうなんだそれはそれで問題ですけど、考えてみてくださいみたいな問いも投げられました。
統計学の専門家にとって、この結果は驚くべきものではありません。
開封時のコンバージョン率を考えると、サンプル数というのは信頼できる結果を得るには実は十分ではありません。
ここで起こっていることは、私たちが物事を測ろうとするときに、人間の弱い心が見せる愚かなトリックに過ぎないのですと言っています。
愚かなトリックね。
例えば十分なサンプル数があったとしても、時折偽の陽性とか偽の陰性というのが発生することは避けられません。
つまり誤った情報に基づいて、完全に誤った判断を下してしまう可能性があるんですよと言っています。
だから一概にA、Bテストでやった結果が良いかどうかというのはまだわからない。
誤っている可能性がある。もしくは偽のものであるという可能性があるわけですね。
で、AAテストで得られた驚くべき結果について聞きたいと思います。
8ヶ月間全てのメールに対してそのAAテストを実施した結果、ABテストの結果がいかに誤解を招きやすいものがあるかということを実感することになりました。
何も考えずに得た結果の一部をご覧ください。
06:02
さっきと似たようなグループAとグループBの比較表を見てますけど、
ラストミニッツライブチャットもしくはブロードキャストin10ミニッツですね。
10分間のライブのキャストもしくはブロードキャストをやってみたと。
終わり1分で見てました。
画像が貼られていてまたそれぞれのデータが出てるんですけど、わざわざ四角で囲われているものがあって、
読み方がわからない。レセピエントと読むんですかね。
Who openedですね。
あーなるほどね。受け取った人でオープンした人の割合を見ていて、
グループAが37.1%で、グループBが40.6%だと。
Bの方が大きいってことですね。
で、Aの方は20%クリックされています。
同じものをやったんですけど、もう1回やったのかな。
で、Bの方が上がったってことか。
なので、AからBに行った時に9%開封率が上がったっていうのと、
クリック率が20%上がったってことですね。
レセピテンスWhoClickedで3.4%から2.8%って言っているけど、
それはなんだ。20%increaseinclickって言うけど、
数字上20%上がってないんだけど。
これどういうことなんだろう。
アンスクライブレートですね。
ローアンスクライブレートなので、
もう高読しませんよっていう人の割合が減ったってことですね。
アンスクライブが68人かな。これ多分人数だと思いますね。
から45人に減りましたよと言っています。
それはすごい話だな。
で、最終的にですね。
Finally, an increase of 300%increaseinclick and all by simply doing absolutely nothing.
はいはい。
要は結局何もしなかったけど、クリック数の合計が300%改善したよってことですね。
NoABのリザルトですね。
56のAAテストのEmailキャンペーンというのをやって、
それの細かな数字のスプレッドシートが公開されてますね。
誰でも見るようにできてますよってことでした。
これも後ほどTwitterのリンクで共有しようと思いますね。
ここからちょっと解説のフェーズに入りそうですね。
で、一個一個いってみましょう。
Is it significant?
それは重要なんでしょうかってことです。
はい。
私は何時間もかけて記事を読み漁って、
信頼性が高く有意なABテストを実行する方法だけを学び、
この結論に達しました。
それはどうでもいいんですよと。
めちゃめちゃ面白いですね。
このセクションのタイトルもDoes it fucking matter?って書いてますからね。
ABテストに対してこの人は割とヘイト溜まったんですね。
これがそのIDFMの理由ですと言ってます。
理由1ですね。そのIDFMですけど。
ABテストは正しく膨大なエネルギーを要する重要な質問をして、
信頼できる結論を出すのに十分なサンプル数を使い、
しかも迷走する様々な方法が存在する中で、
それを実行するには多くのリソースが必要ですよと言ってます。
ABテストをやるんだったらそもそもちゃんと
エネルギーとかリソースコストをかけなきゃいけないってことですね。
もちろんその信頼できる十分なサンプル数が
09:02
そもそも必要だってところも結構大きいですね。
サンプルを得るためのリソースもかかるし、
それを実行するための費用も必要だし、確かにコストがかかりますね。
テストを統計して技術を導入して、
様々な選択肢を考え出さなければならないのがABテストだと言ってます。
無駄のない組織を運営しているのであれば、
このような労力に見合うケースはほとんどないでしょうと。
前は完全なAを作ればいいものを、
中途半端なAと中途半端なBを作る必要はないでしょうってのが本質だと言ってますね。
私は起業したばかりのソロプレーナーとして
ABテストを行うために使う心のエネルギーは全て、
私のビジョンをより明確に解釈した一つの選択肢を作るために
使うことができたというふうに気づいたところですね。
本質的には確かなAを作る方が良いという結論に達したというのがこの人そうですね。
続いて理由2 IDFMですけど、
ABテストというのはビジョンの代表にはなりませんというふうにおっしゃってます。
これ結構重い言葉だな。
有名な書籍ですね。021という書籍があります。
これすごい名著なんでぜひ読んでみてください。ピーター・ティール氏の書籍ですね。
021の中でピーター・ティール氏は
全身主義、つまりすでにあるものを改善することだけに取り組むことを今しめています。
もし企業家たちがあらゆることを推測してテストすることに傍達されているとしたら、
そしてしばしばそのテストに基づいて間違った決定を下しているとしたら、
それは人類にとって悲しいことですよと言ってます。
ABテストのカルトを生み出したリーンスタートアップムーブメントの先立つの一人である
エリック・ライズ氏です。
彼でさえ彼の著書、ザ・リーンスタートアップです。
春便性学者がA便性よりも計画の勝利を象徴するものとなったのである。
そしてそのような欠陥を修正するためにその後の運動が生まれなければならなかったのです。
というのがエリック・ライズが言っているリーンスタートアップという書籍でした。
多くの企業家というのはABテストを
企業家的なビジョンを持つことの代用品として使いたがります。
僕はあまり企業家を知ったことがないですけど、
企業家の方々は確かにABテストに対する意識とか感覚みたいな話
全然伺ったことがないので、それがちょっと気になります。
リーンスタートアップで紹介されたコンセプトが強力であることは間違いないですが、
一部の人はそれをやりすぎたり、ただただそのアイディアを間違って解釈しているんだよとおっしゃっています。
これは本当に悲しいことで、
どれだけ素晴らしいアイディアが検証され消滅してしまったのかと考えられます。
私の会社にはHow our world works、世界の仕組みという緊密な視点に目指した強いビジョンがあります。
私はCall to actionのボタンにどんな言葉を使うかを吟味するよりも、
その視点を磨くこと、歴史経済技術の投稿などを学ぶことに
エネルギーを使い実行することに興味があります。
続いて3つ目の理由ですね。
理由3 IDFMですけど、統計はあなたのコアコンピュータンスではありませんと言っています。
残念ながらウェブ上にはABテストに関する間違った情報があふれています。
大きく2つありますね。
信頼性の高いテストを行う方法を知らない企業か、
12:00
またはABテストが全ての問題を回避してくれると思わせて何か利益を得ようとしている人や会社、
テストツールを作っている、もしくはページビューを狙っているなどなどですね。
これは巨大な陰謀ではなく資本主義がどのように機能するかについてということだそうです。
なかなか難しいところですね。
この2つだそうです。
私が気づいたのは、信頼性の高いテストを実行したいのであれば、
情報はそこにありますよということだそうです。
それについて3つの引用が書かれていますね。
しかしそれは非常に複雑です。
それは私にとって自然なことではありません。
私は数学が苦手なのではありません。
2回言っているのは数学が苦手ではありません。
きちんとした訓練を受け、統計学を本当に理解している人でない限り、
テストの実行には注意が必要です。
それでもハンマーを持った人には全てが釘に見えるということを覚えておいてください。
それで理由4つ目ですね。
これは大きな違いであり、その時から勝敗が分かるようになるのだと言っています。
ただし実際に差が出るのは80%。
統計的検出力が80%であり、
有意水準が5%の確率で、
実際には差がないのに差があると言われることだそうです。
ROIの可能性をさらに低くするのは、
メールのクリックが必ずしも私のポケットにお金を入れてくれるとは限らないということですね。
見込み客のタイプによって行動が異なります。
例えば長いメールはクリック数が少ないかもしれませんが、
クリックされた人はより興味があり、より温かく、よりコンバージョンしやすい見込み客でしょうと。
過去のデータから、もし一通のメールで購買率を大幅に上げようと思ったら、
Aよりも70%多くコンバージョンさせるBを作る必要がありますと言っています。
私はGoogleではありません。
サンプル数があればJEDIのトリックをマスターすることも、
ベストプラクティスを用いて製品やサービスをより魅力的にすることに集中することもできます。
テストすべきですか?それは場合によります。
科学的手法の威力を否定することはできません。
科学的手法が正しく適用されれば、
ビジネスに関する重要な疑問が生じたときに、
企業化を導いてくれる貴重な存在になります。
ここでは、A、Bテストを実行すべきかどうかを判断するために、
いくつかの質問を自分自身投げてみましょう。
はい、いくつかあります。1、2、3、4つありますね。
1つ目、重要な質問があるでしょうか?
この質問に答えることは、テストを実行する能力に見合うだけのインパクトを与えられるか?
2つ目に、このエネルギーで他に何ができるでしょうか?
実験をすることと、想像性や先見性を発揮することは全くノーのモードです。
価値ある動作を得るためには、自分の気を散らしていないかを気を付けましょう。
3つ目、十分な規模のテストができていますか?
サンプルサイズ計算機にベースラインのコンバージョントレートと、
最小検出効果を入力し、統計的に有意になる可能性があるかを確認します。
4つ目、テストを本当に理解しているでしょうか?
A、Aテストを実行して、結果はいかに誤解を招くものかを感じ取ってみてください。
それでもテストする価値があると感じるならば、
以下のリソースを読んで、理解し信頼できるテストの実行方法を学んでください。
また、企業がテストを行う方法は他にもあることを心に留めておいてください。
15:03
私は、Let's try this and see how it goes then iterate testか、というのが気に入っています。
これは別の記事のリンクが貼られていますね。
続いていきましょう。
では、アインシュタイン、あなたはどのようにしていいテストを実行しているでしょうか?と入っていますね。
なぜアインシュタインか。
答えは、よくわかりませんと言っています。
実際、私は定期の用語や方法論のいくつかを乱暴に扱った可能性があります。
そこがポイントです、本当に。
世の中には、A、Bテストに関する正確な情報を提供しようと努力している人たちがいますが、
それを読まない人たちもいるようです。
ここでは、私が信頼でき、役に立つと思ったリソースをいくつか紹介していきましょうと言っています。
1つ目は、データがあなたに全く間違ったことをさせる方法というのが1つ目です。
もしこれらのリソースのうち1つだけを参照するなら、これを参照すべきです。
それぐらいいい記事なんだ。
成功した企業家であり、訓練を受けた統計学者、
WPエンジンですかね、ワードプレスかな、の創設者、
JSONコーンによる統計とテストに関する率直な意見です。
2つ目、A、Bテストをどのようにして実行してはいけないかという記事です。
テストを始める前にサンプルサイズを決定する必要がある理由と、
A、Bテストプラットフォームが偽の要請の割合を
指数関数的に増加させていく可能性がある理由というのが書かれているそうです。
3つ目、ベースレートが低い問題というような記事です。
上記の結果が有意であるように見えて、そうでなかったのはなぜでしょうか。
統計的な力について、また低い基本率のテストがいかに無駄であるかを学びましょう。
私はこの言葉が大好きです。
統計的現実についてしっかり理解していない人は、
A、Bテストを設計したり解釈したりすべきではないというふうにおっしゃっています。
最後の4つ目、
企業がいつも犯している12のA、Bスプリットテストの間違いというのが4つ目の記事です。
私の友人であり、コンバージョンの専門家である、
ピープ・ラジャーというのが、自身のブログでテストに関する堅実なコンテンツをたくさん紹介しています。
これは良い入門書ですよというふうにおっしゃっていますね。
It's ok not to testですね。
テストしなくてもいいんだよというお話も結論かな。
明快な答えが出るような信頼性の高いテストを実行するのはやっぱり難しい。
一方、0%コンバージョン率で300%増加しても0%であることに変わりはありません。
はぁ、結局コンバージョン率0だったら0に変わりはない。
製品をリリースしてください。
あなたのエネルギーは他のことに使った方がいいでしょう。
そして実際にDFMが完成してからテストを始めれば良いのです。
統計の専門家にならなくても別に良いのです。
いくつかのAAテストを行ってみてください。
その結果に驚くことでしょうと言っています。
はい、あとは色んなところのサンクスのリンクですね。
協力していただいた人のサンクスリンクが貼られていましたということです。
はい、以上で締められています。
何でしょうね、AAテスト。
結局本当に何もしてなかったところですね。
ABテストに対する過ちであったりとか誤認みたいなところの指摘を結構しているような記事だったと思いますけど
結局文脈とかどういう人に流すのかみたいなところですね。
18:02
によって全然変わるし、そもそもそのAAテストでやった結果ですね。
実際そのまま本番運用してみてその時に得られたデータで
数字上伸びていないように見えるかもしれないですけど
結果的に本番上位率があれだとしても
それは良質な、残った人たちは本当に良質な顧客で
その回復してもらった人はそのままサブスクライブしてくれるという可能性も全然あるということですよね。
なので一概にその数字が低いからといって
これが良くなかったって判断するのは想定だという話でもあるようなふうには感じました。
いろんな警告もありますけどね。
ただまぁAAテストをやった結果で実数字が出るんであれば
確かにやってみてもいいかもしれないですね。
この人はそういう実際に結果が出てますから。
とりあえずサンプル数が結局56通って言ってたので
それについてどうなのっていう別の議論もあるし
56はやっぱりそういう構想じゃないじゃんっていうおっしゃられる方も全然いると思います。
僕もそう感じました。
それを見てみるといいかもしれないですね。
結果はでもスプレッドシートでその結果が出てるので
これをどう思うかっていうのは皆さんの方で判断してあげるのがいいと思いました。
ただ僕はあんまりABテストをちゃんとやってなかったというのもあって
あまり今日の記事読んでて
すみません僕が理解しづらかったって正直あったりするので
あまりコメントできませんでしたが
何か参考になれば幸いです。
あとは僕が神々だったっていうのもあって
途中で意味わからなくなってる人もいると思いますので
皆さんぜひ読んでみてください。
じゃあ今日の話はこちらで以上にしたいと思います。
では終了します。お疲れ様でした。
