A/Bテスト分析

A/Bテストを実施したら、その結果を体験詳細画面の「A/Bテスト分析」から確認しましょう。この記事では、テスト結果の見方についてご説明します。

Tip：テスト結果の分析は、データが蓄積されてから開始しましょう
PtengineのA/Bテストは、基本的に「勝率」そして「最低テスト期間」というものによって完了、または継続を判断します。十分な分析をするためにこの 2 つの値を設定して、テストの精度を担保しましょう。詳しくはA/Bテストの実施方法の記事 > 「判定基準に関する設定」をご確認ください。

1. 評価指標を指定する #

A/Bテストの結果を確認するには、まず評価指標を指定しましょう。

ここでは、事前に体験に設定したゴールを選択できます（ゴールの設定方法はこちらをご確認ください）。

評価指標を選択すると、その指標を基にしたレポート内容が表示されます。

多くの場合、ゴールにはコンバージョンを設定しますが、ゴールには複数指標を設定することができるので、CTAのクリック率などマイクロコンバージョンも設定しておくと分析の幅が広がります。

2. 優位パターンを判定する #

上記のステップで評価指標を選択したら、テスト結果の詳細を確認します。
ここでは、優位パターンの判定ロジックを理解しましょう。

優位パターンを判定するには、レポートの「成績」と「勝率」を確認します。

成績とは
成績は、評価指標に対する基準パターン（Baseline）とテストパターンの差分を表示しています。基準とは、オリジナルページもしくは最初のパターンを指します。
例えば、体験のゴールとして「購入」を設定した場合、基準パターンのゴール到達率が4％でテストパターンのゴール到達率が5％だとすると、成績が25％になります。

勝率とは
勝率は、該当パターンが他の全てのパターンよりも優れたパフォーマンスを発揮する確率です。優位パターンを判断するための最も重要な指標です。
Ptengineでは、ベイズ統計学用いて勝率を算出しています。（最低テスト期間終了後、各バージョンの閲覧ユーザー数が100人以上、ゴール到達ユーザー数が30人以上で、かつ勝率が設定したスコア以上であれば優位と判定されます）

2-1. 優位パターンの判定ロジック #

以下3つの条件を全て満たした場合、該当するパターンを優位と判定して良いと判断し、テスト結果をレポート画面に表示します。

• 1いずれかのパターンの勝率が設定した勝率を超えること
  勝率はデフォルト95％として設定されてあります。また勝率の閾値は、右上の設定から「勝率」を変更することで変更可能です。
• 2最低テスト期間が経過すること
  最低テスト期間はデフォルトで7日間として設定されてあります。右上の設定から変更することも可能です。
• 3各パターンの表示ユーザー数が100人以上、そしてゴール到達ユーザー数が30人以上であること

Note：勝率や最低テスト期間の詳細はA/Bテスト記事をご確認ください。

2-2. 評価指標の長期的な推定値 #

ABテストの結果画面では、現在の評価指標の値だけでなく「長期的な評価指標の推定値」を見ることもできます。A/Bテスト結果表の「評価指標」の数値をマウスオーバーしてみてください。

「長期的な評価指標の推定値」とは、現在のデータに基づいて、長期的に予想できる評価指標の値を表します。青線が選択したパターンで、黒線がオリジナルパターン（Baseline）のゴール率の推定値になります。線にマウス合わせると各パターンのゴール到達率を確認でき、線のトップが最良推定値になります。

こちらの図は、長期的なゴール率の推定値のグラフです。

上の画像では、該当パターンのゴール率が 12.1% 〜 15.1% の間で推移する確率が 95% 、 13% 〜 14.1% と幅を幅を狭めるとその確率が 50%となり、最も優良な推定値が 13.6% となります。

推定値分布表の見方

• 1グラフが右寄りにあるほどパフォーマンスが良いと言えます（ただし、直帰率はネガティブな指標なので逆になります。評価指標を「直帰率」を選択している時はグ左寄りにあるグラフの方が優れています）。
• 2 2 つのパターン線が重なり合う部分が小さければ小さいほど、両者のパフォーマンスに優劣がつきます
• 3 グラフが鋭いほど推定値の確実性が高いです。また、サンプルデータが多いほど線は鋭くなります。

3. ドリルダウン分析による深い分析 #

優位パターンを見つけるだけでなく、ユーザー属性やその他の指標でドリルダウン分析することで、より深いインサイトが得られます。

Experienceのレポート画面では、体験を表示したページ別、流入元別、デバイス、新規・再訪ユーザー、地域別など必要に応じてテスト結果を表示することが可能です。

Note：ユーザー識別を活用すると、年齢や業界などの任意の切り口でデータを確認することもできます。

例えば、「流入元」のタブを見ると、キャンペーンXから来たユーザーがパターンAでのパフォーマンスが良い、一方でキャンペーンYから来たユーザーがパターンBでのパフォーマンスが良いという結果がわかります。

このような結果から、流入元別にページの出し分けをするなどパーソナライゼーションされた体験を提供するアクションに繋げることができるでしょう。

優位パターンを判定できない場合 #

体験を長期間配信しても優位パターンが判定できない場合、以下のように調整してみてください。

• 1ドリルダウン分析する
  サイトに訪問したユーザーはそれぞれ異なるニーズを持っている可能性があるため、ドリルダウンよりインサイトを深掘りすることができます。
  全体で優位パターンを判定できなくても、上記のようなインサイトが得られた場合、ユーザーに対してより適切な体験を提供できます。
• 2ヒートマップを確認する
  パターン別にヒートマップを確認することで、各パターンのパフォーマンスを直感的に把握できます。優位パターンを判定できなくても、特定のパターンにユーザーのアテンションが集中していることや、インタラクティブが多いなどのインサイトを得ることができます。
• 3ゴール設定を変更する
  設定した最終ゴールが、体験から遠く離れているかもしれません。
  例えば、ECサイトの商品一覧ページで最終ゴールを「購入」として設定したとします。そして、商品の特徴がより分かりやすくなるようなバナーを設置しA/Bテストを実施しました。しかし、ユーザーの購入行動を後押しする要素がバナー以外にもあると、当該ABテストでの優位パターンの判定はなかなか付きません。
  このような場合、ユーザージャーニーにおけるより手前の部分をゴールとして設定してみてください。例えば「詳細ページのクリック」や「カゴ入り」などを設定し、検証してみましょう。