A/Bテスト

A/Bテストを実施する理由は？ #

パーソナライゼーション実施後、体験の効果を検証したい場合、A/Bテストをご活用して頂ければ簡単で素早く効果を検証することができます。本文書ではA/Bテストの実施方法ををご紹介いたします。

A/Bテストのパターン追加 #

新規からA/Bテストを作成するか、または既存体験にテストパターンを追加することができます。「体験を新規作成」>>「A/Bテスト」を選択して、既存パターンもしくは新しい体験から作成するから開始してください。

新規で追加
「体験を新規作成」を選択し、A/Bテストで実施したい内容を選択してください。
もしくは以下画像のように体験編集から、既存体験にA/Bテストを追加することも可能です。テストパターンまたは「オリジナルとしてテスト」からコントロールグループを追加してください。クリエイティブ作成はこちらへ

Tip：テストパターンで設定したデバイスは、オリジナルパターンにも適用されます。

その他設定 #

クリエイティブ設定完了後、配信割合や最小テスト期間、勝率などA/Bテストの詳細設定を行えます。

配信割合
均等配信：配信割合はデフォルト均等配信となりますが、その他カスタムとスマート配信も設定できます。
カスタム：パフォーマンスの良いパターンに対しトラフィックを増やしたい場合、カスタムより調整できます。
スマート配信：Ptengineバックエンドのアルゴリズムに任せ、最もゴールに到達する可能性が高いパターンを自動配信します。
最小テスト期間
この期間が経過するまで、テスト結果の判定は表示されません。これは、時期的な要因で結論が出されることがないようにするためです。少なくとも7日間テストを行うことをお勧めしますが、曜日や祝日といった時期が影響しないと判断した場合は、もっと短くすることができます。
体験配信の最小テスト期間はデフォルト7日間となります。実際のサイト状況やトラフィックなどに合わせて期間を自由に調整できます。

勝率
この設定は、あるバージョンが優位であると判定されるために必要な最小の勝率を定義します。高いスコアを設定した場合、より多くのデータを収集する必要がありますが、テストの精度を高めることができます。テストの厳密さのレベルや取得できるトラフィックの量に基づいてスコアを設定しましょう。
体験配信の勝率はデフォルト95％となります。実際のトラフィック量に応じてスコアを調整することができます。

結果分析 #

A/Bテスト実施完了後、A/Bテストの結果を分析してみましょう！A/Bテストの結果により複数パターンのどちらパターンの効果がよかったかを簡単に判断できます。

Note：データ量が少ない場合分析を行っても、参考になる結果ではないため、データが蓄積されるまで少々お待ちしましょう。