キャンペーンレポート-A/Bテスト編

Warning：こちらの記事では、2021年12月まで提供していた旧バージョンの Experience におけるA/Bテスト分析の方法をご説明します。それ以降にご提供の Experience 2.0 をご利用のお客様は、こちらの記事をご確認ください。

十分な分析をするためには、ある程度のデータが蓄積されてから分析を開始しましょう。A/Bテストをまだ設定していない場合は、まずABテストを作成してください。

キャンペーン管理画面から確認 #

キャンペーン一覧リストから該当するキャンペーンを指定し、「展開」をクリックしたらABテストの結果を確認できます。

上記画像のように、一番左にあるアイテムはサムネイルです。クリックすると各パターンをプレビューできます。左の遷移リンク、もしくは右のQRコードを利用して、プレビュー環境にてキャンペーンをリアルに確認することができます。

Note：
1、リンクの有効期間は4時間で、03:59:56以降URLは無効になります。
2、プレビューモードは該当クリエイティブ内に設定されているトリガー条件も適用されます。
3、現在のクリエイティブ内容が適用されます。内容を変更した場合、URLを再生成してください。

キャンペーン詳細レポートにて確認 #

該当するキャンペーンをクリックすることでキャンペーンレポートに入ります。
「概要」部分の一番下にパターン別の指標データを詳しく確認することができます。各パターンにおける「配信割合、表示、クリック、取り消し、平均訪問時間、平均ページビュー数、直帰率」などの指標があり、更にゴール設定している場合有意差検定（以下で紹介します）の結果あります。どのパターンの効果やパフォーマンスがよかったを一目瞭然で確認できます。

有意差検定
パターンAとBの結果の差が信頼できるかを統計学の有意差検定を用いて判断できる機能を有意差検定と言います。
下の図で説明します。疑問符にマウスを合わせると有意差検定値が表示され、更に信頼できる差なのかを明記します。

Tip：ゴールが設定されている場合、Ptengineは自動的に有意な差が計算されます。簡単に説明すると、信頼度は95％～100％の範囲内でしたら、テスト版とオリジナルトに有意な差があることがわかります。95%以下でしたら有意な差ではないため、各パターンの内容調整を推奨します。

また「レポート」部分ではパターンに分けてトレンドデータと詳細データを見ることができます。更に詳細データでは「表示ページ、デバイス、流入元、訪問種類、地域、ユーザーラベル」次元で各指標のデータを確認可能です。