ITパスポート 2022年 問34

あるオンラインサービスの新旧デザインを比較する手法【ITパスポート 解説】

正解の理由

解法ステップ

1. 問題文の目的を確認する
   • 「どちらのWebサイト利用者がより有料申込みに至りやすいかを比較」とある → 2つ（または複数）の案を直接比較する手法が必要。
2. 各選択肢の目的を簡単に当てはめる
   • 比較・検証を行う手法は何か？ → A/Bテストを想起。
3. 実験手法の特徴を照らし合わせる
   • ランダムにユーザーを振り分け、指標（コンバージョン率）を比較するのがA/Bテストの特徴で、問題に合致する。
4. 結論
   • 問題の状況に最も適するのは ア（A/Bテスト）。

• 目的・仮説の設定（例：「新デザインの方が申込率が高い」）
• 指標の決定（コンバージョン率など）
• トラフィックの分割（ランダムにA群とB群）
• 並行稼働とデータ収集
• 統計的に差があるかを判定（有意差検定）
• 結果に応じて採用・廃止・追加検証

選択肢別の誤答解説

• ア：A/Bテスト（正解）
  • A/Bテストは、2つ以上のデザインや文言を同条件下で比較し、どちらがより成果（コンバージョン）を出すかを確かめる実験手法です。問題文の並行稼働・比較にぴったり合致します。
• イ：ABC分析
  • ABC分析（ABC analysis：在庫や取引先を重要度で分類する手法）は、売上や在庫の比率でA（重要）〜C（重要度低）に分類する管理手法です。商品の優先度付けや在庫管理で使います。今回の「2つのデザインを並行比較してどちらが有利かを検証する」用途には適しません。
• ウ：クラスタ分析
  • クラスタ分析（cluster analysis：似た性質を持つものをグループ化する統計手法）は、顧客を行動や属性でグループ分けするときに使います。どのグループが申込みしやすいか調べる用途には使えますが、今回のように「2つのサイトデザインを直接比較する」手法ではありません。
• エ：リグレッションテスト
  • リグレッションテスト（regression test：ソフトウェア変更後に既存機能が壊れていないかを確認するテスト）は、品質保証のためのテスト手法です。ここでの「どちらが有料申込みに至りやすいかの比較」目的には関係ありません。なお「回帰分析（regression analysis）」と混同しないよう注意してください（回帰分析は変数間の関係を見る統計手法で、用途がまた異なります）。

よくある誤解

1. 「A/Bテストは必ず2つしか比較できない」
   • 誤りです。A/B/nテストやマルチバリアントテストの形で複数案を同時に比較できます。ただし、案が増えると必要なサンプル数や解析が複雑になります。
2. 「少しの差でも短時間で結果が出れば勝ちと判断してよい」
   • 誤りです。訪問者数が少ない・短期間で結果を見ると偶然の差で誤判定します。統計的有意性（偶然かどうかの判断）と十分なサンプル数が必要です。
3. 「A/Bテストはデザインだけのもの」
   • 誤解です。文言、色、配置、料金プランの提示順など、ユーザー行動に影響するあらゆる要素を対象にできます。

補足コラム

• 統計的有意性と信頼区間（やさしく）
  • A/Bテストの結果を判断する際は「偶然ではない差か」を見ます。一般的に「p値」という値があり、これが小さいほど偶然の可能性が低いと判断します。企業やサービスによって「有意水準（例：5%）」を決めて使いますが、難しく感じる場合はツールに任せるのが現実的です。
• 実務で気をつける点
  • ランダム化が不十分だと偏り（例えば時間帯やデバイスの偏り）が出ます。
  • 同時並行で他施策（広告やキャンペーン）を行うと結果が混ざり、正確な評価ができません。
  • A/Aテスト（同じページを2つに分けて差が出ないか試す）で実験の設定や計測が正しいか検証してから本番のA/Bテストを行うと安心です。

FAQ