こんにちは、ノンスタ代表の高崎です。
私達の会社はECサイトの成功は、「誰に、何を、どう」伝えるかにかかっていると考えています。
具体的には、

• 誰に ＞ どんな人、どんな属性のターゲットに対して
• 何を ＞ どんな商品、サービスの強みを
• どう ＞ どんな伝え方で

上記のベクトルを合わせることが大切です。

ただし、一度にすべてのベクトルを完璧に合わせることは、宝くじに当たるくらい難しいと考えています。

そこで弊社では、検証用ページを使ったA/Bテストを行い、仮説立てと検証を繰り返すことで「誰に、何を、どう」伝えるかのチューンナップを実施し、お客様の成長に貢献しています。

ABテストとは？

ABテスト（A/Bテスト）とは、マーケティングやウェブデザインで使われる実験手法の一つです。
2つの異なるバージョンのページ（AとB）を用意し、それらをランダムにユーザーに提示して、どちらがより良い結果をもたらすかを比較することを通じて、データに基づいて意思決定を行い、効果を最大化することです。

主な特徴

• AとBの違い: 通常、Aは現状のもの（コントロール）、Bは新しいアイデアや変更を加えたもの（テスト対象）です。例えば、ウェブサイトのボタンの色を変える、メールの件名を変更する、広告の文言を調整するなど。
• ランダム割り当て: ユーザーはランダムにAかBのどちらかに割り当てられ、偏りが生じないようにします。
• 測定指標: クリック率（CTR）、コンバージョン率、売上などの具体的な指標を元に、どちらが優れているかを判断します。

例

ウェブサイトの「購入」ボタンをテストする場合：

• A: 赤いボタン（従来のデザイン）
• B: 青いボタン（新しいデザイン）
  ユーザーの半分にAを、もう半分にBを見せ、どちらがより多くのクリックや購入につながるかを分析します。

メリット

• 客観的なデータで判断できる。
• ユーザーの実際の反応を確認できる。
• リスクを抑えて改善策を試せる。

注意点

• サンプルサイズが小さいと結果が信頼できない場合がある。
• テスト期間が短すぎると、季節要因や一時的な影響を見落とす可能性がある。
• 複数の要素を同時に変えると、どの変更が結果に影響したのか分かりにくくなる（その場合は「多変量テスト」を検討）。

簡単に言えば、ABテストは「どっちがいいか」を科学的に検証するツールです。

ABテストの成功事例：バラク・オバマ氏の大統領選挙戦

バラク・オバマ氏の2008年の大統領選挙キャンペーンにおいて、トップページに打ち出すメッセージやデザインを最適化するために行われたA/Bテストは大きな成果を上げました。

このテストは、ウェブサイト訪問者をメールマガジン登録者に転換し、さらには寄付者やボランティアに変えることを目的としたもので、その成果は資金調達と支持者拡大に大きな影響を与えました。

以下に、具体的なテスト内容と成果を詳しく説明します。

A/Bテストの概要

目的

ウェブサイトのトップページを訪れたユーザーにメールマガジン登録を促し、その後の寄付やボランティア活動への参加につなげる。

テスト対象

オバマ陣営のWebチームは、2つの主要要素をテストしました：

*実際のWebサイトのトップページのスクリーンショット
https://blog.optimizely.com/2010/11/29/how-obama-raised-60-million-by-running-a-simple-experiment/ より引用

登録ボタンの文言

4つのバリエーションをテストしました。
それぞれ、「Sign Up」「Learn More」「Join Us Now」「Sign Up Now」

トップページのメインビジュアルとメッセージのテスト

6つのバージョン（３つは静止画、３つは動画）をテストしました。

https://blog.optimizely.com/2010/11/29/how-obama-raised-60-million-by-running-a-simple-experiment/ より引用

3つの動画（「オバマの演説」「支持者の声」「キャンペーン活動」）

ボタン4種 × メディア6種 = 合計24パターンの組み合わせをテストし、総訪問者数310,382人、各バリエーションを約13,000人が見ました。
重視した指標は登録率。訪問者がメールマガジンに登録した割合（登録数 ÷ そのバリエーションを見た訪問者数）が一番高いものを探りました。

仮説

スタッフの直感では、動画を使ったダイナミックなメッセージがユーザーの関心を引き、登録率を高めると考えられていました。
一方、シンプルで親しみやすい静止画像や、具体的な行動を促さないソフトな登録ボタン（例：「Learn More」）の効果は未知数でした。

テストの成果:40.6%の登録率の改善と、6000万ドルの寄付増加効果

このテストの結果、「Learn More」ボタンと家族写真の組み合わせが最も効果的で、登録率が11.6%に達しました。これはオリジナルページの8.26%に比べて40.6%の改善で、追加で288万人の登録と6000万ドルの寄付増加効果があったとされています。

出典
Optimizely: 「How Obama Raised $60 Million by Running a Simple Experiment」
Statsig: 「A/B testing and experimentation in the Obama 2008 and 2012 campaigns」
Medium: 「The Secret Behind Obama’s 2012 Election Success: A/B Testing」

このようにABテストは、個人の直感ではなく数字としての事実をもとに、Webサイトを見ている人がどんなことを魅力として感じているのかを知ることができ、経験・勘・度胸に頼らないWeb改善ができます。

ノンスタ流ShopifyでのABテストの実施方法

ShopifyでA/Bテストを行う場合、調査したい内容によって使うツールは異なりますが、弊社では「誰に、何を、どう」伝えるかの仮説の検証のためにShougunというアプリを使って特設サイト（LP）を作りA/Bテスト行い、そこで得られた反応を本体サイトに反映するという手法を実施することが多いです。

Shogunとは？

Shogunは、Shopify App Storeで提供されているアプリで、2015年にリリースされて以来、35,000以上のブランドに利用され、Shopifyストアのデザインや最適化を強化するツールとして評価されています。主な目的は、ストアオーナーがビジュアルエディターを使ってページを簡単に構築し、A/Bテストやパーソナライズ機能で売上を伸ばすことです。

費用

Shopify自体の料金に加えて、ShogunでA/Bテストを行う場合、Shogunの有料プランに契約する必要があります

・2,000セッション/月までの分析：月39ドル
・10,000セッション/月までの分析：月249ドル

また、LPに対して有料広告で誘導する場合、その広告費用がかかります。

最後に：ECサイトを科学的に改善していく

ECサイトのデザインやコンテンツはクリエイターや意思決定者の直感で決めることが多いと思いますが、先述のバラク・オバマ氏例のように、チームの直感に反する選択肢がユーザーにとって正解であることもあります。
健やかに成長していくWebサイトにするために、A/Bテストをつかってユーザーが本当に求めているものを作ることが、同時に働いてるスタッフが疲弊しないEC運営になると考えています。