この記事でわかること
- 管理画面のCVとインクリメンタリティ（増分効果）の違い
- 増分を測る4つの手法と、それぞれが向く場面
- 中小企業でもできる実験設計の6ステップ
- 結果の判断を誤らせる5つの落とし穴
- 実施前に確認すべきチェックリスト
管理画面のコンバージョンは「増えた分」ではない
広告の管理画面には、その日獲得したコンバージョン数が並びます。ただしそこに計上されているのは、「広告に接触したあとにコンバージョンした人」であって、「広告があったから増えた人」ではありません。この2つは似ているようで、予算判断に使ううえでは意味がまったく違います。
典型的なのがリターゲティングとブランド名の指名検索です。もともと商品名を知っていて買うつもりだった人が、たまたま広告を経由して申し込めば、その1件は広告の成果として計上されます。しかし広告を止めても、その人は検索して申し込んだかもしれません。この「広告がなくても起きていた分」を差し引いた残りが、インクリメンタリティ（増分効果）です。
| 見ている指標 | 答えている問い | 使いどころ |
|---|---|---|
| 管理画面のCV／CPA | 広告に接触した人のうち何人が成約したか | 日々のクリエイティブ・キーワードの取捨選択 |
| アトリビューション | 複数の接点にどう貢献度を配分するか | チャネル間の役割整理、配分の微調整 |
| インクリメンタリティ | その施策がなければ、成果は何件減っていたか | 予算を増やす／減らす／止めるという意思決定 |
3つは対立する概念ではありません：日々の運用配分はアトリビューションを含む管理画面の数字で回し、予算の増減という大きな意思決定のときだけ増分の観点を持ち込む——という使い分けが実務的です。すべての施策に実験を課そうとすると、運用が止まります。
「増分で見ると評価が変わりやすい」施策
- リターゲティング——すでに検討中の人に当てるため、管理画面のCPAは最も良く見えやすい
- 指名キーワードの検索広告——自然検索の1位を自社が取っている場合、クリックの一部は置き換えになる
- ショッピング広告・動的リマーケティング——カート放棄からの復帰は、放っておいても一定数戻る
- クーポン・値引き訴求——買う予定だった人にも割引が適用され、粗利を削る形で「成果」が出る
逆に、認知獲得を狙った上位ファネルの配信は、管理画面のCPAが悪く見えるのに、止めると全体の問い合わせが落ちるという形で増分が大きいことがあります。「CPAが悪いから止める」を繰り返した結果、指名検索まで細っていくのはこのパターンです。
増分を測る4つの方法
増分の測定は「広告を見た世界」と「見なかった世界」を比べる作業です。同じ人について両方を観測することはできないので、比較できる別グループを作るか、時間差を利用するかのどちらかになります。
媒体提供のリフト測定（コンバージョンリフト調査）
MetaやGoogleが提供する、配信対象をランダムに分けて増分を推定する仕組みです。ユーザー単位で分割されるため精度は高く、媒体の管理画面で結果を確認できるのが利点です。一方で、実施できる条件（予算規模・期間・対象国など）は媒体側の基準に従う必要があり、中小規模の配信では枠に乗らないこともあります。
実施可否と条件は、担当の媒体窓口か代理店経由で先に確認するジオリフト（地域を分けて比べる）
配信する地域と配信しない地域を分け、期間中の成果の差を見る方法です。媒体をまたいだ施策や、オフラインの来店・電話まで含めて評価できるのが強みです。ただし地域ごとに需要も競合状況も違うため、実験前の期間で両グループの推移が似ていることを確認しておかないと、差が施策の効果なのか地域差なのか判別できません。
全国一律で配信している商材や、商圏が1エリアしかない場合は使えない停止テスト（ホールドアウト）
対象のキャンペーンを一定期間だけ止め、全体の成果がどう動くかを見る方法です。設定が単純で、「この配信を止めたら何が起きるか」という問いに最も直接的に答えられます。一方で、止めている間の機会損失が発生し、再開後に自動入札の学習がやり直しになる点は割り切りが必要です。
繁忙期・キャンペーン期間中は避け、需要が安定している時期に行うMMM（マーケティング・ミックス・モデリング）
過去の出稿量と売上の関係を統計的にモデル化し、チャネルごとの寄与を推定する方法です。Cookieに依存せず全チャネルを横断して見られますが、数年分の粒度の揃ったデータが必要で、中小企業がいきなり取り組む対象ではありません。まずは実験ベースの3つから始め、データが貯まってから検討する順番が現実的です。
データ量が足りないまま組むと、それらしい数字が出るだけになる中小企業でもできる実験設計の手順
増分の検証は、やり方より「何を決めてから始めるか」で結果の使えるかどうかが決まります。次の6ステップで組み立ててください。
1. 検証する問いを1つに絞る
「広告全体の効果を知りたい」では設計できません。「指名キーワードの検索広告を止めたら、問い合わせは何件減るか」のように、対象と結果指標を1文で言い切れる形にします。問いが2つあるなら、実験も2回に分けます。
2. 判断に使う指標を先に決める
クリックやCPAではなく、事業として増えてほしい数字——問い合わせ件数、商談数、受注件数、売上——のどれで判断するかを事前に決めます。実験後に「こちらの指標なら効果が出ている」と探し始めると、結論はいくらでも動きます。
3. 期間を決め、途中で触らない
期間は、検討期間（クリックから成約までの日数）より長く取る必要があります。検討に2週間かかる商材で1週間だけ止めても、影響は数字に出きりません。期間中は予算・入札・クリエイティブを動かさないことも合わせて決めておきます。
実験期間中の「良かれと思った調整」が、結果を無意味にします。成果が落ちてきたときに予算を戻したくなりますが、そこで触ると「止めた影響」と「調整の影響」が混ざり、何も言えないデータになります。どこまで悪化したら中止するかという撤退ラインだけを事前に決めておき、それ以外は触らないのが正しい進め方です。
4. 比較の土台をそろえる
ジオリフトなら、実験前の数週間で両グループの推移が並行しているかを必ず確認します。停止テストなら、前年同期・前月・直前数週間のどれと比べるのかを決め、季節要因やキャンペーンが重なっていないかをカレンダーで確認します。
5. 「どれくらいの差なら意味があるか」を先に置く
月10件の問い合わせが9件になっても、それが偶然の範囲かどうかは分かりません。件数が少ないほど、差は誤差に埋もれます。実験前に「何件以上の変化なら施策の影響と見なすか」を決めておき、その差を検出できるだけの母数が期間中に貯まるかを見積もってください。貯まらないなら、期間を延ばすか、対象を広げるか、実験そのものを諦めるかの判断になります。
6. 結果を記録として残す
実験の価値は、その1回の結論だけではありません。「いつ・何を・どう検証して・どう判断したか」を残しておくと、翌年の予算会議で同じ議論を繰り返さずに済みます。担当者が代わったときに最も失われやすいのがこの記録です。
判断を誤らせる5つの落とし穴
1. 母数が足りないまま結論を出す
最も多い失敗です。月間コンバージョンが数件の状態では、どんな手法を使っても増分は測れません。この場合は増分の検証ではなく、まず件数を増やす施策と、マイクロコンバージョンを含めた計測の整備が先になります。
2. 停止した瞬間の数字だけを見る
広告を止めても、直前に接触した人の申し込みは数日から数週間かけて発生します。止めた翌日に数字が落ちない＝効果がない、ではありません。逆に、再開後の立ち上がりにも時間がかかります。前後にバッファ期間を置いて評価してください。
3. 他チャネルへの影響を見ていない
広告を止めた分、自然検索や直接流入が増えているだけということがあります。実験の評価は、対象チャネル単体ではなく全体の合計で見るのが原則です。合計が変わっていなければ、それは置き換えが起きていたということです。
4. 実験期間に別の変更を重ねる
LPのリニューアル、価格改定、他媒体の増額、テレビCMや展示会——期間中にこれらが重なると、切り分けは不可能になります。実験カレンダーを社内で共有し、期間中の変更を止めてもらうところまでが設計の一部です。
5. 一度の結果を永久の結論にする
増分は、季節・競合の出稿量・在庫状況・認知度によって変わります。「去年止めても影響がなかったから今年も不要」とは言い切れません。予算配分を大きく変える前に、そのつど確認するものだと考えてください。
実施前チェックリスト
増分検証の実施前に確認する項目
【前提条件】
- コンバージョン計測が正しく動いている（二重計測・未設置ページがない）
- 月間のコンバージョン数が、差を判断できる程度の母数がある
- クリックから成約までの日数（検討期間）を把握している
- 実験期間に他の大きな変更が予定されていない
【設計】
- 検証したい問いを1文で書けている
- 判断に使う指標を1つに決めている
- 期間と、期間中に触らない項目を決めている
- 「何件以上の差なら意味があるか」の目安を置いている
- 撤退ライン（どこまで悪化したら中止するか）を決めている
【評価】
- 対象チャネル単体ではなく、全体合計で比較している
- 止めた／再開した前後のバッファ期間を確保している
- 季節要因・競合動向・社内イベントをカレンダーで突き合わせた
- 結論と判断根拠を、次の担当者が読める形で記録した
最初の一歩としておすすめなのは、指名キーワードの検索広告です。対象が小さく、止めても事業への影響が読みやすく、それでいて「本当に必要か」の議論が社内で最も起きやすい領域だからです。ここで一度きちんと検証しておくと、増分という考え方が社内の共通言語になります。
LnXの見解
広告の予算を増やすか減らすかという相談をいただくとき、根拠として出てくるのはほぼ管理画面のCPAです。ただ、そこだけを見て判断すると「CPAが良いリターゲティングを増やし、CPAが悪い上位ファネルを削る」という方向に必ず流れます。短期的には数字が良くなりますが、半年ほど経つと問い合わせの総数が落ちてくる。これは私たちが実際に何度も見てきた展開です。
だからといって、すべての施策で厳密な実験を組むべきかというと、それも違います。中小企業の広告費規模では、実験に耐えるだけの母数が貯まらないことのほうが多いからです。現実的なのは、「予算配分を大きく動かす前に、一度だけ止めて確かめる」という運用です。年に1〜2回、需要が安定している時期に、対象を絞って短期間だけ止める。それだけでも、判断の質はかなり変わります。
もうひとつお伝えしたいのは、増分の検証は計測が整っていることが前提だということです。コンバージョンの取りこぼしが大きい状態で止めテストをしても、減ったのが実際の成果なのか計測なのか分かりません。順番としては、計測の点検 → 施策の改善 → そのうえで増分の確認、です。LnXでは広告の運用・LP・計測を同じ担当が見るため、実験期間中に他の変更が入らないよう管理したうえで、前後比較まで一気通貫で設計できます。広告の目的は管理画面の数字を良くすることではなく、事業の売上を増やすことです。その差をどう埋めるかは、運用の中身と同じくらい重要な論点だと考えています。
よくある質問
Q コンバージョン数が月に数件しかありません。増分の検証はできますか？
現実的には難しいです。件数が少ないと、増えた減ったが偶然の範囲に収まってしまい、結論を出せません。この段階では増分の検証よりも、フォーム改善やターゲティングの見直しで件数そのものを増やすこと、そして電話や資料請求など評価に使えるアクションを計測に含めることが先になります。母数が貯まってから取り組んでも遅くありません。
Q 指名キーワードの広告は止めてしまってよいのでしょうか？
一律には言えません。自然検索で自社が1位を安定して取っており、競合が指名で入札していない場合は、止めても影響が小さいことがあります。一方で、競合が自社名で広告を出している、公式サイト以外の比較サイトが上位にいる、といった状況では止めた影響が大きく出ます。だからこそ、一般論ではなく自社で一度検証する価値がある領域です。
Q ジオリフトと停止テストは、どちらから試すべきですか？
商圏が全国に広がっていて、地域ごとに配信を分けられるならジオリフトのほうが機会損失を抑えられます。商圏が1エリアしかない、あるいは配信設計上の地域分割が難しい場合は停止テストになります。設定の手間は停止テストのほうが圧倒的に少ないため、まず小さい対象で停止テストを試し、必要に応じてジオリフトへ広げる流れが現実的です。
Q 実験の途中で成果が落ちてきました。元に戻してもよいですか？
事前に決めた撤退ラインを超えているなら中止して構いません。ただしその場合、その実験は「結論が出なかった」ものとして扱ってください。途中で条件を変えたデータを、そのまま増分の根拠に使うことはできません。だからこそ、開始前に撤退ラインと期間を決め、社内で合意しておくことが重要になります。
Q 媒体が出してくれるリフト測定の結果は、そのまま信じてよいですか？
測定の枠組みとしては信頼できますが、対象はその媒体の配信に限られます。複数媒体を並行して回している場合、ある媒体のリフトが高く出ていても、他媒体の成果を奪っているだけということはあり得ます。媒体単体の結果と、全チャネル合計の推移を必ず並べて確認してください。