データには誤差がつきまといます。広告効果の測定データも様々な誤差の影響を受けます。しかし広告効果や広告ROIを算出する際一番厄介な誤差は、消費者は「自分がどの広告にどんな影響を受けてどんな行動をしたか」正確に答えられない事に起因します。
例えばアンケートなどで「どの広告を見ましたか？」「どの広告に影響を受けましたか？」「どの広告を見た事が購買のきっかけになりましたか？」などと消費者に直接聴取した場合、勘違いした回答や間違った思い込みによる回答が混じります。
「刺さる広告(Briggs and Stuart, 2008)」では、媒体により10%~50%程度の回答者が事実とは異なる広告源を認知媒体として誤って回答し得ると報告されています。ROI+が日本で行った化粧品についての自主調査(2012)でも同様の現象を確認しています。この誤差をを処理せずに分析する事による功罪は大きく、真の広告効果を曇らせ誤ったROIを導く事になります。
アンケートで回答者は正しく回答できない
誤差には「偶然誤差」と「系統誤差」の2種類があります。偶然誤差は、回答者の気持ちや体調によるの回答のブレや、ケアレスミスによる誤回答などが含まれます。一定の傾向を持って現れる誤差ではなく、確率的に出現する為「確率誤差」とも呼びます。プラスとマイナス両方向にバイアスが出現しますが(効果があった/なかった等)、ランダムに起こる為サンプル数を増やせば正負誤差同士で打ち消し合い、誤差の期待値はゼロとなります。つまり偶然誤差は罪が少なく、データ数を確保すれば無視できる誤差という事です。広告効果測定において真に厄介なのは、後者の系統誤差です。
系統誤差は偶然に起こる誤差ではなく、何かしらの「原因」により「一定の傾向」を持ってデータにバイアスを与える誤差です。確率的に起こる誤差ではないので期待値はゼロにはならず、データを増やせば増やすだけ比例して誤差が累積します。
系統誤差の影響例
消費者が自分の傾向について自覚のある傾向はまだ見抜きやすいのですが、自覚のない状況でも無意識に系統誤差が混ざる事もあります。消費者がある製品の「効用を」魅力的だと思い、その製品を買い求めたとします。その消費者はTVCMと雑誌広告の両方でそのブランドに接触しています。その際TVCMでは製品の効用は謳わず、雑誌で製品の効用を謳っていました。その消費者にアンケートに回答してもらい「どの媒体で製品の効用を知ったか？」と聞いた所、TVCMは覚えていたけれど、雑誌広告は覚えていなかった為「TVで効用を知った」と”信じ込んで”回答しました。これは実際はLAP(※)による勘違いなのですが、消費者の意識上ではそれが真実なのでそう回答せざるをえないわけです。
先述した様に、媒体によって10%~50%程度の誤差が出る事が知られており、誤差を処理しないまま広告効果や広告のROIを算出して意思決定をおこなうと非常に危険です。次の項では、誤差の少ないデータ取得方法や分析時の誤差処理方法について説明します。
