広告効果測定と誤差で見ていったように、広告効果測定ではデータに誤差が生じやすく、かつ発生した時のROIに対するインパクトは非常に大きなものとなります。ここでは、広告効果を測定する際に、どうしたら誤差の少ない方法でデータを収集できるか、データに誤差が混入した場合にどう制御するのか、について説明します。広告効果測定において最も厄介なのは系統誤差(参照：広告効果測定と誤差)と呼ばれる誤差でした。この誤差に対応する方法は大きく3つに分かれます。
2) 系統誤差を偶然誤差に変換する – 実験計画法
3) 系統誤差を測定し、分離する – 誤差補正アルゴリズム
シングルソースデータは、同一人物のメディア接触と購買行動を一元的に取得しているデータです。価値観やライフスタイルも同時に取得しているパネルもあります。メリットとしては、媒体接触と行動ベースのデータを同時に取得している為、誤差が少ない点、広告効果を具体的な購買行動の増加量で見る事が出来る点です。メディア接触測定専用の計測器具をモニターに配布してデータを収集しているタイプのシングルソースは本人の主観が入らない為、系統誤差は一番抑えられます。本人に日記的に接触と行動を記録させたシングルソースデータは本人の主観が入りますが、日々記録をとる為、一般的なアンケートよりは系統誤差は抑えられます。
但し、広告主が使っている媒体全てをそのシングルソースデータがカバーしているとは限りませんし、測定しているのが「媒体との接触状況」であり、「広告主の広告との接触」を測定しているわけではない場合もあります。従って、自社で使用している媒体が十分カバーされているか、広告主が出稿した広告との接触データとみなせるかどうかをチェックする必要があります。
オンラインやソーシャルの行動まで追いROIを算出する為には、アクセスログ解析が同時に行われている必要があります。この辺りはデータの提供会社によりますが、自社のコミュニケーションミックスの広さを考えて、どこまで追う必要があるかにより判断する事になります。また、シングルソースデータは概して膨大なデータになるので、どうデータ処理してモデリングを行い意思決定に繋げるかというプランをしっかり立てておく事が望まれます。
その他のチェックポイントとしては、、変数が固定されるので自社製品やターゲットに合わせた項目で効果が測定できるとは限らない（項目を追加できるパネルもあります）、一定の行動モデルが前提となっていて自社製品の買われ方に合っていない事がある、などが挙げられます。
実験計画法は、「反復、無作為化、局所管理」という3つの処理で系統誤差を制御する方法です。実験計画法は、元々1920年代にR.A.フィッシャーが農事試験の為に開発し、日本では田口玄一博士が品質管理の為に開発したタグチメソッドの基礎となっている事で有名です。現在では工業、農業の枠を超え、医学、薬学、マーケティング、経済学、心理学、化学、物理など文系理系問わず様々な分野で応用されています。
広告ROIの文脈で重要な順で言うと、まず最初が「無作為化」です。無作為化は、どの広告をどの回答者に接触させるかランダムに決定する事で、系統誤差の原因となる各々の回答者が持つ個人的な傾向（例：AさんはTVを良くみて、Bさんはネットをよく見る）を散らす事ができます。系統誤差を積極的に偶然誤差（データ数を大きくすれば無視できる確率的な誤差）に転換する事ができる。という意味で重要なプロセスです。
次が「局所管理」です。例えばTVの視聴頻度が高い人、ネットの視聴頻度が高い人など一定の傾向を持つ、つまり系統誤差の原因となり得る軸で回答者をグループ分けして、それぞれのグループ内で別々に効果測定を行います。軸を切らずに全体で見ると視聴頻度による誤差がどの程度広告効果に影響しているか分かりませんが、視聴頻度で人を分け各々のブロックで広告効果を算出し比較すれば、視聴頻度による系統誤差は発生しません。
そして「反復実験」です。反復実験は、実験の試行回数を増やす事により個々の実験結果のバラツキを求め、誤差の大きさを推定する事で真の効果を推定するという考え方です。フィッシャーは反復の無い実験はただの”経験”であるとして、反復実験の考え方を最も重視しました。しかし広告効果測定の場面ではサンプル数を増やし、誤差分散を評価するだけなのでそこまで難しい事ではありません。
実験計画法のメリットとしては、誤差を制御する為の科学的手法として様々な分野で実績があり、広告においても正確な効果推定が可能なことです。デメリットとしては広告効果の正確な推定はできるものの、「そもそも広告自体が他の要因と比べて、どの程度売上や購買に対して寄与があるのか（詳細は3月上旬公開）」という推定ができない為、広告効果測定には向いていても広告ROI算出には向いていない、という点が挙げられます。また、本格的な実験計画法を行おうとすると実地実験（データ収集の為に、実験計画に基づいて実際に広告投下を行う、いわゆるテストマーケティング）が必要な為、相当のコストと期間がかかります。ただし、インターネット広告の場合はA/Bテストのように容易に行う事が可能です。
上記以外の方法でデータを収集している場合、データには誤差が混入しているのでその誤差をいかに補正するかという問題になります。単純な（※1）事前事後調査による効果測定には誤差が混入しています。例えば以下の様な調査で効果測定を行ったデータで広告効果を算出したい場合です。
・出稿期間の前と後で、そのブランドに対する認知度や購買意向に差があるかを見る
・コンセプトやパッケージ、クリエイテイブ案を見せる前と後で差があるかを見る
・広告に接触した人と接触してない人にデータを分けて、群間で差があるかを見る
分析対象となる業界やブランド、メディアミックスの状況に応じてアルゴリズムを微修正する必要がありますが、上記の様な消費者アンケートで直接聴取したデータや事前事後調査のデータからでも系統誤差を推定して分離させる事ができるので、安く早く精度の高い広告効果分析を行う事が可能になります。
