測り方が生む共通方法バイアスは有害で複雑、簡単には直せない

紹介する論文

Common Method Bias: It’s Bad, It’s Complex, It’s Widespread, and It’s Not Easy to Fix

Philip M. Podsakoff, Nathan P. Podsakoff, Larry J. Williams, Chengquan Huang, Junhui Yang / Annual Review of Organizational Psychology and Organizational Behavior (2023年) / DOI: 10.1146/annurev-orgpsych-110721-040030 / 本文を読む(オープンアクセス)

邦題(編集部訳): 共通方法バイアス——それは有害で、複雑で、広く存在し、容易には修正できない

結論

共通方法バイアスは、測り方そのものが変数間の関係を歪めるため、結論の信頼性を損ないます。著者らは、その発生源が一つではなく複数同時に存在しうること、そうした条件が調査全般に広く当てはまること、統計的な事後の補正では十分に取り除けないことを整理しました。社内のサーベイ結果を根拠に施策を決めるなら、測り方の設計段階で手を打つ必要があります。

アンケート調査で、原因側も結果側も同じ回答者に同じ形式で尋ねると、変数どうしの関係が実際とは違って見えることがあります。本論文は、この共通方法バイアスについて蓄積された知見を整理し、それが有害であること、発生源が複数あって複雑なこと、生じやすい条件が広く見られること、そして事後の対処では簡単に解消できないことを論じています。研究者だけでなく、社内調査の設計や解釈に関わる人事担当にも関わる論点です。

この論文の要点

共通方法バイアスは、変数間の関係を実際より強くも弱くも見せてしまいます
原因は一つではなく、複数の発生源が同時に混ざるため切り分けが困難です
統計的な補正は万能ではなく、設計段階での予防が欠かせません

研究の問い
調べ方
わかったこと
人事・研修担当への示唆
読むときの注意点
キーワード解説
よくある質問

研究の問い

組織や人に関する調査の多くは、質問紙で複数の概念をまとめて尋ねる形をとります。このとき、回答者の答え方の癖や質問の並べ方といった測定方法そのものに由来する成分が入り込み、変数どうしの関係の見え方を左右します。これが共通方法バイアスです。害があること自体は以前から指摘されてきましたが、何が原因で、どんな結果を招き、どう防げばよいのかについての理解は、まだ十分ではないと著者らは述べます。結論の妥当性に直結する問題であるにもかかわらず、対処は場当たり的になりがちです。そこで現在までの知見を整理し、実行できる対策の指針を示すことが本論文の目的とされています。

調べ方

新しくデータを集めた実証研究ではなく、これまでの研究知見を突き合わせて整理する文献レビューです。論文は五つのまとまりで構成され、まず害の中身、次に発生源が複数あることによる複雑さ、続いて共通方法バイアスが起きやすい条件がどの程度広く見られるかを、既存の証拠を示しながら論じます。さらに、なぜ修正が難しいのかを説明し、最後に今後取り組むべき研究課題を挙げる、という流れです。対象者や調査規模といった実証的な数値は、抄録では明記されていません。

わかったこと

まず、共通方法バイアスは変数間の関係の推定を歪め、そこから導かれる結論の妥当性を損なうという点が確認されます。関係を過大に見せることもあれば、逆に見えにくくしてしまうこともあります。

次に、原因は一つではありません。回答者に由来するもの、質問項目の文言や形式に由来するもの、測定の文脈に由来するものなど、複数の発生源が想定され、実際の調査ではそのうちいくつかが同時に働いている可能性が高いと指摘されます。どれがどれだけ効いているのかを切り分けにくいことが、対処を難しくしています。

さらに、こうしたバイアスが生じやすい条件は特殊な状況に限られず、比較的ありふれているという証拠が示されます。そして、後から統計的補正をかければ済むという発想には限界があり、前提が満たされないまま用いれば、かえって推定を誤らせかねません。結局、測定方法や研究デザインの段階での手当てが避けられない、というのが全体の見立てです。

人事・研修担当への示唆

社内サーベイでは、原因側と結果側を同じ回答者・同じ測定方法で測らず、上司評価や実績データなど出所の違う情報を組み合わせましょう
質問の順序や表現を事前に見直し、匿名性を明確に伝えるなど、バイアスの予防を研究デザインの段階で組み込みます
調査で相関が強く出ても、統計的補正をかけたからと鵜呑みにせず、測り方が結果を押し上げていないか確認しましょう

読むときの注意点

本論文は特定のデータを分析した実証研究ではなく、既存知見を整理したレビューです。したがって示されるのは一般的な傾向と指針であり、個別の調査でバイアスがどれほど生じるかを保証するものではありません。どの対策がどの程度有効かという効果の大きさも、抄録では明記されていません。万能の解決策は示されておらず、複数の手立てを組み合わせる姿勢が前提になります。

キーワード解説

共通方法バイアス: 共通方法バイアスとは、同じ回答者や同じ測り方でデータを集めたために、本来の関係とは異なる見かけの関連が生まれてしまう現象のことです。
測定方法: 測定方法とは、何を、どんな形式・順序・出所で尋ねて記録するかという、測り方の枠組み全体のことです。
発生源: 発生源とは、バイアスを生み出しているおおもとの要因のことで、回答者側、質問項目側、測定の状況側などに分けて考えられます。
妥当性: 妥当性とは、その測定や分析が、本来とらえたい対象を実際にとらえられているかどうかの度合いのことです。
統計的補正: 統計的補正とは、データを集めた後に統計手法を使って歪みを取り除こうとする、事後的な対処のことです。
文献レビュー: 文献レビューとは、既存の研究成果を体系的に読み解き、わかっていることと未解決の点を整理する研究手法のことです。