投稿者: 先日、朝日新聞デジタルにこんなニュースが出ておりまして、
ネット調査、「手抜き」回答横行か 質問文読まずに…
これはこれで若干煽り気味なタイトルの記事なのですが、さらに、それに反論する形で書いた、マクロミルの研究員によるブログ
ネット調査は「手抜き回答」が横行しているのは本当か？
が、これまたなかなか手前味噌というか、自分たちの商品を守りたい意図が見事に透けて見える内容で、率直に申し上げて、なかなか面白い論争気味なのです。
まあ、とはいえ面白がっていてもしょうがないので、最近僕が自分で行った調査のことにも触れながら、この、ネット調査の信頼性の問題、そして取りうる対策について書いておこうと思います。
結論から言うと、
ちゃんと自衛策を取った方がいい
と僕は思っております。
・・・・・
この記事の元になったのは、「社会心理学研究」という学会誌に発表された三浦＆小林 (2015)による研究なのですが、なかなか面白い内容です。
オンライン調査モニタのSatisficeに関する実験的研究
内容としては、ネット調査で回答者が設問をちゃんと読んでいるかチェックするための項目（いわゆる「アテンションフィルター」と呼ばれるもの）をサーベイに挿入してみたところ、驚くほどたくさんの人が、ちゃんと読まずに回答していたことがわかった、と言うものです。アテンションフィルターとは、例えば以下のようなものです。
以下のそれぞれの設問について、あなたの考えに当てはまる程度として、「そう思う」から「そう思わない」から最も当てはまるものを一つ選択してください。
そう思う ややそう思う あまりそう思わない そう思わない
昼ごはんといえばうどんだ ⚪︎ ⚪︎ ⚪︎ ⚪︎
昼ごはんといえばカレーだ ⚪︎ ⚪︎ ⚪︎ ⚪︎
「そう思う」を選んでください ⚪︎ ⚪︎ ⚪︎ ⚪︎
餃子といえばビールだ ⚪︎ ⚪︎ ⚪︎ ⚪︎
はい、３つ目の設問ですね。あんまりよく読まずに回答している人は、うっかり「そう思う」ではないものを選んでしまうわけです。
他にも長文の設問の最後に「何も選ばずに次のページに進んでください」と書くものもあるのですが、いずれにせよ、きちんと一つ一つの設問に注意していない人を引っ掛けるように考えられた設問が、「アテンションフィルター」です。
上記の論文では、これらを調査票の中に組み込んでみたところ、実に数十パーセントの人が引っかかったと言うことを述べています。それで、「手抜き」回答横行か、という冒頭の記事タイトルになったわけですね。
・・・・・
ちなみに、僕も同じような項目を自分の調査に組み込んで、アメリカ、日本、中国で実施してみたのですが、なんと、日本が最も引っかかる率が高かったです。誤答率を比べてみると、以下のような感じです。
アメリカ 10％〜15％
日本 30%強
中国 20%弱
おそらく、この違いは、アメリカでつかったプラットフォーム（Amazon Mechanical Turk）の場合、発注側が回答をチェックして、きちんと完了していないと謝礼を支払わない、ということができる、なおかつ、ミスが多い人は評価が下がっていって調査に参加できなくなる、という風に、きちんと答えるインセンティブが組み込まれているからではないかと思います。
一方、日本のネット調査会社は、僕が利用した中で見聞きした限りでは、こういう形で途中でフィルターにひっかかったからといって謝礼を支払わない、というのはできないようです。このあたりは、不注意な参加者が出やすい構造なのかもしれないですね。
あとは、上記に加えて、アテンションフィルター自体が、アメリカの方がより一般的に使われている、ということもあるかもしれません。僕自身、調査の仕事をして長いですが、アテンションフィルターについて知ったのはここ最近のことなので。それだけ、日本では知られておらず、調査回答者も知らない、ということがあるのではないかと。
ま、それですら、アメリカでも10％以上が引っかかるわけですが。
マクロミルの研究員の記事では、いろいろと現状を擁護する説を展開されていますが、僕は率直に言って、あまり説得力がないと思います。項目を読まずに回答したデータに、価値があるわけがないからです。
もちろん、項目を読みたくなくなるような長い項目を設計する側の問題もあるので、一概に調査会社を批判するのは私の意図ではありません。が、信頼できるデータを欲しいのであれば、「項目設計」と同時に、「回答態度」にも気を配る必要がある、ということは明らかでしょう。
ちゃんと読んでない回答者の回答は除いて分析することができるように、回答者側が設計する必要があります。
・・・・・
ちなみに、アテンションフィルターのような、あからさまなやり方以外にも、いくつか怪しい回答者をピックアップする方法は存在します。
① 回答に要した時間を見る
調査会社によっては、回答にどれだけの時間がかかったか、納品データに入れてくれる会社がありますが、これは一つの参考になります。あまりにも短い時間で答えている人は、問題を読んでないのでは？ということですね。十分にサンプル数が取れている場合は、こういうデータは除いて集計してもいいでしょう。
② 広く知られた事実を聞く質問を入れる
項目の中に、比較的よく知られた事実を聞く質問を加えておくことで、そもそも質問を読んでいない人をピックアップすることが可能です。もちろん、その事実を知らなかった人がはじかれてしまうリスクはあるのですが。アテンションフィルターは、あまりにも回答者を疑っているのがあからさまなので、それがやりにくい場合にはは、このパターンが有効かもしれません。
特に、Amazon Mechanical Turkの場合は、人間の代わりにコンピュータープログラムで調査に適当に回答させてお金を稼ぐという、えぐい活動も行われているようで（日本はどうだかわかりませんが）、人間がちゃんと内容を考えて答えれば間違えないような質問を入れておくことを自衛策として推奨している論文を見たことがあります。
ちなみに、ここまでの話はほぼ、ネット調査の話なのですが、①は企業内で実施する意識調査でも使える方法ですね。今ちょうど、企業での調査もやっているので、この辺も分析の際には確認してみようかな、と思っています（流石にアテンションフィルターを入れるのは企業調査では少々はばかられますね）
・・・・・
と、いうわけで、ネット調査をやる機会はいろいろとあると思いますが、データで何かを語る際にはそもそもデータが信頼できるのか、という点も考えた方がいい、というお話でした。