アンケート作成のコツ ~質問文を作ったら~

2019-03-28データ分析

はじめに

本記事は「アンケート作成のコツ ~質問文編~」の続編となります。

「アンケート作成のコツ ~質問文編~」では、質問文の作り方を中心にアンケート作成のコツをご紹介しました。
そこで今回は、質問文の作成が終わったあとに、どのようなことを気をつけるのかをお話ししたいと思います。

順番を考えてみよう

アンケートを作る際は、作成された質問文の順番、質問に付随している選択肢の順番について考える必要があります。

答えやすい質問から、答えにくい質問へ

アンケートは協力してもらって回答を得ています。そのため、答えにくい質問が初めに来ることで、その時点で回答をやめてしまう可能性が高いです。なるべく多くの人に答えてもらうためにも、答えにくい質問は最後に書くようにしましょう。

キャリーオーバー効果

キャリーオーバー効果とは前の質問が後の質問の回答に影響を及ぼすことを指します。

この場合、Q2の質問について、Q1に書かれているビジョンという追加情報を与えた状態で答えてしまうことになり、Q1での質問がQ2の質問に影響をしていることが考えられます。

解決策としては、影響を及ぼさないように、順序を入れ替えるべきです。

ランダム性

ランダム性に関しては、質問文、選択肢の順番の両方に言えることです。

質問文に関しては、質問の答えやすさやキャリーオーバー効果を考慮した上で回答者ごとに質問をランダムな順番にすることで、いつも後ろにある問題が適当に答えられること(例えば、後半は質問文も読まれずに適当に答えられてしまうこと)に対して、解決することができます。

選択肢の中で順序等がない場合、質問ごと、回答者ごとに選択肢をランダムにすることで、一番上にあるという理由で選択肢の回答が偏ってしまうことを防ぐことができます。

正常にデータが取れるのか

選択肢が網羅的・排他的であるのか

これは選択肢が不足なく用意されており、複数の選択肢にまたがるであろう回答は出ないように選択肢を作るということです。
ただこの考えは、あくまで一つだけ選択肢を選ぶ時に有効なものなので、臨機応変に選択肢が網羅的・排他的である必要があるのかは判断してください。

上の例だと、青りんごも赤リンゴも好きな人やそもそもフルーツは嫌いな人、フルーツを食べたことがない人は、どの選択肢を選べば良いのかわかりません。

解決策としては、前提となっている質問をし、対象者を絞るという方法があります。
対象者を絞った後は、選択肢を排他的に用意した上で「その他」という項目で不足を補うようにしましょう。

時と場合によっては「その他」だけでなく、必要に応じ「わからない」「どちらでもない」等の選択肢を用意し、回答をする際に迷うことが内容にしましょう。

公開途中のアンケートは、内容の変更をしてはいけない。

ネットアンケートなどの場合、簡単にアンケート作成ができ、公開途中に内容を変更することが可能です。
ですが、「アンケート作成のコツ ~質問文編~」で指摘した通り、微妙な言葉のニュアンスがなんらかの大きな影響が与える可能性があります。

たとえ、質問文や選択肢がひらがなで書かれているところを漢字に変換しただけであっても、印象を変える可能性があり(参考)、ひらがなの場合と、漢字の場合で、回答が変わる可能性があります。
仮に公開途中に質問文を変えたり、選択肢を増やしたり、減らしたりし、結果を集計しようものならば、得たい結果が得られない可能性があります。

もし、変更が必要になった場合は、変更前と変更後とを区別し、変更前のものは集計結果に入れてはなりません。
仮に、変更はしないということであれば、どの程度の変更か、どの程度本当に聞きたいこととかけ離れていたのかによりますが、思い切って、判断不能とするか、取った結果から言える範囲内で不適切であることを考慮に入れた上で分析を進めるかのどちらかになると思います。

質問自体にバイアスが含まれていないか

自称進学校だった、私の出身高校は毎月以下のようなアンケートをとっていました。

このアンケートの結果で、担任の先生が「あなたたちの学年は例年に比べ2時間も学習時間が伸びている。素晴らしい!」と褒めていた記憶があります。
あくまで個人的な感想ですが、ただ単に私の学年が社会的望ましさを考えて忖度でアンケートに答えている人が多かったのだと思います。(もちろん私も1、2時間ほど水増しして答えていましたw)

以下の例がわかりやすいです。

皆さんも気持ち的に、本心に関わらず、なんとなく募金をすべきでないと答えにくいと思います。

また、バイアスという観点では、アンケートのタイトルにも気をつけなければなりません。質問者の立場や(こういう結果が望ましいと読み取られてしまうような)意図を感じさせないものが良いです。

倫理的な配慮

倫理的な配慮、これが実は一番大事だったりします。
倫理的な配慮がない状態でアンケートが作られたり、実施されたりすると、純粋な結果が得られなかったり、回答してくれる人が減ってしまったりすることがあります。

個人情報について

例えば、政党の支持を聞くようなアンケートの中で、以下のようなアンケートがあったとします。

これらの項目が必須だった場合、回答者が減るのはわかるのではないでしょうか。
必須ではない場合にしても、名前と年収、家族構成等をセットで聞かれて、いい気のする人はいないでしょう。

この場合名前については必要ないと思います。そもそもアンケートを作るときは名前を聞くことによって、答えづらくする効果が高く、工夫すれば答える必要がないことがほとんどなので、社会調査や心理学だとアンケートで名前を尋ねることはタブーとされています。

それでは名前の質問を削除してみます。

多少は答えやすくなりました。しかし、年収や家族構成はとても個人的な話題になるので、嫌な気分になる人もいると思います。

アンケートを作成する側の気持ちを考えると、政党の支持と年収の関係、政党の支持と家族構成の関係などを知りたくなる気持ちもわかります。その場合、個人に関係なく集計を行いますといった趣旨を字面で明記することで、(作成者の単なる興味ではなく)聞かれていることがデータとして必要であることが伝わります。
個人に関係なく集計を行いますといった趣旨を伝えるためにも、個人の属性を尋ねるアンケート用紙と実際に聞きたいこと(今回の場合支持している政党について)を別紙にしたりする工夫も必要だと思います。

説明と同意

少なくとも心理学のアンケート調査では、実施をする前にアンケートの簡単な内容や目的の説明、協力のお願い、途中でやめてもいいという旨を記載した同意書を取ることになっています。
社内のアンケートの場合、同意書までは必要ないのかもしれませんが、少なくとも、アンケートの内容や目的の説明、協力のお願い等は必要になると思います。

また、回答者のプライバシーに関する質問は最初の方に書かずに、最後に書いてもらう方がよいとも言われています。(理由は「答えやすい質問から、答えにくい質問へ」でも説明した通りになります。)

おわりに

アンケートを作るにあたって、目的であったり、背景にはどう言った仮説があるのかを明確にする必要があります。また、分析の方法として、集計だけでなく、統計的な観点を含む場合は、分析方法によって、どのくらいの質問数が必要なのか、回答の仕方はどうするべきなのか、回答者数はどのくらい必要なのかが変わってきます。
ぱっと思い浮かんだ項目だけでアンケートをとってからさあどうしようかではなく、どんな分析をするのかを考え、そのためにはどんなアンケートを作るべきで誰にアンケートを頼むのかを考える必要があります。

別視点にはなりますが、めちゃくちゃなアンケートを作成し、回収率が高くないと、分析の精度が落ちてしまうことだって考えられます。例えば、2000人の人に賛成か反対かを問うようなアンケートを配り、そのうち500人の350人が賛成と回答してくれたとします。500人のうちだと、350人は大多数になってしまいますが、もしかしたら(不必要なほど個人情報を書かせたりなど)アンケートの作りが悪く、反対派は答える気をなくす人が多く回答が減ったしまった可能性が考えられます。そのため、実情とは異なる結果が出てしまう可能性も否めません。

とはいえ、かなりの手間をかけないと完璧なアンケートを作るのは難しいとは思います。少なくとも、自分の作ったアンケート結果や他人が作ったアンケートの結果に、どのようなことを考慮して結果を見るべきなのかを考えてみてはいかがでしょうか?

この記事を書いた人

福治菜摘美

新米エンジニアです。

最近書いた記事

• 2019.12.04Data Gateway Talk vol.4をレコチョクで開催しました。
• 2019.10.24そのグラフ、インターラクティブにしたくない？
• 2019.10.16発話プロトコル法を用いたユーザテストとデータ分析
• 2019.04.17第二弾 その平均値、危険ですよ! ~直感に反する平均値~