はじめに
少し前に話題になっていたゲームエイジ総研のデータ(を元にしたまとめサイトのスクショ)がまた盛り上がっているが、明らかにデータの信憑性が怪しいと自分は感じており前回話題になった時にTwitter上で問題提起もしたのだがしっかりとした検証はしていなかったためここでもう一度データを確認していきたいと思う。
話題の元記事はこちら
データについて
データが見にくいので書き換えると
- 平均年齢:36.6歳
- 男女比:78.5対21.5
- 年代-10代:6%、20代:20%、30代:31%、40代:35%、50代以上:7%
ミリシタ
- 平均年齢:38.2歳
- 男女比:96.3対3.7
- 年代:10代:3%、20代:16%、30代:26%、40代:50%、50代以上:3%
のようになっている。(年代に関しては正確な%が読み取れない部分があったので少しずれているかもしれないが基本的な傾向に違いはないはず)
これらのデータを見てミリシタは男性比率が高いだの半分は40代だのと言われているがこのデータは本当に信頼できるのだろうか？
データの集計方法に関しては
ゲームエイジ総研 ストラテジストの堀 浩也氏は，同社の「ログデータトラッキングサービス（仮称）」の発表を行った。アプリの利用率をはじめとする調査サービスで，スマートフォンの利用状況を記録するアプリとアンケート調査を組み合わせたものだという。
データはゲームエイジ総研が構築しているゲーム専用パネルから ログデータを収集した。
と記事には書かれている。ここで問題となるのは「スマートフォンの利用状況を記録するアプリ」という記述である。
ここから考えられるのはゲームエイジ総研のゲーム専用パネルの中でも特定のアプリを利用している人だけが調査の対象になっているのではないかという事である。
仮に特定のアプリの利用者だけが調査の対象になっていた場合、明らかにそのアプリをどのようなタイプのユーザーが利用しがちといったサンプリングバイアスがかかっている可能性が高くなる。
代表性の検証
今回のような一部の対象者のみに行った調査結果の場合は全体の結果をきちんと反映できているかの代表性のチェックが必要である。
通常は同じような調査を行った他の調査結果と比較して結果に大きな齟齬が無いかを確認するのだが直接デレステ・ミリシタのユーザーを調査した結果は見つからなかったので今回は同じようなユーザー層であろうと考えられるモバマスと765プロASのPに対して行われたアンケート結果を見て検証していく。
まずはモバマスに関してはシンデレラガールズ6周年を記念したアンケートが昨年行われているのでそちらの結果を確認する。
アンケート結果はこちらのページで確認できる。
cinderella-6th-memorial-party.idolmaster.jp
二つの結果を見比べてみる。
シンデレラガールズ6thアンケート
- 男女比:79対21
- 年代-10代:15%、20代:54%、30代:23%、40代:7%
ゲームエイジ総研による調査(デレステ)
- 男女比:78.5対21.5
- 年代-10代:6%、20代:20%、30代:31%、40代:35%、50代以上:7%
男女比に関してはほぼ同じ数字となっており問題はないと思われるが、明らかに年代に関しては差が出ている。公式のアンケート結果では20代が半数以上になっているのに対してゲームエイジ総研のデータでは20%、反対に公式では40代は7%だったのに対してゲームエイジ総研のデータは35%となっている。
これを見るとゲームエイジ総研の調査は年齢層が高めに歪んでいる可能性があることが窺える。
続いてプロデューサーミーティング2017で発表されたユーザーアンケートを確認する。結果はパンフレットから引用させていただく。
(THE IDOLM@STER PRODUCER MEETING 2017 765PRO ALLSTARS FUN TO THE NEW VISION!! 公式パンフレットより引用)
プロミ2017アンケート
- 男女比:83対17
- 年代:10代:17%、20代:56%、30代:20%、40代:7%
ゲームエイジ総研による調査(ミリシタ)
- 平均年齢:38.2歳
- 男女比:96.3対3.7
- 年代:10代:3%、20代:16%、30代:26%、40代:50%、50代以上:3%
今度はゲームエイジ総研によるミリシタのデータとプロミのアンケート結果を比較する。感覚的に言えば765ASのPの方が歴史が長い分、年代も上になる気がするが上のシンデレラガールズに関する調査結果と同じくプロミでは56%だった20代がゲームエイジ総研による調査では16%、7%しかいなかった40代が50%と明らかに年代がずれている。男女比に関しても2割弱女性がいる結果になっているのに対してゲームエイジ総研の結果は4%弱とかなり差が出ている。
画像1.ゲームエイジ総研調査と公式アンケートの比較
ゲームエイジ総研の結果と公式アンケートの割合を比較すると上のグラフのようになる。見ての通り公式アンケート比較すると20代の部分で青とオレンジのゲームエイジ総研のデータが極めて低く、反対に40代で高くなっていることがわかる。また、2つの公式アンケートの結果がかなり近い結果になっておりユーザー層はかなり近いこともわかる。
結論
シンデレラガールズのアンケートとデレステ、765ASに関するアンケートとミリシタと完全に同じユーザー層ではないものの、かなり近いと思われるユーザー層のアンケート結果を比較してどちらもゲームエイジ総研の結果は異常に高い年代の割合が多く(特に40代)反対に若い世代(10~20代)の割合が少なくなっていることからも年代に関するサンプリングバイアスがかかっているのではないかという疑念が生まれた。
これは前述のスマートフォンの利用状況を記録するアプリのユーザーが40代を中心とした高い年代の世代が多いからなのではないかと考えられる。
感想
今回の調査に関してはちょうどこのデータが発表されたタイミングで個人的にミリシタPに向けて「担当アイドルとPは似るのか」といった調査を行なっており、4000件以上の回答で男女比が7対3になっていたのに対してゲームエイジ総研の結果が離れすぎていたことに違和感を覚えたから調べた結果なのだが、普通にただデータを見ていただけでは「なんか変だな」程度でわざわざ他の結果との比較まではしなかった可能性の方が高い。
つまり適当な信憑性の低いデータを見せられても割と信じてしまう事の方が多いということである。
このような大規模な調査は基本的に個人では調べることが不可能なためデータの正確さを確認することはできない。
そのような状況で代表性もきちんとチェックせずにデータを公開するというのは個人的には不誠実な行動だと思う(これでお金をもらっているのならなおさらである)ので改めて欲しいと思うし、そういったことを減らすためにも受け手側も本当にデータはあっているのか？といった部分に疑いを持ってリテラシーを育む必要があると感じた。