ソフトバンクさんが「つながりやすさNo1」というメッセージを出して、もう結構になりますが、どのぐらい繋がりやすいのでしょうか。
ぱっと見、96.8％、96.1％、96.0％というと、96-97%ぐらいの間でだいたい一緒じゃないか、と、見えます。
つまり、どこかに真の平均値があって、今回の平均値はこういう結果になったけど、測定誤差があって、この誤差がプラスマイナス0.5％ぐらいあると、真の平均値は入れ替わってしまう可能性があります。図式するとこんな感じ
この測定誤差がそこそこ大きければ、差が見つけられない＝No1でないということになります。
で、どうやったら測定誤差を小さくできるのかというと、サンプル数を多くすることです。(※1)
仮説X：A（ソフトバンク＝96.8%）とB（ドコモ＝96.1%）で差がない。
対立仮説Y：AとBに差がある。
有意水準1％で検定を行う。※2
とします。実際には2つの値について、p値を計算するという方法を取ります。このp値と言うのは、仮説が正しい可能性を表します。
測定数が400の時はこんな感じに平べったいグラフになり、2つの重なりが大きくなります。（図はイメージ）
この時のp値は57％。仮説Xが正しい確率が57％もあり、有意水準1％と較べてはるかに大きいので、AとBでは差が認められないということになります。
測定数を10倍にしてみましょう。すると、山が高くなります。（図はイメージ）
この時のp値は9％。随分小さくなりましたが、それでも重なりが大きく、仮説Xが正しい可能性が9％残ってます。有意水準を1％としているので、Aのほうが優位とは言い切れません。
そこで、調査対象数をさらに10倍にしてみましょう。もっと山が尖ります（図はイメージ）
この時のp値は0.0000089%。重なりがほぼないレベルまで激減しました。つまり、仮説Xが正しい可能性は、ほぼゼロに近いと言えるので、仮説Yが正しい、ということになります。つまり、「96.8%も、96.1％も、感覚的にはほぼおんなじじゃん」と思っても、それが4万件ぐらい調べた結果だとしたら、明確に差が見つけられる、ということになります。
で、今回、ソフトバンクが依頼した調査会社が行った対象は一体何件かというと、個々のページに記載してあります。ソフトバンク、ドコモ、au、各4万台を対象にして調査した、ということで、今回のこの結果は統計的にはNo1といって差し支えない、というレベルになりますね。良かったです。
※1 わかりにくいのですが、「同じサンプル数で実験を数限りなく繰り返した場合に、その結果になる確率」を調べます。400件で実験した結果、平均値がどの範囲に収まると思われるか。それがどのぐらいの確率でAとBでかぶるのか、というのが知りたいことです。それをn数を変えて検討しています。なので、この図は今回の試験結果を表しているものではなく、同じ実験を数多く繰り返した時に、それぞれの平均値はこうなる、というイメージを表しています。
※2 今回で言うとNo1かどうかを調べるので「Aの平均値はBの平均値よりも高い」ということを本来検定すべきです。なので、片側検定でやるべきで、n=4.000 の時ならp値は半分の4.5％程度にしなければなりません。ただ、今回は実際にはn=40,000でやっているので、そこにはこだわらずにやりました。
