多重検定(Multiple Test)

仮説検定では通常、ひとつの仮説の検定に5%の有意水準を設定します。しかし、5%というのは20分の1なので、20回の実験や調査を繰り返した場合、偶然で1回程度有意になってしまう難点があります。そのため、もし実験や調査の中に、データによってテストできる仮説が複数ある場合は、多重検定が必要です。

たとえば、あるサプリメントが健康によいという仮説を検定するランダム化比較対照試験を行う場合、どんな観点で健康に良いのかを、20種類の異なる指標で比較したならば、そのうちのひとつは偶然に有意になってもおかしくありません。そこで、多重検定の場合は、有意水準を引き下げるなどの対処をして、偶然による疑似効果を除去します。

ところが、悪意のある研究者や業者が、多重検定を怠って、有意になった仮説だけを発表している実態が指摘されています。こうした点からも、少数の肯定的データだけで支持されている仮説は信用に足らないと見られるのです。