仮説検定(Hypothesis Test)

たとえば、あるサプリメントがダイエットによいという仮説を検定するランダム化比較対照試験を行った場合、サプリメントを摂取した実験群に対照群よりも有意な効果があったと統計的に示す方法。通常５％を有意水準と設定して、偶然ではそれを下回る確率でしか起きそうにないとき、仮説が支持されます。

しかし、５％というのは20分の１なので、20回以上の実験や調査を繰り返した場合、偶然で１回程度有意になってしまう難点があります。失敗実験がお蔵入りになっている(お蔵入り効果)と、疑似的な効果が容易に検出されてしまうのです。