意味の有る何か

科学とはちょっと違うかもしれませんが、無駄知識ということで。

例えばコインを10回投げて、表が10回連続で出る可能性は約0.01％です。
実際目の前でやってみて、それが起こってしまったらどう考えますか？

「すごい、運がいい」
「ありえない事じゃない」
「何かトリックがあるんじゃないの？」

考える方向性は様々でしょうが、統計学的に見るとこういう結果は「意味のある事象」として捉えられます。
その基準を「有意水準」と呼び、偶然以外の何かが働いたに可能性があると考えるのが通例。
この有意水準は一般的に5％で設定されますが、分野によっては10％で設定されたり1％で設定されたりする。
最初の話を再び例に出すと、 有意水準を1％に設定した場合、

4回連続で表が出る確率・・・6.25％
5回連続で表が出る確率・・・3.12％
6回連続で表が出る確率・・・1.56％
7回連続で表が出る確率・・・0.78％
8回連続で表が出る確率・・・0.39％
9回連続で表が出る確率・・・0.19％
10回連続で表が出る確率・・・0.097％

となるので、6回までは十分に起こりえると判断され、7回以上は有意水準に達しているので偶然とは考えにくい、と解釈されるわけ。
ただしこの有意水準だけで判断すると、当然二つの間違いが出てくる事になる。

1.タイプⅠエラー（第一の過誤）・・・本当に偶然なのに、偶然じゃないと判断してしまう。
2.タイプⅡエラー（第二の過誤）・・・偶然じゃないのに、偶然と処理されてしまう。

1はそのままですね。例え確率が0.01％でも、絶対起きないわけじゃない。
2は例えば有意水準1％のところに、イカサマして1.1％を続けて出しても場合によってはイカサマとバレない場合があるってこと。極端な例ですが。

確率を考える時は、有意水準に着目しつつ常にこのタイプⅠ・Ⅱエラーの可能性を考慮する必要がある。
まぁ信じすぎてもいけないし、疑いすぎてもいけないってところかな。