|
|
|
|
|
2007/04/17 ふたつの事象の信頼度の検定方法
|
|
|
|
2007/04/17 必要試行回数ってどれくらい？
|
|
|
|
2007/04/17 比較検定で楽する、信頼区間応用
|
|
|
|
2007/04/17 確率は収束するのか！？
|
|
|
|
2007/04/17 「乱数と擬似乱数」幼稚園児編
|
|
|
|
|
|
|
|
|
検証の信頼性
|
良く何回くらい検証すればいいのか？なんて話を耳にしますが、単刀直入にいってしまえば確率は収束するわけでは
ないから何回やれば言いなんて事はないし多ければ多いほど「自分が得た結果の信頼区間」の判断ができるだけに過ぎないのよね。
ただ一般的に得たい事象の関わる確率が高いものはそれほど試行回数を増やさなくても期待値(理論値)に近い値が出やすい。
逆に確率が低い事象ほど試行回数を増やさなければ信頼に足る結果にはなりづらい。
具体的に数字で追ってみよう。
例えば0.1%の効果を調べる為に必要な信頼度を得る為にはどれくらいの試行回数が必要か？
√[p*n(1-p)]
これに当てはめてみると試行回数が1000回だった場合。
√[0.001*1000(1-0.001)]=√[1*0.999]=√0.999=約1
68%の信頼度で0回〜2回。95%の確率で0〜3回。99%の確率で0〜4回。
4回ってのは1000回の試行で0.4%。実に検証したい数値の4倍の誤差(負も合わせると8倍)が出ちゃうんじゃ話しにならないってコト。
んぢゃ10万回やってみよう。
√[0.001*100000(1-0.001)]≒√100≒10
期待値は100回事象が起こるのに対して68%の確率で90-110回の範囲内へ。95%の確率で80-120回の信頼区間となる。
これなら誤差は95%信頼区間でも20%程度となる。さっきよりは大分マシになったかな。
じゃぁ、FFで0.1%単位というのは殆どないだろうから1%単位での信頼度で許容できる範囲を考えてみる。
10万回同じようにデータを取った場合は
√[0.01*100000(1-0.01)}=√990≒31.5
期待値は1000回の事象に対して95%の信頼区間は±63。これは0.93%〜1.06%の範囲なので十分1%単位の信頼度としては使える。
同じように回数を減らしていくと・・・1万回では
√[0.01*10000(1-0.01)]=√99≒9.95
95%では80-120が信頼区間となるから、0.8%-1.2%の範囲で確率1%の事象に対する95%信頼区間がでた。ここら辺が限度かもしれない。
んぢゃ10%程度の確率の事象についての検証はどれくらいの試行が必要か？
試行回数を1万回で考えてみる。
√0.1*10000(1-0.1)]=√900=30
期待値1000±30なので970〜1030。95%の信頼度にすると9.3%〜10.6%の信頼区間が見えてくる。今回は10%幅での検定なので上下0.6%は
十分誤差としても影響を与えない範囲だと分かる。
これから考えるにFF内で考えられる大抵の事象に関しては試行回数1万回程度あることによってそこそこ信頼できる
データであるといえるかもしれないようなきがしないでもないわけもない。
信頼に足る試行回数の目安としては
1%誤差単位の検定をしたいのならば10000〜50000回程度の試行回数
5%誤差単位の検定をしたいのならば10000〜35000回程度の試行回数
10%誤差単位の検定をしたいのならば10000〜15000回程度の試行回数
ただ、個人で満足して推察する程度ならば〜5000回程度でもいいかな。
ただし、参考程度にしかならない。少ない試行回数でも比較検定をするだけなら十分役には立つのでそれは今度にでも。
最後に間違えちゃいけないのが確率がドンと増えて99%の確率事象を調べる場合。この場合は少ない事象でもいいのかって思ったら
大間違い。逆説的に99%は1%の事象を調べるのと同じ。なので回数はやはり多くなる。そう考えると一番近似値がでやすいのは
50%ということになるんだけどこれはただ単に50%の場合は0-100%までの区間を一番多く持っているからなので、見かけ上近似値が
出やすいように思うだけ。あくまで上記の通りで50%でも1%単位の誤差にしたい場合はうえの1%のところの試行回数は最低でも
欲しいということになる。
なんでかって？上に合わせると・・・・
50%の誤差単位の検定をしたいのならば1回の試行でよい。となるから。50%の±50%は全事象が含まれちゃうってことで。
|
|
|
|
|
|
|
