30件だけを検証した時点では169%。
数字だけを見れば、かなり有効な施策に見えます。
ところが、検証対象を303件まで増やしてみると、結果は87%まで低下しました。
今回の放送では、この事例をもとに、
・少ないデータで好成績が出る理由
・一部の大きな結果に全体が引っ張られる危険性
・「結果が良かった」と「再現性がある」の違い
・検証数を増やすことで見えてくる本当の実力
・都合のよい期間や条件だけを切り取らないための考え方
についてお話ししています。
30件で169%という結果が間違いだったわけではありません。
ただし、その数字だけで「この方法は有効だ」と判断するには、データが足りなかったということです。
施策、予測、投資、副業、広告運用など、数字を根拠に意思決定している方に共通するテーマです。
良い結果が出たときほど、すぐに成功と決めつけず、
「対象を増やしても同じ傾向が続くのか」
「一部の例外的な結果に支えられていないか」
「別の期間でも再現できるのか」
まで確認することが重要です。
数字は嘘をつきませんが、切り取る範囲によって、まったく違う結論に見えることがあります。
#データ分析 #検証 #再現性 #期待値 #回収率 #数字の見方 #副業 #AI活用
▼詳しい検証結果と内訳はこちら
30件で169%だった施策が、303件測ったら87%になった話
https://note.com/fp_strategy/n/neb05de5daaac