你们说的这个实验结论，它可靠吗？( 二 ) 在科学或医学领域

文章图片
在其他一些领域，情况可能更为复杂。不少人认为，统计学真正棘手的地方是社会科学和医学。例如， 2005年，一篇题为《为什么大多数发表的研究结果都是错误的》论文指出，如果能够以足够多的方式去研究大型数据集，就能很容易地找到符合统计显著性的通常标准的例子，即便它们实际上只是随机变化。如果一台计算机浏览了数百万种可能性，即使结果看似达到了5σ的显著性水平，一些满足标准的随机模式仍然可能被发现。
当这种情况发生时，研究人员不会发表那些没有通过显著性检验的结果，而是选择发表一些随机相关性，这样反而会让人觉得是收获了真实的发现。所以最终发表的其实只是侥幸。
其中一个例子是，过去十数年发表的许多论文都声称，某些行为或思维过程与磁共振成像（MRI）捕捉到的大脑图像之间存在着显著的相关性。但有的时候，这些测试发现的显著相关性，其实只是系统中自然波动的结果，也就是噪声。 2009年，一位研究人员“重复”了其中一个关于面部表情识别的实验——他扫描了一条死鱼，并发现了“显著”的结果。
【你们说的这个实验结论，它可靠吗？】Tsitsiklis说：“如果你在足够多的地方寻找，你就会得到这样一个‘死鱼’的结果。 ”相反在许多情况下，统计显著性较低的结果仍有可能“告诉你一些值得研究的事情” 。
符合公认的“显著性”定义，并不一定就意味着它就是“显著”的，这完全取决于整个故事的背景。
参考来源：
https://news.mit.edu/2012/explained-sigma-0209
来源：原理
编辑：dogcraft
1.2.3.4.5.6.7.8.
10.