简历阅读 -科学家的麻烦

关闭

你已经阅读了每月两篇免费文章中的一篇。了解更多。

关闭

科学家的麻烦

一位心理学家如何解决人类在科学上的偏见。

有时候,科学功能似乎令人惊讶。2005年,医学科学由挑衅性标题的纸张摇动......菲利普球

年代有时,科学的作用似乎令人惊讶。2005年,一篇题为《为什么大多数发表的研究结果都是假的》的论文震惊了医学界。1作者是斯坦福大学的医学教授约翰·约阿尼迪斯,它实际上并没有表明任何特定的结果是错误的。相反,它表明,报告的阳性结果的统计数据与人们应该保持的频率不一致预计找到它们。随着Ioannidis最近的结论,“许多公开的研究结果是虚假或夸张的,估计的85%的研究资源被浪费了。”2

这可能是因为一些研究人员正在出版其作品的自觉樱桃采摘的数据。而有些问题肯定会吓与期刊出版政策。但是虚假的调查结果问题往往与研究人员无意中自欺欺人开始:他们堕入认知偏差,以为诱惑我们走向错误的,但方便的或有吸引力的结论的共同模式。“眼看心理学和其他经验科学的重现率,我们可以肯定地说,东西是不工作的方式应该,”苏珊费德勒,在马克斯普朗克研究所的研究行为经济学家在德国波恩集体商品说。“认知偏差可能是原因的那一个。”

弗吉尼亚大学的心理学家布莱恩·鼻鼻喉科学说,科学中最常见和有问题的偏见是“动机推理”:我们解释了符合特定理念的观察。心理学家表明,“我们的大多数推理实际上是合理化的,”他说。换句话说,我们已经做出了关于该做什么或想想的决定,我们的推理“解释”是做我们想做的事情的理由 - 无论如何 - 无论如何。科学当然意味着比日常的想法更客观和持怀疑态度 - 但它有多少钱?

我意识到人类普遍存在偏见,但当我第一次“得知”科学家也存在偏见时,我有些惊讶,尽管这是显而易见的。

然而,哲学家卡尔·波普尔所支持的科学方法的证伪模型假设,科学家寻找方法来检验和证伪她的理论——问“我怎么错了?”-诺塞克说,科学家通常会问“我怎么说对了?”(或者同样地,问“How are”错误的?”)。当事实拿出暗示我们可能,其实不是之后的所有,我们倾向于解雇他们不相干,如果不是真的错了。现在臭名昭著的“冷核聚变”的插曲在80年代末,由电化学家马丁·弗莱希曼和斯坦利·庞斯策动,是充满了这样的特设刷取舍。例如,当有人指出来弗莱希曼和庞斯,从他们声称聚变反应的伽马射线他们能谱在错误的能源有其秒杀,他们干脆搬到了,嘟囔着什么含糊不清的校准。

Sapolsky_TH-F1

教训一个年轻的科学家

我有时会担心,许多喜欢科学事业的人会因为狭隘而过时的科学概念而却步。“科学家”这个词仍然会让人联想到一个酷似爱因斯坦的超凡脱俗的形象(男性和老年人)或者……阅读更多

统计数据可以通过数字的力量似乎提供了喘息的机会偏见,但他们也同样充满。在荷兰的蒂尔堡大学的克里斯Hartgerink作品上的“人为因素”的统计数据集合中的影响力。他指出,研究人员常常把假确定性队伍的统计数据。“研究人员,像人一般,都是不好的约概率的思维,”他说。虽然一些结果肯定是假阴性,也就是说,结果出现错误地规则出来的东西,Hartgerink说他没读过了一份文件,总结尽可能多的有关调查结果。他最近的研究表明,多达三分之二的心理学论文报告非显著结果可以俯瞰假阴性。3.

鉴于科学已经揭示了令人眼花缭乱的各种认知偏差,相对忽视它们在科学本身的后果是很奇怪的。“我意识到人类普遍存在偏见,”哈特林克说,“但当我第一次‘了解到’科学家也存在偏见时,我有些惊讶,尽管这是显而易见的。”

你相信吗?:1989年,Martin Fleischmann和Stanley Pons声称在测试管中的室温下产生了融合反应(如上所示的样机)。当我们指出的时候,从他们所要求保护的反应中发出的伽马射线的能谱使其在错误的能量中具有尖峰,它们只是移动了钉子。 乔治弗雷/盖蒂图像


一个对这种情况的共同回应是争辩说,即使个别科学家可能欺骗自己,其他人毫不犹豫地批准批准他们的想法或他们的结果,所以这一切都在洗涤中出现:科学作为公共活动是自我纠正的。有时这是真的 - 但它并不一定像我们想相信的那样快速或顺利发生。

诺塞克认为,同行评审有时可能会积极地阻碍对科学主张的明确和迅速的测试。他指出,2011年,意大利的一个物理学家团队报告了中微子的证据这种明显比光速快的运动(违反了爱因斯坦的狭义相对论),4检查和驳斥5,6非常迅速得益于通过开放访问存储库分发纸张预印的高能量物理学的高效系统。如果该测试依赖于通常的同行评审渠道,它可能需要多年。

类似的,当研究人员建议科学2010年,砷可能替代一些微生物DNA的磷的索赔,这将重写生命的基本化学原则 - 进行后续研究的研究人员,试图复制调查结果觉得记录她的研究结果很重要开源博客上的持续结果。这与原始研究团队相反,他们被批评未能报告任何后续证据支持他们的争议索赔。7

同行评议似乎是一种更容易出错的工具,尤其是在医学和心理学等领域。可重复性的危机“证明。医疗记者伊万奥桑基和科学编辑亚当马库斯曾经运行过服务收缩手表,以这种方式:“当科学工作设计时,随后的发现增强,改变或完全破坏早期的研究......问题是在科学 - 或者更多准确,科学出版 - 这一过程很少地按照指示工作......大多数,如果不是大多数,那么今天在科学期刊上发表的是什么,如果另一位实验室再次尝试实验,并且,可能不会有可能持有任何可能持有的。那。”8

其中的科学文献变得歪斜的原因之一是期刊是更可能比公布阴性结果阳性:它很容易说些什么是真实的,而不是说这是错误的。杂志裁判可能会倾向于拒绝消极结果太无聊了,研究人员目前很少得到信贷或状态,从出资人或部门,从这样的调查结果。“如果你做20个实验,其中一人可能有一个发布的结果,” Oransky和Marcus写。“但是,只有发布该结果不会使你的调查结果有效。事实上,它是完全相反。”9

“就像许多研究生一样,我在研究方法时,我对科学工作如何破坏的理想主义。”

Oransky认为,虽然科学的所有激励措施加强了确认偏见,但出版物的紧急情况是最有问题的。“为了获得任期,补助和认可,科学家需要在主要期刊中经常发布,”他说。“这鼓励积极和”突破“调查结果,因为后者是赚取引文和影响因素的原因。因此,科学家愚弄自己在实验结果中看到完美的开创性结果并不令人惊讶。“

鼻子同意,称最强的扭曲影响之一是赋予Kudos,Tenure和资金的奖励系统。“推进我的职业生涯,我需要尽可能频繁地发布,尽可能频繁地发布。这意味着我必须制作更有可能出版的文章。“他说,这些是那些报告积极成果的结果(“我已经发现了......”,而不是“我已经被驳回了......”),原始结果(从不“我们确认以前的发现......”),以及清洁结果(“我们展示了......“,不是”这不清楚如何解释这些结果“)。但是“实验室中发生的大部分都看起来不像那样”,鼻子说,它是糊状的。“我如何从糊状物到美好的结果?”他问。“我可以耐心等待,或者幸运 - 或者我可以采取最简单的方法,经常对我选择哪些数据以及我如何分析它们的无意识的决定,使得一个清洁的故事出现。但在这种情况下,我一定要在我的推理中偏见。“

乌托邦:Brian Forek正在追求科学乌托邦,在这种科学中摆脱了动力推理和确认偏见。 礼貌的Brian鼻子

不仅糟糕的数据和错误的想法可以存活下来,好的想法也可能被积极的推理和职业压力所压制。建议由遗传学家问麦克林托克芭芭拉在1940年代和50年代,一些染色体DNA序列可以“跳”,和1980年代由生化学家斯坦利Prusiner蛋白质称为朊病毒可以折叠成完全错误的形状,从一种蛋白质错误折叠可以传播到另一个,这两名研究人员都遭到了无情的嘲笑,直到他们被证明是正确的并获得了诺贝尔奖。对大胆主张的怀疑总是有理由的,但回顾过去,我们可以看到,有时它更多地来自于无法逃脱流行图景的偏见,而不是对证据质量的真正怀疑。诺塞克说,麦克林托克和普鲁西纳的例子说明,当证据的重要性要求科学自我修正时,它是会自我修正的,但“我们不知道有哪些类似的观点被完全抛弃,从未被追求过。”

当然,科学家们对此有一定的认识。许多人赞同哲学家托马斯·库恩的理论,即科学经历了突然的范式转变,整个领域的主流智慧被削弱,一个全新的图景出现了。在这些转变之间,我们看到的只是符合普遍共识的“正常科学”——直到异常现象的累积产生足够的压力,打破壁垒,形成新的范式。经典的例子是20世纪初量子物理学的出现;18世纪化学中的燃素概念——一个被拉瓦锡的氧理论推翻的所谓“燃烧原理”——也符合这个模型。马克斯·普朗克(Max Planck)的一句名言提出了另一种方法来克服科学中的这种先入之见:“科学一次推进一个葬礼。”守旧的人死了,新思想才有突破。


T他在科学中的角色在心理学的研究生中发表明确。“就像许多研究生一样,当我参加研究方法时,我对科学工作如何破坏的理想主义”。“在那个课堂上,我们阅读了大量的论文,即将到20世纪50年代的旧文章,通过20世纪70年代的文章关于出版物偏见,低通量的研究设计,缺乏复制,发表的文章中的方法的潜在途径,缺乏进入原始数据,和偏向无效结果。“

从那以后,诺塞克一直致力于使科学工作变得更好。10.他相信,通过将这些偏见公之于众,科学的进程和进步将会变得更加顺畅——这意味着研究方法、假设和解释将更加透明。“解决这些问题并不容易,因为它们是文化上的挑战——没有一个人能改变一种文化,”他说。“所以我从我能控制的问题开始:我的研究设计的力量。”

令人惊讶的是,Nosek认为,解决科学认知偏差最有效的方法之一可能来自于药理学,而这个学科最近因其容易出错和自欺欺人的方式而受到了最严厉的批评。正是因为这些问题在制药行业如此明显,在诺塞克看来,在处理这些问题方面,制药行业远远领先于其他科学领域。例如,众所周知,制药公司及其合作者都倾向于报告试验的积极结果,淡化消极结果,因此美国现在的法律规定,所有临床试验在开始前都必须登记。这迫使研究人员无论他们说什么都要报告结果。

诺塞克为研究制定了一个类似的预注册计划,称为开放科学框架(OSF)。他已经计划了多年,但它真的起飞,当前软件开发人员杰夫间谍在2009 - 2010年加入了他的实验室,并将其作为论文项目。“很多人参与其中,它很快就变得更加越来越大,”鼻子说。“我们开始了一个网站的OSF,一个社区和资助者聚集在一起。”鼻子和间谍被覆盖了开放科学中心该机构现在负责管理OSF,并能够免费提供服务。

这位想法说,鼻子,研究人员“提前写下他们的学习是什么以及他们的想法。”然后,当他们进行实验时,他们同意严格地在原始计划的范围内严格分析结果。它听起来完全是小学的,就像我们教孩子如何做科学的那种东西。事实上,它是 - 但很少发生什么。相反,正如Fiedler证明的那样,分析基于各种未定的,通常无意识的假设是关于或不会被看到的。Forek说,使用OSF的研究人员往往是惊讶的,当他们来看待他们的结果时,该项目从他们所说的原始目标分歧。

哈特林克说,通常会出现意料之外的结果。“如果问任何一个公众,这样做是否可以,他们会说不行。”

费德勒曾使用过这项服务,他表示,这项服务不仅使研究保持诚实,而且使其运行更加顺畅。“在OSF的预注册迫使我提前考虑所有细节,在我开始收集数据之前,项目和一些写作就已经完成了,”她说。“有了这种意识,我就能区分哪些结果值得信任,哪些结果不值得信任。”不仅仅是她:让整个过程透明,“让其他研究人员有机会判断这个结果是否值得他们花宝贵的研究时间。”

陈述您的目标也是检查您知道自己是什么的好方法,他也是OSF用户。“一旦我们决定这样做,我们注意到解释假设本身很难” - 迹象表明他们实际上并没有明确制定。“如果您想测试假设,则在技术上是技术上,如果您想测试假设,”他的结论是。Fiedler说,在过去的一年中,她和她所有的博士学位。学生使用了OSF方案。“通过这样做,我已经学会了这么多,我只能在我们的工作中推荐给每个人,”她的空气。

HARTGERINK说,OSF和往常之间的区别与往常一样相当大。由于大多数研究人员只在进行研究后才能写作稿件,因此假设未在明确倒入之前。“这导致一旦结果所知的假设更有利的制剂。”爱荷华大学奥纳斯特奥博博省的心理学家和他的同事称这种偏见使得回顾性呈现结果更美丽的“克莱斯效应”。Hartgerink说,一种后果是,它是常见的呈现意外结果。“在普遍公众询问任何人是否可以做到这一点,他们会说它不是。然而,长期以来一直是科学的常见事物。“

通常,在假设和目标中的这种转变恰好发生,甚至没有识别。“在设计实验的有时长过程中,收集数据,分析它,并将结果呈现给我们的科学同事,我们的方式看待一个问题和相应的结果发展,”Fiedler说。“我们可能会忘记失败的原始测试,并将我们的新见解呈现出基于相同数据的不同问题。”她说:这种科学方法有很多价值,她说:发现无法预料的联系非常重要。但这不仅转移了研究的球门柱,它还可以带领研究人员“对可能的杂散效果付出太多信任”。OSF力量研究人员离开球门柱他们在哪里。


但如果您在完成实验之前选择将自己约束为狭隘的目标,您不关闭潜在的肥沃途径,以至于您无法预见到?也许,鼻子说,但“从数据学习”不是达到可靠的结论的方式。“目前我们混合了探索性和确认研究,”他说。“总是被遗忘的一个基本事实是你不能生成假设用同样的数据测试它们。”如果你发现了一个有趣的新线索,你应该单独跟进,而不是以某种方式告诉自己,这就是这个实验一直以来的目的。

Fiedler争论预先登记将杀死创造力和自由的指控。“这不是每个人都必须做的事情,”她说,并在没有明确的假设试验议程的情况下收集数据的探索性研究仍然存在一个重要的地方。但我们需要保持视野中的区别。

主要的障碍,Hartgerink认为,是教育:研究人员根本不建议这样做事。但他们做得更好。“如果年轻的研究人员不从现在开始应用这些技术,”他说,“他们可能会发现自己在10年后座议员,因为它正在成为常态做你的研究可重复的,透明的,开放的态度。”

最终,诺塞克将目光投向了一个“科学乌托邦”,在这个乌托邦中,科学成为一种更有效的知识积累手段。然而,没有人声称OSF将是让我们到达那里的灵丹妙药。正如Oransky所说:“一个更大的问题是让科学家停止欺骗自己。这需要消除动机推理和确认偏差,我还没有看到任何好的解决方案。”因此,与OSF一样,Nosek认为必要的重组包括开放获取的出版,以及开放和持续的同行评审。也许,我们无法摆脱偏见,但我们可以软化它们的诱惑。正如Nosek和他的同事,以色列本-古里安大学的心理学家Yoav Bar-Anan所说,“改变的关键障碍不是技术或财务上的;他们是社会。虽然科学家们保持现状,但他们也有能力改变现状。”


菲利普球是作者看不见:看不见的危险诱惑还有许多关于科学和艺术的书。


参考

1. ioannidis,J.P.A.为什么大多数公布的研究发现都是假的。《公共科学图书馆·医学》杂志上2,E124(2005)。

2.如何使更多发表的研究成为现实。《公共科学图书馆·医学》杂志上11.,e1001747(2014)。

3. Hartgerink,C.H.J.,Van Assen,M.A.L.M.,&Wicherts,J.太好了是错误的:无重大结果重新审议。开放科学框架https://osf.io.(更新日期:2015年4月7日)检索自https://osf.io/qpfnw/

4.Antonello, M。等等。在CNGS束上用ICARUS探测器测量中微子速度。预印本arXiv: 1203.3433(2012)。

5. Brumfiel,G. Neutrinos不比光更快。自然新闻(2012)。从DOI检索:10.1038 /性质.2012.10249

6. Cho,A.再次,物理学家揭穿更快的中微子News.sciencemag.org(2012)。

7. Hayden,例如,开放式研究对砷的生活表示怀疑。自然新闻(2011)。从DOI检索:10.1038 /新闻.2011.469

8. Oransky,I.与一块滚石不同:科学比自我纠正的新闻更好吗?http://theconversation.com.(2015)。

9. Oransky,I.与一块滚石不同:科学比自我纠正的新闻更好吗?www.iflscience.com.(2015)。

10. Ioannidis,J.P.A.,Munafo,M.R.,Fusar-Poli,P.,Forek,B.A.,&David,S.P.出版物和其他报告偏见在认知科学中:检测,普及和预防。认知科学的趋势18.,235-241(2014)。

加入讨论