事实如此浪漫

减少研究偏见的最佳方式隐藏在平面上

N 20世纪70年代末,苏打水营销人员在国家的商场下降。他们给了购物者两个无标记的杯子,一个装满可乐和百事可乐的焦糖。询问了他们愿意的味道。百事可乐挑战是营销噱头,但它是基于经典的科学工具,盲目实验。如果一个人不知道哪种实验治疗是这样的,她的先入性不太可能影响她如何解释信息。盲目实验已被用来避免无意识的偏见200多年来并且是科学方法中最重要的工具。

然而,越来越多的研究人员表示,许多领域的科学家们常常无法使用盲目观察,即使它很容易这样做。最近,德克萨斯大学的Melissa Kardish和同学在奥斯汀调查了492名生态学,进化和行为研究。他们的分析,最近发表于生态和进化的前沿,从13本日记中提取的,从重量级的科学自然到低调的出版物,如美国博物学家.可以受到确认偏见的影响的实验,只有超过13%的人报告使用致盲。“如果你在任何领域询问任何科学家是否是致盲是重要的,他们会说,”Kardish说。“但我肯定认为这不是目前的标准。”

早在1935年,肉类测试者就发起了百事可乐挑战的早期版本。 Everett历史收藏通过Shutterstock

我们倾向于在医学背景下考虑盲法试验。临床试验中的患者通常不知道她是在接受安慰剂治疗还是实验治疗。通过这种方式,研究人员可以确定哪些影响是由于药物的化学成分造成的,哪些是由于患者相信某一治疗会起作用,即所谓的安慰剂效应。在一项双盲试验中,研究人员还对谁服用安慰剂和谁接受实验治疗一无所知。

在生态学这样的领域,盲目的研究对象是没有必要的,因为被研究的生物不太可能有内在的偏见。但致盲研究员仍然很重要,特别是当她期待一个特定的结果,而被测量的变量是主观的。然而,它在科学的许多分支中都未得到充分利用。那只蚂蚁伸展下颚是为了表示攻击还是仅仅是想要食物?(群居昆虫经常互相喂食,这个过程被称为营养轴。)如果一个昆虫学家预计蚂蚁是友好的,比如说,当她与来自蚁群的另一只蚂蚁互动时,她可能倾向于后者。另一方面,如果她不知道蚂蚁之间的关系,她可以毫无偏见地评估这个手势。

在许多情况下,失明并不困难。例如,研究人员可以使用任意代码识别样本,而不是公开将其标记为一种或另一种治疗方法。在上面的例子中,一名调查人员可能会跟踪蚂蚁的身份,而另一名调查人员则会对蚂蚁的行为进行评分。后一项工作是“天真的实验者”,因为她不知道治疗条件。但失明并不总是一种选择。例如,如果你需要受过专门训练的人来收集数据,那么一个天真的实验者可能是不切实际的。从逻辑上讲,远程现场位置的盲法是不可能的,在某些情况下,测试变量很难伪装。(例如,如果天真的实验者看到一个实验是为了测试传粉者是否更频繁地访问红色或蓝色的花朵,她可能会无意识地形成自己的假设,从而引入潜在的偏见。)尽管如此,即使你从卡迪什的分析中排除了这些例外,在剩下的可能存在偏见的研究中,超过四分之三的研究没有提到致盲。

可以是一些研究人员致盲,他们的研究并没有报告它吗?Kardish认为可能发生在某些情况下。她引用了一词 - 计数限制期刊作为一个原因作者可能不会报告致盲。

其他一些研究人员说,这是一个不太可能的解释,为什么这么多研究没有提到失明。澳大利亚国立大学(Australian National University)进化生物学家卢克·霍尔曼(Luke Holman)也研究过盲法,他说:“研究人员有动机宣称他们是盲法工作的,因为他们的研究更有可能受到期刊编辑和读者的欢迎。”霍尔曼即将发表的论文PLOS生物学记录了在整个生命科学中失明是多么罕见。“药物是最好的,”他指出,“但仍相当糟糕。”

“当您在同行评审的日记中发布某些内容时,标准应该是您必须盲目盲目的学习或州为什么不能。”

缺乏盲目性导致了一些令人不安的模式。2013年蚂蚁对巢友识别的研究分析研究发现,盲法研究显示,与未报告盲法的研究相比,巢友的攻击性水平要高得多。(蚂蚁的家庭生活显然不像人们想象的那样和谐。)在盲实验中,实验治疗对被测变量的影响程度要小得多。换言之,当研究人员预期某个结果而未能避免确认偏差时,他们的预期似乎影响了结果。nestmate分析得出结论,偏见带来的问题不足以使大多数研究无效,但霍尔曼说,情况并非总是如此。“观察者的偏见会产生巨大的影响,通常比正在研究的‘真实’差异更大,”他说。“有非常有力的证据表明,非盲研究比盲研究更能获得作者期望的结果。”

我们很早就知道,不进行盲测会影响实验结果。研究人员至少从20世纪60年代就开始研究不喝酒的影响。和作为菲利普球近期报道鹦鹉螺,科学充满了“扭曲的影响”,观察者偏见只是其中之一。但正如鲍尔所指出的,一场走向透明度和问责制的运动似乎正在进行中。越来越多的人关注致盲,这是在科学界推动清洁工作的一部分。“它似乎变成了一个热门话题,”迈克尔里奇(Michael Ritchie)表示进化生物学杂志卡迪什的研究也包括了这些研究。

许多研究人员说,解决这个问题的责任在于期刊。“当你在同行评议的期刊上发表文章时,”卡迪什说,“标准应该是你必须让你的研究变盲,或者说明为什么你不能让你的研究变盲。”

但期刊编辑说,从他们的角度解决这个问题并不容易。米歇尔·斯科特,《纽约时报》执行主编动物行为另一种在Kardish的研究中的杂志同意,同时认为她认为缺乏盲目的研究有“严重偏见的潜力”,她不想通过在董事会中要求它来失去良好的提交。“问题是如何使更多的研究坚持最佳方法,”她说。下一个动物行为必威开户官网斯科特说,通讯将包括一篇关于Kardish学习的文章,以帮助“宣传问题”。

里奇说,失明的话题是下一个议程进化生物学杂志八月份的编辑委员会会议。尽管他对制定硬性规定持保留态度,但他表示,“我希望我们会修改给作者的说明。”

一本日记可能已经写完了,还有成千上万的日记要写。与此同时,如何判断非盲法研究的结果呢?霍尔曼说,要谨慎。他说:“我个人认为,许多个人研究结果都是可疑的。”尽管如此,他补充道,“总的来说,我们通常会向真相靠拢。”


安德里亚·阿普尔顿是一位位于巴尔的摩的自由撰稿人。她的工作出现在Aeon,Al Jazeera America和高级国家新闻,以及其他地方。拜访她网站跟着她在推特上

加入讨论