复读-ISIS是如何破坏我的调查问卷的

关闭

你已经阅读了每月两篇免费文章中的一篇。了解更多。

关闭

ISIS是如何破坏我的调查问卷的

我感受到了恐怖组织袭击的影响。为什么我的研究数据没有呢?

我走进贝鲁特Achrafieh的星巴克,感觉所有人都在盯着我。我不自觉地拽着我的顶部,可能会让事情变得更糟

走进贝鲁特Achrafieh的星巴克,感觉所有人都在盯着我。我不自觉地扯着自己的上衣,这可能会让事情变得更糟,我想:1)我看起来像一个随和的西方人;b)我看起来像个衣衫褴褛的人吗(与整洁的黎巴嫩人相比);我的鞋在这个国家是不是怪怪的(我想是的);或者d)我脸上有东西吗?这种感觉既能反映我的心理状态,也能反映任何人的判断,我从过去的实地调查中知道,自我意识会随着时间的推移而减弱。但现在时间还早,所以即使是我的命令也会被小声地说,还得重复,内心也在萎缩。

然后我很快就找到了一个空座位,所以我没有注意到我实际上被困在里面,根本无法轻易接近任何人。这一切都相当灾难性。我想咖啡肯定会有帮助;但是喝了之后,我不能说我感觉好多了。路过的那个女孩被她的Kindle卡住了,不愿意和她眼神交流。有个男人眼神交流太多了,我不想和他说话。我不想打断两位老人的讨论。有一个傲慢而性感的女人,我甚至看着她都觉得很寒酸,她用长长的红色指甲轻敲着diamante的iPhone。

我坐在那里的时间越长,情况就越糟,因为我已经四处张望太久了,然后什么也没做。我要搬到下一家咖啡馆吗?那就是承认失败,我知道在其他任何地方都不会轻松。最后一次环顾四周,我发现一张可爱漂亮的脸,独自坐着,望着窗外。我走过去,她笑了。“对不起打断一下,你会说英语吗?”我用英语可怜地说。她点了点头。“你是黎巴嫩人吗?”又点了点头。“我正在做一些研究……”

当材料,即标的物本身对调查条件作出反应时会发生什么?

我的第一个调查问卷是119份,如果我要得到统计分析所需的数字,心理学同事说。我自己去那里是为了获得人类学研究的经验,但同样的实地考察被用于心理学实验——这两种方法都被用于调查道德价值观和群体间的冲突。鉴于问题的团体是宗派(我专门看基督教,逊尼派和什叶派,三大忏悔在黎巴嫩教派),这是敏感的东西,在一个国家被血腥,15年来宗派内战(1975 - 1990),只有结束停火协议和基本的政治改革,保持基本的宗派政治体系不变。这个心理学实验的问卷是经过精心准备的,有许多试点版本,也有许多学者的反复检查,但在一定程度上是为了引起敌对情绪,以引起某些反应。“问卷调查也让我感到不舒服,”我向参与者承认,“我更喜欢和人们交谈,以了解他们的想法。”这会让人们开怀大笑,敞开心扉,或者大笑着问我到底为什么要做我不喜欢的研究——这反过来又会让我大笑,让对话继续下去。

Sapolsky_TH-F1

压力让你生女儿,儿子让你自由

西北大学(Northwestern University)经济学家查尔斯·曼克斯(Charles Manksi)称之为“反思问题”:我们如何知道A正在影响B,还是相反?没有进入每个人的大脑,也没有在他们的互动中观察到每一个微妙的非语言线索,……阅读更多

尽管调查问卷是一项复杂的实验,但它似乎只是一种简单的工具:和人们坐在一起,问他们一系列一致的问题。这个作品是为我所属的一个国际跨学科联盟——Artis international所做的,该组织研究冲突,希望通过制定公共政策来减少冲突。但当我在咖啡馆和城镇中穿行时,我开始思考——我是否在收集信息,以便按照心理学家和人类学家构建的模型进行整齐地分类、分类和处理?或者我是否在任意的时间和空间与人进行复杂的互动,以我或任何人都无法精确捕捉的方式?


T如何划分知识的问题占据了许多哲学家的注意力,尽管从主题来看似乎很简单。动物学研究动物、历史、心理、地球、文学以及文学。出于历史和现实原因,大学主要遵循这些学科划分;也就是说,它们是从中世纪的亚里士多德大学继承下来的,但是这个体系还有一个优势,就是把思考相同事情的人聚集在一起,并可以分享想法和结果。世界是分为事物的,我们对这些事物的调查反映了这些划分。

然后,当然是边界区域或重叠部分。古生物学和动物学研究同样的双壳类藏品,既有化石的,也有最近的,以研究和教授进化论;历史和文学深入研究过去的社会习俗和习俗,通常使用相同的文本;人类学、心理学和社会学都研究人及其与文化背景的相互作用。那么,当主题相同时,我们如何进一步区分学科呢?方法论,我们可能会想,或者,与此交织在一起的,是对材料提出的问题和每个学科尝试的答案。

然而,这幅图依赖于这样一个假设,即有坚实的、健壮的、不变的“材料”可供质问,每个实践者依次前来查看、探究、提出问题,然后带着他们的结论返回,以回应他们的问题。但是当材料,主题本身对调查条件有反应时,会发生什么呢?最著名的例子是量子物理和波粒二象性;像电子这样的粒子,当用双狭缝观察时表现得像波(会出现干涉图样),而当粒子被电磁力散射时。两种形式都不能解释所有粒子的特性。

人们可能会以一组他们自己可能不认识的特征和行为出现。

人和亚原子粒子一样,对它们被研究的方式有反应:我们从个人经验和学术上都知道这一点,各学科已经发展出大量复杂的方法来规避这些趋势。心理学家尽可能地重复他们的实验,在统计数据中,那些顽固抵抗的实验对象被视为异常值。

“从历史上看,”社会研究新学院(New School for Social Research)心理学博士后、我在阿蒂斯国际学院(Artis International)的同事哈马德·谢赫(Hammad Sheikh)说,“这种方法源自天文学,”他指的是重复观测的平均结果,以弥补仪器或环境条件不完善造成的误差。“心理学借用了这种方法(和术语):使用心理学工具(如问卷)进行大量观察(受访者被视为重复测量),然后将结果汇总以消除测量误差。”

生活的数据:2014年3月,受试者在黎巴嫩美国大学贝鲁特校区(贝鲁特哈姆拉地区)填写问卷。 丽迪雅威尔逊

这种方法有一个明显的危险:在寻找潜在结构时过于一般化,忽略异常(“统计异常值”)而不是追踪其重要性的风险。还有更糟的。说:“心理学寻找共性Scott Atran法国国家科学研究中心的人类学家约翰杰伊学院,牛津大学和密歇根大学的,“由本质论污浊,相信固有的现象问题有一组固定的,不可剥夺的特征使它是什么。”

人类学家也被宇宙的诱惑所吸引。例如,牛津大学(University of Oxford)的人类学家哈维·怀特豪斯(Harvey Whitehouse)认为,应该利用历史信息而不是心理学信息来发现人类行为的潜在模式,他将自己的研究纳入了进化认知心理学。但许多人对这种方法持谨慎态度,对寻找这种包罗万象的理论感到不安。卡内基梅隆大学(Carnegie Mellon University)霍华德·海因茨大学(Howard Heinz University)教授巴鲁克·费施霍夫(Baruch Fischhoff)告诉我:“社会科学家的内心和他们的方法都是简化主义者。”“他们希望对复杂的现象有简单的描述,”他说。

Fischhoff、我自己和Atran都担心本质主义可能意味着对关键特征的过度简化和盲目性,如果它们超出了现有理论的范围。当应用于人类这一复杂、多变、模糊的实体时,这尤其正确。人们可能会以一组他们自己可能不认识的特征和行为出现。受访者在黎巴嫩会问为什么没有关于他们的国际背景,例如,它不会是一个因素在许多国家,但巨大的国家里,很多人搬走了内战期间,抚养孩子,现在成年人,在欧洲,北美,阿拉伯海湾,北非,等等;在那里,很多人接受英语或法语教育,然后出国留学,也许一年,也许在他们的新家定居几年;在那里,许多人在世界各地工作,把钱寄回家(黎巴嫩人在其他阿拉伯国家工作不需要签证)。当目标是理解基于基本而非偶然特征的人类行为的底层结构时,这种国际风格及其对反应的影响就不会被捕捉到。

谢赫对这个问题并不感到不安:“拥有这些信息是有用的,因为在数据分析中可以潜在地控制它,”当我指出这一回应时,他同意,“但它不是关键……所有这些可能改变个人反应的因素在测量中都被认为是“噪音”。这些方法的设计目的是消除这种噪声,只要样本足够大就能工作。”

在这个领域,“不准确的仪器”,即测量误差的来源,是实验者自己:在任何可能的人类是人类的世界中,采访者和被采访者之间的互动都不可能保持完全相同——这就是所谓的“实验者偏见”。这可以通过标准化介绍、问题、环境等来保持在最低限度,虽然不完全,但在实验室条件下,通过聚合和平均足以消除错误。使这一过程极为复杂的是在实验室之外进行实验,尤其是在黎巴嫩这样一个文化多样化、社会分化、冲突不断的国家。


保持我的开场白不变(或多或少),但每个解释都不可能有一个完全相同的脚本,尤其是因为当陌生人要求人们填写至少需要半小时的问卷时,人们的反应非常不同。有些人欣然接受,几乎不听指示。其他人很自然地问“它是为了什么?”或者“它是关于什么?”或者更可疑的“你是谁,你在哪里工作?”(作为中东白人西方人的永恒负担是怀疑你是间谍)。其他人想直接就这个话题进行对话,我必须温和地劝阻他们,向他们保证之后会有时间交谈。但至关重要的是,我不能用相同的短语回答每个人,因为他们以不同的方式提出不同的问题,我的解释也因教育背景、语言水平和共同文化背景的程度而异。例如,人们可能会开一个我回应的玩笑,与我为了交流而换成阿拉伯语的人建立不同的关系,如果有人开玩笑,我肯定会错过,更不用说回应了。

更不用说其他无法控制的变量,比如背景噪音、停电、受访者那天做了什么、睡了多少觉、朋友的相貌、电话等等。田野调查是一件让人类学家高兴的混乱的事情,但让心理学家悲伤。当然,这不是一场灾难。谢赫承认,是的,数据在实地更“嘈杂”,但对于分析来说,你只是“需要更多的参与者,而不是实验室实验来弥补控制的不足”。因此,至少需要120名受访者,在我的实地调查中,有一个数字在我的脑海中不停地嘀咕着,结果令人痛苦地缓慢。但是数字游戏带来了其他的挑战,因为朋友和家人经常被传给我来帮助我,这带来了谢赫所描述的“观察的独立性”的缺乏。

主观性?心理学家谢赫是个愤世嫉俗的人。他告诉我:“大多数研究心理学家认为,人类的主观体验与他们行为的‘根本原因’没有直接关系。”。他指出了1977年的一项里程碑式的研究,在该研究中,参与者被要求从多双尼龙长袜中进行选择,然后给出他们做出决定的原因。参与者很快就同意了,描述了柔软和温暖等一系列品质。但事实上,这两对是完全相同的,大多数参与者选择右边的一对。谢赫说:“选择的主观原因与选择没有任何关系。”。“自从这项研究以来,有大量研究证明了洞察力和原因的独立性。因此,心理学家对参与者的主观洞察力非常怀疑。相反,他们试图用统计方法揭示心理变量之间的关系。”


W当我第一次在这个领域接触心理学五个月后回来的时候,从主观上看,事情似乎很不一样。不仅仅是因为贝鲁特八月的低气压、潮湿的高温与地中海三月的春天空气的对比,还有显而易见的不安感。伊斯兰国组织刚刚袭击了黎巴嫩境内的阿索尔镇,短暂占领了一些土地,杀害和绑架了黎巴嫩士兵,然后被赶回了叙利亚边境。考虑到民众对内战的经历在许多记忆中仍然强烈,这种恐惧是真实的、发自内心的:他们知道战争会给他们的国家带来什么。

在3月份的第一个星期左右,我一直在改进我对潜在受访者的方法,并在人们开始问卷调查并发现其宗派性质后,针对我遇到的任何阻力制定对策。所以我想我可以在六个月后开始工作。但是没有。

在几天的问卷调查中,回复的问卷上没有宗派的自我认同(这让它们对统计毫无用处),我不得不得出结论,这不仅仅是一连串不幸的遭遇。肯定发生了什么事。我开始在每个人身上花更多的时间,使用我之前开发的相同类型的短语,但更加深思熟虑,并在每个受访者身上花更多的时间。在一段较长时间的初始对话和完成问卷后,参与者通常想要更多地交谈,这是我渴望做的,但这意味着研究往往非常缓慢。120;120;120仍然在我的脑海中挥之不去,挥之不去——所以我延长了工作时间(最后还聘请了研究助理——这又开启了另一个难题)。

我开始问:“为什么我这个月的研究比3月要困难得多?”我会告诉参与者,问卷已经被调整了,去除了许多有问题的问题,但回答实际上是更糟糕的是.很多人开始闪烁其词:“你可能找错人了。”但在推动下,本月早些时候ISIS对阿索尔的袭击将会发生。我被告知,它影响着黎巴嫩的一切:一个恐惧的背景。

在这一领域进行了数周的研究后,我自己的数据中漏掉了一个最生动的观察结果。

“没有比战争的声音更响亮的了,”一位20多岁的基督徒说;“当我们听到这样的声音时,我们无法想到这些问题。”他的朋友插话道:“战争已经来到黎巴嫩的土地上,我们黎巴嫩人知道战争。”其他人也附和着这样的观点:“我们必须在这个时候团结起来,因为我们知道还有什么选择,并且知道我们可以通过内战摧毁彼此。”

我认为,这是我的心理学同事们的完美素材:与3月份的反应进行比较,可以得出人们在压力时期对外部群体的态度的各种信息。也许面对共同的敌人,这个国家的统一程度会提高?

没有那么快。随着对话的展开,我在3月份观察到的宗派主义和以往一样强烈。如果我问到比内战更具体的恐惧(“你认为伊斯兰国组织会再次尝试吗?”你认为黎巴嫩军队足够强大吗?等等),担心军队会如何分裂,尤其是在基督徒受访者中(“穆斯林有强大的民兵组织,他们会叛变加入他们,而不是效忠于黎巴嫩军队”);逊尼派常常害怕报复给伊斯兰国家组织的宗教身份和伊拉克和叙利亚所示的宗派暴力(“这不是我们的伊斯兰教,我们这里从来没有极端分子”我被告知很多次,“但我们仍将与伊西斯因为我们是逊尼派”)。与3月份相比,什叶派真主党在调查中被列为主要威胁的频率要低得多,但在长时间的对话中,他们仍将该国面临的许多威胁归咎于他们(他们在叙利亚的角色、他们对政治和军事力量的控制、他们的恐吓策略),并担心对其他社区的进一步权力争夺和报复。


这可能听起来冷酷无情,但我又一次想到,这对我的研究和我关于宗派主义、道德价值观和对国内外群体的态度的问题是有好处的。我尽可能多地调查了一些人,有时会再次与受访者见面,这是一个人种学家所喜欢的,尽管这并没有增加我的调查。

然后我达到了,然后通过了,我的基准:144!成功超出了我的梦想!全部扫描、上传和交付;硬拷贝以挂号邮寄,我的行李可承受不了那么重。我回到纽约,对反复得出清晰的、经常是极端的反应的经验感到满意,我觉得这肯定会从任何分析方法中产生,无论是统计方法还是其他方法。如果我的受访者在面对面的时候显示出如此清晰的模式,那么这些模式肯定也会在调查的回答中看到。因此,我满怀信心地向我的同事们预测,这些统计数据将指向关于人们在冲突威胁增加时的反应的明确结论。

一旦数据输入完成,心理学家们就开始工作了,但什么都没有。没有任何关联,尽管三月份有一个很有前途的试点,当时我的对话不那么清晰,更加多样化。没有任何东西能将融合与个人的社区联系起来,我在8月份就看到了这个社区非常强大,与他们的道德价值观、对其他宗派团体的敌意、或为团体做出极端牺牲的意愿(为团体杀戮和牺牲)联系在一起——尽管我再次体验到了这一点,尽管这是“主观的”没有支持或反对我的预测的证据。我认为我所看到的主观体验的差异并没有反映在已完成的问卷中。经过数周的实地研究,我最生动的观察结果之一在我自己的数据中丢失了。


我不能放弃自己对黎巴嫩的理解,这是通过对一系列人的艰苦采访获得的,不管我的社会科学同行们可能从这些数据得出什么结论。但我可以欣赏对主观性的批评和我的方法的局限性:我的谈话既不直截了当也不透明,同事们为我澄清了这一点。人们对我的学术身份、西方人身份、女性身份(数据录入研究助理后来告诉我,许多调查问卷的空白处包括电话号码和请柬),以及毫无疑问我甚至不知道的其他特征做出了回应。当然,这些都促成了对话的性质和内容,我在评估信息时必须反思这些,但我仍然相信我自己的许多结论,特别是那些与恐惧和宗派主义有关的结论,我相信没有人,我现在面临的挑战是与同事们合作,了解为什么统计数据确实遗漏了它,并以这种方式发展我们对背景的理解,而不是放弃合作。

我想,乐观是学者的天性。Atran告诉我,他“希望能够专注于研究人类的因果科学,将个体认知、社会网络、地方机构和生态系统以因果、物质可识别的链条联系起来。”这是可能的吗?我认为是这样,但这可能需要一种新的方法。首先,我想看看分析中包括的大多数和异常值;不同的现实和假设的主体,采访者和所有涉及的研究人员都同样认真对待;从长期到短期,从演化的时间尺度到政治尺度,给予关注;统计学家在适应人种学信息时给予了自由;“主观”的实验者理解数值分析的要求和回报;以及人文学科在学习如何理解微观和偶然性方面的贡献。

带着这些目标,我来到这里,计划我在伊拉克的下一次实地考察。在那里,我将收集我有缺陷的工具,尽我所能地使用它们来收集故事,用它们自己的话说,那些陷入冲突的人的故事——不是因为我完全正确,而是因为他们的故事需要被倾听和保存。谁知道一些激进的新解释框架会给他们带来什么启示呢?


莉迪亚·威尔逊(Lydia Wilson)是牛津大学棘手冲突解决中心的研究员;Artis International研究员和领域主任;也是纽约市立大学研究生中心拉尔夫·邦奇学院的访问学者。她编辑剑桥文学评论。


这篇文章最初发表在2015年2月的《信息》杂志上。

加入讨论