决策者需要不断面对普适化的难题:一个成功的模式如果放在别的环境中, 能指望产生类似的效果吗? 本文阐释的普适性框架提供了一个实用的方法来综合各类证据,以评估特定政策是否可能在某种新情境下生效。
反贫困行动实验室2003年创建于麻省理工学院。2013年,卢旺达总统希望我们提供整个非洲大陆各类社会发展项目的评估结果,以便为其国内决策提供参考。
我们首先想到了在肯尼亚做过的一个艾滋病预防项目,名为“小心干爹”。一个随机对照试验发现,在给八年级女生和男生放映了十分钟的视频,并展示了年长男性艾滋病发病率较高的统计数据之后,这些学生的行为明显发生了改变。卢旺达政府也想知道该项目在卢旺达是否能奏效。
决策者不断面对这种普适化的难题:特定项目的效果是否普遍适用于其他情境。
对于如何才能做出正确的判断,决策者之间长期存在争论。但是这些争论常常被那些令人费解的无益的问题困住,例如:决策者是该依赖来自当地的不太准确的证据,还是该依赖来自其他地方的更精确的证据呢?在推广某个方案之前,是否永远需要在当地先进行一次新的试验呢?
这些问题本身就是伪命题。精准严格的影响力评估并非旨在替代对当地数据的需求,而是提高其利用价值。当地机构拥有的具体知识与关于普遍行为的全球性知识之间存在着互补性。
1、是否一项研究只能为当地提供政策依据?
我们永远无法准确预测人类的行为,但社会科学研究的目的就是描述出能够成为指南的一般规律。最好的影响力评估就是为了检验这些关于人类行为的普适性命题。
2. 我们是否应该只使用从特定地点获得的证据?
高质量的本地数据当然非常重要,但如果因为来自其他地区的证据可能在普适性上存在风险,就建议决策者们忽略这类证据,那就会浪费宝贵的资源。挑战在于,如何将本地信息与全球性的证据匹配在一起,并利用每个证据来帮助我们理解、诠释和补充其他证据。
3.在规模化推广之前,是否一定要在推广地进行新的随机化评估研究?
针对推广地的适用性问题,一种解决方法是利用全球证据库作为政策理念的来源,但在规模化推广之前,始终要在当地对该项政策进行一次随机化的评估研究检验。我们的合作伙伴通常认为,我们一定会建议在当地重新做一次随机化评估研究——但我们并没有这样做。在资源和评估专业技术非常有限的前提下,我们无法严格地检验全球每个国家的每项政策。我们需要确定优先事宜。
4. 在规模化推广之前,对同一个方案或政策是否需要进行特定次数的重复检验?
一项研究需要在不同情境中重复多少次,才能让决策者信赖在其他情境下研究得出的证据。我们认为这一种考虑证据的方式是错误的。在某些案例中,同样的方案会在多个地点进行检验。我们在决策时应高度重视这类证据。但是,如果我们只采用已重复多次的研究结果,我们就丢弃了大量潜在的相关信息。
首先,这种聚焦会促使人们留意更多相关证据。
在考虑是否实施一个具体的政策或方案之时,我们可能没有足够的有关该方案的现成证据。但是,如果我们从一个更具有一般性意义的行为角度提问,就有了一个深厚的证据基础。
其次,基本的人类行为比特定项目更具有普适性。
例如,非营利机构“寺庙义工”在印度农村定期举办疫苗接种活动,在随机选择的现场活动中,每当儿童接受免疫接种之时,其父母就能获得一公斤小扁豆。结果,在采取激励措施的周边社区,孩子的全面免疫接种率飙升。评估发现,激励措施有助于父母定期带孩子前来接种。
用小扁豆来鼓励接种疫苗的方案可能不适用于其他情境。然而,人们无法坚持有益未来身体健康的行为则是一种普遍现象。我们也会发现另一个具有普遍意义的现象,即人们是否采纳预防性健康措施会受到价格的影响。
最后,聚焦于各种机制可以让我们识别出具体的当地证据,可以帮助我们预测它在新的情境中是否能够产生同样的效果。常识表明,如果新的情境类似于最初考察该项目时的情境,我们更有可能在新情境下发现类似的结果。但是,“类似”是什么意思呢?这个问题并没有绝对的答案。它取决于我们关注的行为,也取决于理论。
例如,行为经济学理论表明,相对于急症护理的价格,人们对预防性健康措施的价格更为敏感。因此,如果我们想要归纳促使人们采取预防性保健措施的激励性经验,在新的情境下,人们更加注重急症护理而不是预防性健康措施,对此我们就应该保持一种更加谨慎的态度。
步骤 1:这个项目背后的分解理论是什么?
步骤 2:当地情况是否适合运用该理论?
步骤 3:形成所需要的一般性行为变化的证据有多么可靠?
步骤 4:如何证明整个干预过程能够很好地予以实施?
我们上述在印度的研究结果表明,如果向家长提供小额激励措施,并在同时利用就近的流动诊所提供可靠的服务,就能够让全面免疫接种率增加为原来的6倍。塞拉利昂可以采取这种方法吗?
如果我们将评估视为一种测试“黑匣子”的方案——假定我们不能理解现有的机制——我们就会询问,目前已经进行了多少次影响力评估,以考察免疫接种激励措施和免疫接种率之间的关联度。由于仅有一次精确的影响力评估来估测这种关联度,我们可能得出的结论为,支持这个方案的证据相当薄弱。然而,对于该方案背后的不同理论因素的证据评估表明,这种关联度背后的证据可能比乍看起来要多得多。
步骤1:对印度疫苗接种项目的原始研究背后的理论是,父母希望让孩子接种疫苗,或至少没有强烈地反对接种疫苗。他们坚持完成该计划的意愿会受到小小的价格波动的影响。带孩子就诊的时间和交通等小额成本可能阻碍家长们坚持采取预防性健康行为。这种证据带来的信息比黑匣子方法的知识要走得远的多。
步骤2:反贫困行动实验室正在与塞拉利昂等政府合作,以确定当地是否满足该方案所需的条件。要确定某些基本条件(如诊所是否定期开放,疫苗供应是否可靠),就必须了解当地机构。公开的数据也很有用。
步骤 3:接下来涉及行为条件的证据。大量证据表明,全球民众对高效预防性健康措施的投入不足,然而却花费大量资金用于急症护理。还有很多证据表明,预防性医疗保健价格的小幅变化可以大大提高(预防性健康措施的)采纳率。此外,小额激励措施对健康行为具有惊人的巨大影响。
步骤 4:在最后一步,我们重点关注在当地实施的细节。采取什么激励措施、如何提供,可能需要根据当地情况加以调整。
本文阐释的普适化框架提供了一个实用的方法来综合各类证据,以便评估特定政策是否可能在某种新情境下生效。如果研究人员和决策者继续将影响力评估结果视为一个黑匣子,也不聚焦于机制,那么基于证据决策的运动就将远远无法发挥其改善人类生活的潜力。
文章来源:共益资本论
文章链接:https://gongyizibenlun.com/1779
作 者:
本文文字内容归本站版权所有,转载请联系编辑,加微信(id:yxtkhl-)
更多精彩,敬请关注微信公号“共益资本论”(id:gongyizibenlun)