在决定数百万病人的医疗保健的算法中发现了种族偏见 | 智能技术

发布日期:2019-11-13 10:00
研究人员认为,审计系统应该捕捉算法偏见的案例。



一家大型医疗中心用来识别需要额外护理的病人的人工智能算法被证明存在种族偏见。

该算法筛选患者,让他们登记参加重症监护管理项目,让他们可以使用专门的护士热线,帮助重新配药,等等。筛查的目的是确定哪些患者将从该计划中受益最大。但是被标记的白人病人比被标记的黑人病人有更少的慢性疾病。

换句话说,黑人患者必须达到更高的疾病阈值才会被考虑纳入研究。实际上,那些最需要关怀的人并没有得到关怀。

令人担忧的是,该算法正在正确地执行其任务。问题是如何定义任务。

加州大学伯克利分校公共卫生学院(UC Berkeley School of Public Health)的医生、研究员齐亚德·奥伯迈耶(Ziad Obermeyer)说,这些发现指出了一个全系统的问题。全国各地都在使用类似的筛查工具;据行业估计,这些类型的算法每年为2亿人做出健康决策。

据行业估计,这些类型的算法每年为2亿人做出健康决策。

Obermeyer和他的合作者不愿透露他们所研究的医疗中心的名字,他们在论文中称其为“大型学术医院”,也不愿说出生产有缺陷软件的公司的名字。他表示:“由于这是一个影响如此多制造商和用户的全行业问题,我们认为把它们单独挑出来会适得其反。”“这几乎会让其他所有人摆脱困境。”

(然而,值得注意的是,Obermeyer之前曾在波士顿的布里格姆妇女医院担任急诊医师。根据这篇论文,该软件是一种商业产品,精算师协会(Society of Actuaries)在一份报告中对10种使用最广泛的风险管理工具进行了评估。

创建该算法的数据科学家并没有试图成为种族主义者,部署该算法的医疗中心也没有。这个案例是一个明显的例子,说明了偏见是如何“嵌入”到这个系统中的。

问题出在算法的设计上,具体来说,就是它被设计用来预测什么。为了确定谁将从护理管理计划中受益最大,它预测了每个病人在未来一年的医疗费用。它的预测基于历史数据。

Obermeyer解释说,该算法在成本预测方面是准确的。他说:“这个算法完全在做它应该做的事情,它对黑人和白人都是一样的。”

然而,医疗费用高的人不一定是病情最严重的人。“对于黑人和白人患者来说,健康和费用之间的关系非常不同,原因与我们社会中的结构性偏见有关,”Obermeyer说。

他说,社会经济因素不成比例地影响着黑人患者,而贫困使他们更难获得医疗服务。奥伯迈耶说:“即使你上了保险,贫穷还是会以许多方式让一切变得艰难。”“你可以预约医生,但仍然需要交通工具。也许你不得不请一天假,但如果你的工作不灵活,或者你的老板不关心你的问题,你就无法做到这一点。”

这一案例表明,机构在“种族歧视”方面的努力可能会遭遇失败。


更重要的是,多项研究表明,医护人员可能存在无意识的偏见,影响诊断和治疗决定。

从一个对寻求医疗服务的黑人公然歧视的时代起,已经取得了很大的进步。但是很难发现的隐性偏见出现在这些患者与临床医生和其他医务人员的接触中。最近的一项研究发现,急诊室医生的无意识偏见导致较少的黑人患者接受心脏病发作的适当治疗。

奥伯迈耶指出,尽管一家机构的出发点是好的,但算法上的偏见仍可能悄悄潜入。这个特殊的案例表明,机构在“种族歧视”方面的努力可能会失败。该算法在进行预测时故意不将种族作为变量。“但是,如果结果内嵌了结构上的不平等,算法仍然会有偏差,”Obermeyer说。如果该算法预测的是健康结果,而不是健康成本,它就能识别出真正病情最严重、最需要护理的患者。

奥伯迈耶说,这家有问题的医疗中心几年前因为其他原因停止使用这个算法。但它仍在其他地方使用。因此,他的团队联系了制作该软件工具的公司,告知他们自己的发现。“我们基本上是发电子邮件给他们,”奥伯迈耶说。他说,该公司感到惊讶和担忧,并首先努力复制他的发现。“然后他们开始与我们合作解决问题,”他说。他说,未来的软件更新可能会包括对算法的修改。

芝加哥大学(University of Chicago)的医生和研究员马歇尔·秦(Marshall Chin)曾写过有关机器学习系统公平性的文章,他说这项研究的发现很重要。“这表明,偏见很容易潜入影响数百万人的系统,”Chin说,他没有参与这项研究。

Chin说,大多数医生和医疗管理人员没有意识到,用于做出医疗决策的算法可能隐藏着偏见。他说,现在是在系统中建立安全保障的时候了。他说:“关键是要在算法开发过程中开发出具体的步骤来检查是否存在偏差,然后找出是否可以采取措施来修正偏差。”

Chin讲述了芝加哥大学医院的一个警世故事。那里的数据科学家希望提高效率,加快病人出院的过程。他们创建了一个算法,预测谁有资格在48小时内出院,这样他们就可以把病例经理和社会工作者转到那些最优先的病人那里。但该算法在变量中包含了邮政编码数据,而邮政编码通常是社会经济地位的代表。

“我们现在正在创建人工智能治理。”
——John bach,芝加哥大学


芝加哥大学的数据科学家John bach是该项目的负责人,他解释说,邮政编码数据引入了偏见。该算法发现,来自较不富裕社区的人住院时间往往更长,因为医生们正试图为他们安排额外的资源。

华氏巴赫说:“所以,如果你有两个医疗条件相同的病人,唯一的区别是他们的资源有多丰富,那么算法会说:资源多的人先回家。”“因为从历史上看,这是准确的。”

在部署算法之前,bach发现了这个问题。但这段经历让他很震惊,他联系了大学的多元化、公平和包容团队,讨论开发审计系统的问题。“我们现在正在创建人工智能治理,”他表示。该大学正在组建一个“分析干预单位”,以审查其卫生系统中使用的所有预测模型,包括内部开发的模型和从外部供应商获得许可的模型。

算法审计可能在未来几年成为一项大生意。这就是为什么凯茜•奥尼尔(Cathy O 'Neil)在她的著作《数学毁灭的武器》(Weapons of Math Destruction)中对算法偏见发出警告的原因,她成立了一家名为ORCAA的算法审计公司。

O 'Neil说,Obermeyer的小组研究的有偏见的算法“绝对会被审计发现,”她说。“我通常会问的第一个问题是:这让谁失败了?”

“你不能因为不懂技术,就放弃执行反歧视法。”
——凯茜奥尼尔,ORCAA


她指出,金融机构在提出这个问题时往往很谨慎,因为仔细审查自己的数据会消除它们“貌似合理的推诿责任”。法律责任也越来越令人担忧。她说,奥尼尔有时会接到大公司数据分析部门的人打来的电话。“第一个电话真的很棒。第二个电话是公司律师打来的,他说,‘我不确定我们是否真的想知道。’”

O 'Neil提倡在部署之前创建测试算法的标准过程。她希望监管机构研究现有的反歧视法,并确定这些规则如何适用于决策中使用的算法系统。她表示:“政策目标是让监管机构在算法时代执行自己的法律。”“你不能因为不懂技术,就放弃执行反歧视法。”

在Obermeyer的论文中描述的案例中,尚不清楚医疗中心或软件供应商是否有责任。但联邦法律确实禁止基于种族的歧视,至少对符合联邦医疗保险(Medicare)和医疗补助(Medicaid)等联邦资助项目的患者是如此。

当这种明显的算法偏见出现时,Obermeyer注意到许多专家主张暂停。“他们说:‘看,如果算法使用的是历史数据,而这些数据反映了社会经济的不公,我们就不能从事制定算法的业务——因为首先我们必须修正数据,这意味着我们必须修正社会。’”

但奥伯迈耶的看法更为乐观。他认为,算法的制定者需要认识到,他们所做的选择可能会加剧结构性偏见,并意识到自己的责任。

他还说,数据科学家开始了解他们的选择的后果。Obermeyer还记得他与该公司的一位工程师的一次谈话,正是这位工程师设计了有偏差的算法。他们参加了一个关于算法问题的电话会议,并在其他参与者加入之前进行了交谈。“他说,‘我选择了医疗分析行业的这份工作,而不是进入科技行业,因为我想做出改变——这不是我报名的目的,所以我很高兴我能解决这个问题。’”