Facebook脑机接口技术可为失去说话能力的患者重新发声 | 智能医疗

发布日期:2019-08-15 10:00
2017年,Facebook的Mark Chevillet花了两年时间来证明建立一种能够从大脑活动中每分钟读出100个单词的非侵入性技术是否可行。



已经过去两年了,结果是:“承诺就在那里。” Chevillet告诉IEEE Spectrum。“我们确实认为这是可能的。”

作为Facebook Reality Labs的脑机接口计划的研究总监,Chevillet计划推进该项目--该公司的最终目标是开发可以控制而不必大声说话的增强现实(AR)眼镜。

Chevillet的乐观情绪在很大程度上得益于今天早上在大脑--计算机接口领域的研究成果第一次发布在Nature Communications杂志上,加利福尼亚大学旧金山分校的一个团队由Facebook Reality Labs资助,已建成一个大脑--计算机界面,可以准确地解码由佩戴设备的人听到和说出的对话词和短语--来自实时的大脑信号。

资深作者和加州大学旧金山分校神经外科医生Edward Chang表示,结果是向神经植入物迈出的重要一步,可用于恢复因中风、脊髓损伤或其他疾病而失去说话能力的患者的自然交流。

然而,Facebook对生成增强现实眼镜比生物医学设备更感兴趣。Chevillet说,这项工作提供了一个原理证据,即通过测量大量神经元的活动,可以从大脑信号中解码想象的语音。“这结果有助于设定我们需要构建的可穿戴设备类型的规范。”

4月份,Chang的团队首次推出了一种能够直接解码大脑信号语音的脑机接口。今天发布的工作目标是提高解码大脑活动的准确性。“我们正在从大脑的两个不同部分解码两种信息,并将其用作背景。”Chang说。“结果是对解码精度产生相当大的影响。”

提高准确性的基础是一个简单的概念:添加上下文。使用电极植入三名接受癫痫治疗的患者的大脑中,Chang的团队记录了大脑活动,而志愿者则听取了一组预先记录的问题并大声说出了他们的反应。

然后,大脑数据用于训练人工智能机器学习算法。之后,当研究参与者被要求再次回答问题时,算法仅使用大脑活动来首先确定志愿者是在听还是说,然后尝试解码语音。

大多数语音解码器通过对人们正在思考的声音进行最佳猜测来工作,因此正常的大脑解码器会被类似“合成器”和“肥料”之类的声音混淆。新的UCSF系统增加了上下文以帮助区分这些词。首先,该算法预测从一组已知问题中听到的问题,例如“你在场上传播什么?”然后将该信息用作上下文以帮助预测答案:“肥料”。



Chang说:“通过添加上下文,大--计算机界面预测的答案要容易得多。该系统能够使用一组有限的指定问题和答案,分别以高达76%和61%的准确度解码感知(听到)和产生(口头)语音。”但该团队表示希望在未来扩大系统的词汇量。

更好的算法和更快的计算机也提高了研究中的解码速度,过去需要几周到几个月的离线处理现在可以实时完成。

这篇悄然发表的,经过同行评审的研究与令人窒息的媒体报道形成鲜明对比,以回应埃伦·马斯克本月早些时候宣布他的大脑增强公司Neuralink的进展。虽然Facebook打算制造使用红外线从外部听大脑信号的AR眼,但神经网络正在开发一种由3,000个柔性电极组成的植入式阵列,以增强大脑功能。

这两个公告似乎让公司在竞争中成为第一个提供解码大脑活动的商用脑机接口的公司。但是,实现这一目标的进展可能更多是缓慢而不是冲刺。“我们没有任何实际的产品计划,因为这项技术是早期阶段的研究。”Chevillet说。

与此同时,Chang希望尽快为那些不会说话的病人带来有意义的改变。到目前为止,该团队的所有工作都是由能够发言的志愿者完成的,因此团队现在将花费一年的时间与一位研究参与者一起工作,并在语言屏幕上生成文本。所有数据将由UCSF收集并在大学服务器上保密。与此同时,与Facebook合作的所有结果都正在发布,并且可供学术界使用。“我希望这不仅有益于我们正在做的事情,而是整个领域。”