智能家用雷达可以穿过墙壁了解你的情绪 | 广东省智能创新协会

发布日期:2019-06-03 10:00
人工智能算法支持下的现代无线技术不仅仅用于通信,它还可以感知一个人的呼吸和心率,甚至可以测量情绪。



当我还是个男孩的时候,我暗暗希望能在我身上发现一些惊人的超级大国--比如X射线视觉或者能够读懂人们的思想。很多孩子都有这样的梦想。但即便是我年轻的大脑也无法想象有一天我会帮助将这些超级大国变为现实。我也不能想到我会向美国总统证明这些能力的可能性。然而二十年后,这正是发生的事情。

当然,没有涉及魔法或科幻小说,只有新算法和聪明的工程,使用无线技术来感知从附近发射器发出的无线电波的反射。我的做法麻省理工学院的同事和我所追求的依赖于廉价的设备,易于安装,并不比建立一个更加困难的Wi-Fi路由器。

这些结果现在正在现实世界中应用,帮助医学研究人员和临床医生更好地评估影响步态和活动性的疾病的进展。基于这项技术的设备很快就会上市。将来,它们可用于监控家中的老年人,如果有人摔倒则会发出警报。与今天的医疗警报系统的用户不同,被监控的人不必佩戴配备无线电的手镯或吊坠。该技术还可用于监测新生儿的呼吸和心跳,而无需将传感器与婴儿脆弱的皮肤接触。

您可能想知道这种基于无线电的传感技术是如何工作的。如果是这样,继续阅读,我将通过讲述我们如何设法推动我们的系统提高灵敏度和复杂程度来解释。

这一切始于2012年,在我成为麻省理工学院的研究生后不久。我的导师Dina Katabi和我正在努力让Wi-Fi网络更快地传输数据。我们在移动机器人上安装了一个Wi-Fi设备,让机器人自动导航到数据吞吐量最高的房间。每隔一段时间,我们的吞吐量数字就会神秘地直线下降。最终我们意识到当有人走在相邻的走廊时,这个人的存在会破坏我们房间里的无线信号。

我们应该看到这一点。众所周知,无线通信系统易受电磁噪声和干扰的影响,工程师努力工作以进行战斗。但是直接看到这些影响让我们对我们的研究完全不同。我们想知道路人造成的这种“噪音”是否可以作为有关附近环境的新信息来源。我们可以拿一个Wi-Fi设备,把它指向一堵墙,然后在电脑屏幕上看到墙后面的人是怎么移动的?

我们认为这应该是可能的。毕竟,墙壁不会阻挡无线信号。即使路由器在另一个房间,您也可以获得Wi-Fi连接。如果在墙的另一侧有一个人,你在这一侧发出的无线信号将会反射出他或她的身体。当然,在信号穿过墙壁后,被反射回来,并再次穿过墙壁,它将非常衰减。但是,如果我们能以某种方式记录这些微小的反射,我们在某种意义上能够透过墙壁看到。

以前使用无线电波来检测墙壁另一侧的物体,但是使用了先进的雷达设备和昂贵的天线阵列。我们希望使用的设备与您在家中创建Wi-Fi局域网时使用的设备差别不大。

关于位置的椭圆推理
无线电信号从发射天线行进到反射物体(这里是人)并返回到接收天线所需的时间可用于约束该物体的位置。知道一对这样的天线之间的传播时间,您可以确定反射器位于椭圆的某个位置,该椭圆在其焦点处具有两个天线(椭圆是到两个焦点的距离总和为a的点的集合。恒定值)[顶部]。使用两对这样的天线,您可以更好地确定反射器的位置,该位置必须位于两个椭圆[中间]的交叉处。使用更多的天线对,可以确定两个或多个反射物体所在的位置。下图[底部]中的热色显示了两个人在一个房间中的位置,如上图所示。




当我们开始尝试这个想法时,我们发现了许多实际的并发症。第一个来自墙壁本身,其反射强度是其外部反射的10,000至100,000倍。另一个挑战是无线信号不仅会反射墙壁和人体,还会反射其他物体,包括桌子,椅子,天花板和地板。因此,我们必须想出一种方法来取消所有这些其他反射,并只保留那些来自墙后的人。

为此,我们最初使用了两个发射器和一个接收器。首先,我们从一个发射器发出信号并测量回到接收器的反射。收到的信号主要是从墙上发出的大反射。

我们对第二个发射器做了同样的事情。它收到的信号也受到墙壁强烈反射的支配,但反射的幅度和发射信号与反射信号之间的延迟略有不同。

然后我们调整第一个发射器发出的信号,使其反射消除第二个发射器产生的反射。一旦我们这样做,接收器就没有记录墙上的巨大反射。只有没有被取消的反射,例如那些从墙后移动的人才会注册。然后,我们可以提升两个发射器发出的信号,而不会使墙壁的反射使接收器过载。实际上,我们现在有一个系统可以取消所有静止物体的反射。

接下来,我们集中精力在他或她在相邻房间移动时检测到一个人。为此,我们使用了一种称为逆合成孔径雷达的技术,该技术有时用于海上监视和雷达天文学。凭借我们简单的设备,该策略在检测是否有人在墙后移动甚至测量人的移动方向方面相当擅长。但它没有显示该人的位置。

随着研究的不断发展,我们的团队成长为包括研究生Zachary Kabelac和Robert Miller教授,我们对系统进行了修改,使其包含更多的天线,并且不像Wi-Fi路由器那样操作,更像传统雷达。

人们通常认为雷达设备发出短暂的无线电脉冲,然后测量反射的反射延迟。它可以,但这在技术上很难做到。我们使用了一种更简单的方法,称为频率调制连续波雷达,它通过比较发射波和反射波的频率来测量距离。我们的系统工作在大约5到7千兆赫之间,传输信号仅为Wi-Fi强度的0.1%,并且可以确定到物体的距离在几厘米之内。

使用安装在不同位置的一个发射天线和多个接收天线允许我们测量每个发射 - 接收天线对的无线电反射。这些测量显示了无线电信号离开发射器,到达下一个房间的人并反射回接收器所花费的时间 - 通常是几十纳秒。将非常短的时间间隔乘以光速得出信号从发射器传播到人并返回接收器的距离。您可能还记得中学几何类,该距离定义了一个椭圆,两个天线位于椭圆的两个焦点上。在下一个房间中产生反射的人必须位于该椭圆上的某个位置。

使用两个接收天线,我们可以绘制出两个这样的椭圆,这些椭圆在人的位置相交。通过两个以上的接收天线,可以将人定位在3D中 - 例如,您可以判断一个人是站立还是躺在地板上。如果你想以这种方式定位多个人,事情变得更加棘手,但正如我们后来所展示的那样,有足够的天线,它是可行的。

很容易想到这种系统的应用程序。智能家居可以跟踪其居住者的位置,并调整不同房间的供暖和制冷。您可以监视老年人,确保他们没有摔倒或以其他方式固定,而不要求这些老年人佩戴无线电发射器。我们甚至为我们的系统开发了一种方法来跟踪某人的手臂姿势,使用户能够通过指向它们来控制灯光或设备。

我们研究团队的自然下一步 - 此时还包括研究生Chen-Yu Hsu和Hongzi Mao,以及FrédoDurand教授- 通过墙壁捕捉人体轮廓。



这里的根本挑战是,在Wi-Fi频率下,来自某些身体部位的反射会在接收天线处反弹,而其他反射会在其他方向上反射。因此,我们的无线成像设备将捕获一些身体部位而不是其他部分,我们不知道它们是哪个身体部位。

我们的解决方案非常简单:我们会随着时间的推移汇总测量结果 这是有效的,因为当一个人移动时,不同的身体部位以及同一身体部位的不同视角会暴露于无线电波。我们设计了一种算法,该算法使用人体模型将一系列反射快照拼接在一起。然后我们的设备能够重建一个粗糙的人体轮廓,显示一个人的头部,胸部,手臂和脚的位置。

虽然这不是超人成名的X射线视觉,但考虑到人们对隐私的关注,低分辨率可能被认为是一个特征而不是一个错误。我们后来表明,幽灵般的图像具有足够的分辨率,可以借助机器学习分类器来识别不同的人。我们还展示了该系统可用于在几厘米内跟踪用户的手掌,这意味着我们有一天可能能够检测到手势。

最初,我们假设我们的系统只能跟踪正在移动的人。然后有一天,我要求测试对象在我们设备的初始化阶段保持静止。我们的系统准确地记录了他的位置,尽管我们设计它来忽略静态物体。我们很惊讶。

幽灵在机器里
可以形成反映无线电波的人的幽灵轮廓(见最顶层的图像)。第一步是简单地形成热图,显示当对象移动[顶行]时无线电能量被反射的位置。因为当人与天线的距离不同时获得这些图像,所以必须进行调整以考虑无线电波的几何扩展[中间行]。然后将调整后的图像与人体头部,躯干和四肢的模型组合以形成最终图像。为了比较,使用Kinect来测量人的动作(底行)。



仔细观察设备的输出,我们意识到我们的主题的原始无线电图像出现并消失 - 具有与他的呼吸相匹配的周期性。我们没有意识到我们的系统可以使用这种低功率无线信号在典型的室内环境中捕获人类呼吸。当然,其原因在于与胸部扩张和收缩相关的轻微运动会影响无线信号。意识到这一点,我们改进了我们的系统和算法,以准确地监测呼吸。

早期的文献研究表明使用雷达探测呼吸和心跳的可能性,在仔细检查接收到的信号之后,我们发现我们还可以测量某人的脉搏。这是因为,当心脏抽血时,由此产生的力会导致不同的身体部位以微妙的方式振荡。虽然运动很小,但我们的算法可以放大它们并以高精度跟踪它们,即使在有大量无线电噪声和多个主体移动的环境中,这是早期研究人员尚未实现的。

到目前为止,显然存在重要的实际应用,因此我们很高兴能够剥离一家名为Emerald的公司,将我们的研究商业化。戴着我们的翡翠帽子,我们参加了麻省理工学院的10万美元创业大赛并进入了决赛。虽然我们没有获胜,但我们确实被邀请在2015年8月的白宫“演示日” 展示我们的设备,这是美国总统巴拉克•奥巴马组织的活动,旨在展示来自美国各地的创新。

向总统展示我们的工作真是令人兴奋,总统看着我们的系统检测到我跌倒并监视我的呼吸和心跳。他指出,该系统将成为一个好的婴儿监视器。事实上,我们做过的最有趣的测试之一就是睡觉的婴儿。

典型婴儿监视器上的视频显示不多。但是配备了我们的设备,这样的显示器可以毫无困难地测量婴儿的呼吸和心率。这种方法也可用于医院监测新生儿和早产儿的生命体征。这些婴儿的皮肤非常敏感,因此将传统传感器连接到它们上面会产生问题。

大约三年前,我们决定尝试用无线信号感知人类的情感。那么为何不?当一个人兴奋时,他或她的心率会增加; 幸福的时候,心率会下降。但我们很快意识到单靠呼吸和心率是不够的。毕竟,当我们生气时我们的心率也很高,当我们伤心时我们的心率也很低。

回顾过去的情感计算研究- 试图通过视频输入,图像,语音,脑电图(EEG)和心电图(ECG)等方式识别人类情感的研究领域 - 我们了解到识别最重要的生命体征人类情绪是心跳间隔的毫秒变化。这比平均心率要难得多。与具有非常尖锐峰值的ECG信号相比,我们的无线设备上的心跳信号的形状不是提前知道的,并且信号非常嘈杂。为了克服这些挑战,我们设计了一个系统,该系统从无线反射模式中学习心跳信号的形状,然后使用该形状恢复每个节拍的长度。

利用这些心跳信号的特征以及人的呼吸模式,我们训练了机器学习系统,将它们分为四种基本情绪状态之一:悲伤,愤怒,快乐和快乐。悲伤和愤怒都是负面情绪,但悲伤是一种平静的情绪,而愤怒则与兴奋有关。快乐和兴奋,两种积极的情绪,同样与平静和兴奋的状态相关联。

我们在不同的人身上测试我们的系统,我们证明,在同一主题上进行测试和培训时,它可以准确地感知情绪的87%。如果没有对受试者的数据进行过培训,它仍然会以超过73%的准确率识别出该人的情绪。

2016年10月,研究生Mingmin Zhao,Katabi和我发表了一篇关于这些结果的学术文章 “PDF”,这些文章在大众媒体中被提到。几个月后,我们的研究启发了美国情景喜剧“ 大爆炸理论 ”的一集。在这一集中,人物应该借用我们开发的设备来试图改善谢尔顿的情商。

虽然无线设备不太可能以这种方式帮助某人,但使用无线信号识别基本的人类心理状态可能还有其他实际应用。例如,它可能有助于像亚马逊的Alexa这样的虚拟助手识别用户的情绪状态。

还有许多其他可能的应用程序,我们刚刚开始探索。今天,Emerald的原型机在200多个家庭中,他们正在监测测试对象的睡眠和步态。在医生波士顿医疗中心,布里格姆妇女医院,麻省总医院,和其他地方将利用这些数据来研究疾病进展的治疗阿尔茨海默氏症,帕金森病,和多发性硬化症。我们希望在不久的将来,任何人都可以购买Emerald设备。

当有人问我接下来的无线传感时,我想问他们最喜欢的超级大国是什么。很可能,这就是这项技术的发展方向。