基于光的神经网络可制造最好的智能计算机 | 智能技术

发布日期:2019-07-18 10:00
我们现在经常进行数学计算,并且毫不费力地使用数字电子计算机,很容易忘记有任何其他计算方法。然而,在较早的时代,工程师必须制定聪明的策略来使用各种模拟计算机计算他们所需的解决方案。



这些早期计算机中的一些是电子的,但许多是机械的,依赖于齿轮、球和盘、液压泵和贮存器等。对于某些应用,例如20世纪60年代合成孔径雷达数据的处理,模拟计算是光学完成的。随着电子技术的改进,这种方法让位于数字计算。

一些研究人员再次探索模拟光学计算机在现代计算挑战中的应用:神经网络智能计算。

神经网络(矩阵乘法)的核心计算在概念上很简单 - 比处理合成孔径雷达数据所需的傅里叶变换简单得多。对于不熟悉矩阵乘法的读者,让我试着去解码它。

矩阵是一个数字矩阵,排列成行和列。将两个矩阵相乘时,结果是另一个矩阵,其元素通过乘以各种数字对(从您开始的两个矩阵中绘制)并对结果求和来确定。也就是说,乘法矩阵恰好相当于大量的乘法和加法。

但神经网络可能是巨大的,多层的事务,这意味着运行它们所需的算术运算如此之多,以至于它们可以对可用的硬件(或能量预算)征税。通常使用图形处理单元(GPU)来帮助完成所有数字运算。电气工程师也忙于设计各种专用芯片作为神经网络加速器,谷歌的Tensor Processing Unit可能是最着名的。而现在光学加速器即将出现。

两个MIT衍生产品 - Lightelligence和Lightmatter - 特别值得注意。这些创业公司的成长源于MIT研究人员于2017年发布的用于神经网络计算的光学计算芯片。

最近,麻省理工学院的另一组研究人员(包括两名参与2017年论文的研究人员)开发了另一种用于光学进行神经网络计算的方法。虽然它距离商业应用还有几年的时间,但它巧妙地说明了如何使用光学(或更合适的光学和电子组合)来执行必要的计算。



新的光子芯片设计大大降低了光计算所需的能量。模拟表明它可以运行光学神经网络比其电子对应物高1000万倍。

新策略在这一点上完全是理论上的,但最近发表关于新方法的论文的第一作者Ryan Hamerly 说:“我们正在建立一个示范实验。”虽然它可能需要很多这样的实验和几个Hamerly表示,多年的芯片开发真正了解它是否有效,他们的方法,“有望明显优于现有电子产品。”

那么新战略如何运作?我不确定即使我有空间也可以解释所有的细节,但是让我试着给你一个味道。

必要的矩阵乘法可以使用三种简单的组件来完成:光束分离器,光电二极管和电容器。这听起来相当引人注目,但回想一下矩阵乘法实际上只是一堆乘法和加法。所以我们真正需要的是一个模拟Gizmo,它可以将两个值相乘,另一个模拟Gizmo可以总结结果。

事实证明,您可以使用分束器和光电二极管构建模拟乘法器。分束器是一种光学设备,它接收两个光输入并提供两个光输出。如果以某种方式配置,它在一侧输出的光的幅度将是其两个输入的幅度之和; 其他输出的幅度将是两个输入的差值。光电二极管输出的电子信号与照射在其上的光的强度成比例。

这里要实现的基本要素是光的强度(它承载的功率的度量)与其幅度的平方成正比。这是关键,因为如果平方两个光信号的总和(让我们将其表示为A + B),你将获得A 2 + 2 AB + B 2。如果平方这两个相同的两个光信号(A - B)的差值,你将获得A 2 - 2 AB + B 2。从前者中减去后者,你得到4 AB,你会注意到它与两个输入的乘积成正比,一个和乙。

因此,通过适当地缩放模拟信号,组合的分束器和光电二极管可以用作模拟乘法器。更重要的是,只需将相应的光信号一个接一个地呈现给这种乘法器,就可以进行一系列乘法运算。将乘法器的一系列电子输出馈入电容器,您将累加每次乘法的结果,形成在产品矩阵中定义一个元素所需的结果。冲洗并重复足够的次数,你只需乘以两个矩阵!

还有一些其他的数学操作,你需要运行一个神经网络; 特别是你必须对每个神经元应用非线性激活函数。但这很容易通过电子方式完成。问题是真正的设备在完成所有这些操作时可以保持什么样的信噪比,这将控制它执行的计算的分辨率。该决议可能不会非常高。“这是任何模拟系统的缺点,”哈默利说。令人高兴的是,至少对于推理计算(在此期间已经训练过的神经网络做了它的事情),相对较低的分辨率通常很好。

Hamerly解释说,很难知道沿着这些线路设计的光电加速器芯片的计算速度有多快,因为通常用来判断这种性能的指标取决于吞吐量和芯片面积,他还没有准备好估计什么类型他所设想的芯片需要的区域。但他乐观地认为这种方法可以削减这种计算所需的能量。

实际上,Hamerly和他的同事认为,他们的方法可以使用比具有相同精度的基于门的数字设备的理论最小值更少的能量 - 一个称为Landauer限制的值。(如果不采用某种形式的可逆计算,就不可能将计算能量降低到低于此极限的任何值。)如果这对于绘图板上的这个或任何其他光学加速器都是如此,那么毫无疑问会使用许多神经网络计算来完成光而不仅仅是电子。

随着电子计算机在过去50年中取得的显着进步,光学计算从未真正获得牵引力,但神经网络最终可能会为它提供杀手级应用。正如Hamerly的同事兼合着者Liane Bernstein所指出的那样:“这可能是光学的时候了。”