图灵奖的获得者希望能够推理，计划和想象的AI系统
本吉野男夫它被称为深度学习的“三剑客”之一，这是当今主导该领域的人工智能（AI）类型。
蒙特利尔大学的教授Bengio因在使用神经网络方面取得了重大突破而倍受赞誉-同样重要的是，在1980年代后期和1990年代漫长而寒冷的AI冬季期间，他们坚持不懈地工作认为神经网络是死胡同。
在2018年，他和他的火枪手（Geoffrey Hinton和Yann LeCun）赢得了图灵奖，这通常被称为诺贝尔计算机奖。
今天，关于深度学习的缺点的讨论越来越多。在这种情况下，IEEE Spectrum与Bengio讨论了该领域应从何而来。明天，他将在NeurIPS（全球最大，最嗡嗡的AI会议）上就类似的话题发表演讲；他的演讲题目是“从系统1深度学习到系统2深度学习”。
Yoshua Bengio继续。 。 。
深度学习及其不满大脑启发式计算的曙光学习学习“这还没有准备好产业”物理，语言和常识深度学习及其不满。
IEEE Spectrum：您如何看待所有有关深度学习限制的讨论？
Yoshua Bengio：太多面向公众的场所不了解我们在AI和其他学科中的研究方式的核心内容：我们试图了解当前理论和方法的局限性，以扩大影响范围 我们的智力工具。 因此，深度学习研究人员正在寻找无法正常工作的地方，以便我们找出需要补充的内容和需要探索的地方。
蒙特利尔大学的教授Bengio因在使用神经网络方面取得了重大突破而倍受赞誉-同样重要的是，在1980年代后期和1990年代漫长而寒冷的AI冬季期间，他们坚持不懈地工作认为神经网络是死胡同。
在2018年，他和他的火枪手（Geoffrey Hinton和Yann LeCun）赢得了图灵奖，这通常被称为诺贝尔计算机奖。
今天，关于深度学习的缺点的讨论越来越多。在这种情况下，IEEE Spectrum与Bengio讨论了该领域应从何而来。明天，他将在NeurIPS（全球最大，最嗡嗡的AI会议）上就类似的话题发表演讲；他的演讲题目是“从系统1深度学习到系统2深度学习”。
Yoshua Bengio继续。 。 。
深度学习及其不满大脑启发式计算的曙光学习学习“这还没有准备好产业”物理，语言和常识深度学习及其不满。
IEEE Spectrum：您如何看待所有有关深度学习限制的讨论？
Yoshua Bengio：太多面向公众的场所不了解我们在AI和其他学科中的研究方式的核心内容：我们试图了解当前理论和方法的局限性，以扩大影响范围 我们的智力工具。 因此，深度学习研究人员正在寻找无法正常工作的地方，以便我们找出需要补充的内容和需要探索的地方。
像加里·马库斯（Gary Marcus）这样的人对此表示了赞同，他们发出了这样的信息：“看起来，深度学习是行不通的。” *但实际上，像我这样的研究人员正在做的事情是扩大其影响范围。 当我谈论诸如需要人工智能系统理解因果关系之类的事情时，我并不是说这将取代深度学习。 我正在尝试向工具箱中添加一些内容。
作为科学家，对我而言重要的是要解决这些问题需要探索的东西。 不是谁是对的，谁是错的，或者是谁在哪个教堂祈祷。
Spectrum：您如何评估深度学习的当前状态？
作为科学家，对我而言重要的是要解决这些问题需要探索的东西。 不是谁是对的，谁是错的，或者是谁在哪个教堂祈祷。
Spectrum：您如何评估深度学习的当前状态？
Bengio：就过去二十年来我们在这项工作上取得的进展而言：我认为我们今天还没有接近两岁孩子的智力水平。 但是也许我们有等同于低等动物的算法来感知。 而且，我们会在允许实体探索其环境的工具方面逐步攀升。
*加里·马库斯（Gary Marcus）质疑本吉奥（Bengio）在深度学习上的立场。 马库斯说：“当我实际上是专业混合动力时，Yoshua听起来像是我（严格）是反深度学习的，他喜欢使用深度学习，但要与其他机器结合使用。深度学习是一种很好的工具，但只是众多工具中的一种。 ”
当今最重要的辩论之一是：高级认知的要素是什么？因果关系是其中的一个要素，此外还有推理和计划，想象力和功劳分配（“我应该做什么？”）。在经典的AI中，他们试图通过逻辑和符号来获得这些东西。有人说我们可以通过经典的AI来做到这一点，也许可以通过改进来实现。
还有像我这样的人，他们认为我们应该采用过去几年中构建的工具来创建这些功能，其方式类似于人类进行推理的方式，这实际上与纯逻辑的方式大不相同。基于搜索的系统做到了。
大脑启发式计算的曙光
Spectrum：我们如何创建类似于人类推理的功能？
Bengio：注意力机制使我们能够学习如何将计算重点放在几个元素上，即一组计算。人类可以做到这一点，这是有意识加工的一个特别重要的部分。当您意识到某件事时，您将注意力集中在一些要素上，也许是某个想法，然后转到另一个想法。这与标准神经网络非常不同，后者是大规模并行处理。有了这些注意机制，我们在计算机视觉，翻译和记忆方面取得了重大突破，但我相信这只是另一种灵感来自大脑的计算方式的开始。
这并不是说我们已经解决了问题，但我认为我们有很多入门工具。我并不是说这很容易。我在2017年撰写了一篇论文，题为《意识先验》，阐述了这一问题。我有几个学生正在从事此工作，我知道这是一项长期的工作。
还有像我这样的人，他们认为我们应该采用过去几年中构建的工具来创建这些功能，其方式类似于人类进行推理的方式，这实际上与纯逻辑的方式大不相同。基于搜索的系统做到了。
大脑启发式计算的曙光
Spectrum：我们如何创建类似于人类推理的功能？
Bengio：注意力机制使我们能够学习如何将计算重点放在几个元素上，即一组计算。人类可以做到这一点，这是有意识加工的一个特别重要的部分。当您意识到某件事时，您将注意力集中在一些要素上，也许是某个想法，然后转到另一个想法。这与标准神经网络非常不同，后者是大规模并行处理。有了这些注意机制，我们在计算机视觉，翻译和记忆方面取得了重大突破，但我相信这只是另一种灵感来自大脑的计算方式的开始。
这并不是说我们已经解决了问题，但我认为我们有很多入门工具。我并不是说这很容易。我在2017年撰写了一篇论文，题为《意识先验》，阐述了这一问题。我有几个学生正在从事此工作，我知道这是一项长期的工作。
Spectrum：您想在AI中复制人类智慧的其他哪些方面？
Bengio：我们还讨论了神经网络想象的能力：推理，记忆和想象力是同一件事在您脑海中发生的三个方面。您将自己投影到过去或将来，并且按照这些预测进行操作时，便在进行推理。如果您预计将来会发生不好的事情，则可以改变路线，这就是您进行计划的方式。而且您也正在使用内存，因为您会回到已知的知识上来进行判断。您可以从现在和过去中选择相关的事物。
注意是这里的关键组成部分。假设我正在将一本书翻译成另一种语言。对于每个单词，我都必须仔细阅读本书的一小部分。注意使您可以抽象出许多不相关的细节，并集中精力处理重要的事情。能够挑选出相关要素，这就是关注的重点。
Spectrum：这如何转化为机器学习？
Bengio：我们还讨论了神经网络想象的能力：推理，记忆和想象力是同一件事在您脑海中发生的三个方面。您将自己投影到过去或将来，并且按照这些预测进行操作时，便在进行推理。如果您预计将来会发生不好的事情，则可以改变路线，这就是您进行计划的方式。而且您也正在使用内存，因为您会回到已知的知识上来进行判断。您可以从现在和过去中选择相关的事物。
注意是这里的关键组成部分。假设我正在将一本书翻译成另一种语言。对于每个单词，我都必须仔细阅读本书的一小部分。注意使您可以抽象出许多不相关的细节，并集中精力处理重要的事情。能够挑选出相关要素，这就是关注的重点。
Spectrum：这如何转化为机器学习？
Bengio：您不必告诉神经网络要注意什么，这就是它的美。它自己学习。神经网络了解它应该给予一组可能要考虑的元素中的每个元素多少注意力或重量。
学习学习
Spectrum：您最近的因果关系研究与这些想法有何关系？
Bengio：您所推理的高级概念往往是因果关系。您没有根据像素进行推理。您根据门或旋钮或打开或关闭等概念进行推理。因果关系对于机器学习的下一步发展非常重要。
它与深度学习人们经常想到的另一个主题有关。系统概括是人类必须概括我们所知道的概念的能力，因此可以将它们以新的方式进行组合，这与我们所见过的其他任何方式都不一样。当今的机器学习还不知道该怎么做。因此，您经常遇到与特定数据集训练有关的问题。假设您在一个国家/地区训练，然后在另一个国家/地区部署。您需要概括和转移学习。您如何训练神经网络，以便将其转移到新环境中时，它可以继续正常工作或快速适应？
Spectrum：这种适应性的关键是什么？
Bengio：元学习是当今非常热门的话题：学习学习。我在1991年就此发表了一篇早期论文，但是直到最近我们才获得实现这种事情的计算能力。它的计算量很大。想法：为了泛化到新环境，您必须练习泛化到新环境。考虑起来很简单。孩子们一直都这样做。当他们从一个房间移到另一个房间时，环境不是一成不变的，它一直在变化。孩子们训练自己要善于适应。为了有效地做到这一点，他们必须利用过去获得的知识。我们开始了解此功能，并建立复制它的工具。
对深度学习的一种批评是，它需要大量的数据。如果您只完成一项任务就可以了。但是孩子们有能力根据很少的数据学习。他们利用以前学到的东西。但更重要的是，他们正在利用自己的适应能力和泛化能力。
“这还没有准备好产业”
Spectrum：这些想法中的任何一个会很快在现实世界中使用吗？
Bengio：不。这都是关于玩具问题的非常基础的研究。很好，那就是我们的位置。我们可以调试这些想法，继续进行新的假设。明天早上还没有为工业做好准备。
但是行业关心两个实际的局限性，这项研究可能会有所帮助。一种是构建对环境变化更健壮的系统。二：我们如何构建自然语言处理系统，对话系统和虚拟助手？当前使用深度学习的最先进系统的问题在于，它们接受了大量数据的训练，但是他们并不太了解他们在说什么。像加里·马库斯（Gary Marcus）这样的人对此表示赞同，说：“这证明深度学习是行不通的。”像我这样的人说：“这很有趣，让我们应对挑战。”
“这还没有准备好产业”
Spectrum：这些想法中的任何一个会很快在现实世界中使用吗？
Bengio：不。这都是关于玩具问题的非常基础的研究。很好，那就是我们的位置。我们可以调试这些想法，继续进行新的假设。明天早上还没有为工业做好准备。
但是行业关心两个实际的局限性，这项研究可能会有所帮助。一种是构建对环境变化更健壮的系统。二：我们如何构建自然语言处理系统，对话系统和虚拟助手？当前使用深度学习的最先进系统的问题在于，它们接受了大量数据的训练，但是他们并不太了解他们在说什么。像加里·马库斯（Gary Marcus）这样的人对此表示赞同，说：“这证明深度学习是行不通的。”像我这样的人说：“这很有趣，让我们应对挑战。”
物理，语言和常识
Spectrum：聊天机器人如何做得更好？
Bengio：有一个叫做“基础语言学习”的想法，最近引起了新的关注。 这个想法是，人工智能系统不应该仅从文本中学习。 它应该同时学习世界如何运转以及如何用语言描述世界。 问问自己：如果孩子仅通过文本与世界互动，能否理解世界？ 我怀疑他们会很难过。
这与有意识与无意识的知识有关，我们知道但无法命名的事物。 直观的物理就是一个很好的例子。 两岁的孩子懂得直观的物理学。 他们不知道牛顿方程，但是他们从具体的意义上理解重力等概念。 现在，有些人正在尝试构建与环境互动并发现物理基本定律的系统。
光谱：为什么基本的物理知识会有助于对话？
Spectrum：聊天机器人如何做得更好？
Bengio：有一个叫做“基础语言学习”的想法，最近引起了新的关注。 这个想法是，人工智能系统不应该仅从文本中学习。 它应该同时学习世界如何运转以及如何用语言描述世界。 问问自己：如果孩子仅通过文本与世界互动，能否理解世界？ 我怀疑他们会很难过。
这与有意识与无意识的知识有关，我们知道但无法命名的事物。 直观的物理就是一个很好的例子。 两岁的孩子懂得直观的物理学。 他们不知道牛顿方程，但是他们从具体的意义上理解重力等概念。 现在，有些人正在尝试构建与环境互动并发现物理基本定律的系统。
光谱：为什么基本的物理知识会有助于对话？
Bengio：语言方面的问题是，系统常常无法真正理解单词所指的复杂性。 例如，在Winograd模式中使用的语句； 为了理解它们，您必须掌握物理知识。 有这样的句子：“吉姆想把灯放到他的行李箱里，但是太大了。”你知道，如果这个物体太大而不能放进行李箱，那一定是“它”的主题。 第二句话。 您可以用语言交流这种知识，但这不是我们四处说的那种话：“一件行李的典型大小是x x。”
我们需要能够理解世界的语言理解系统。 当前，人工智能研究人员正在寻找捷径。 但是它们还不够。 人工智能系统还需要获取世界运作方式的模型。
我们需要能够理解世界的语言理解系统。 当前，人工智能研究人员正在寻找捷径。 但是它们还不够。 人工智能系统还需要获取世界运作方式的模型。