秒速赛车平台:AI领域的蝙蝠侠大战超人:

2018-02-04 07:36| 发布者: | 查看: |

  秒速赛车开奖雷锋网 AI 科技评论按:近日,深度学习三驾马车之一的 Yann LeCun 教授与斯坦福大学 NLP 掌门人 Christopher Manning 教授共同出席了斯坦福 AI 实验室所举办的 AI 沙龙,一同讨论了关于「什么是我们应该加入到深度学习系统中的先验知识」的话题。尽管两位教授对此话题有着不同的观点,但是大牛之间思想的碰撞总能带给大家很多启发。

  沙龙中所讨论的主题是目前 AI 研究中很重要的一个问题:神经网络中的结构设计,以及这些结构是如何与某些假设和归纳性先验知识相对应的。事实上,去年就有研究者将「语言结构的回归」作为 2017 年四大 NLP 深度学习研究趋势之一。

  Manning 教授提倡将更多的语言结构融入到深度学习系统中。而 LeCun 则认为简单而强大神经网络结构就能够执行复杂的任务,而不需要大量针对特定任务的特征工程方法。出于这个原因,两个人之间的学术理念有很大的分歧。对此,一个 Twitter 上的评论认为,他们两个就是 AI 领域中的蝙蝠侠大战超人。

  然而,LeCun 和 Manning 之间互相认同的地方可能超出大家的预期。LeCun 最著名的贡献(卷积神经网络)是完全基于先验知识的:图像处理系统应该具有平移不变性。这个基本假设也体现在了卷积神经网络的结构设计中(权值共享)。而对于 Manning 而言,他曾经公开表示,深度学习的复兴对于 NLP 来说是一件好事。

  尽管两位教授在这次讨论中得到了很多共识,但是同样也存在很多分歧。完整内容可以观看讨论视频:。下面雷锋网(公众号:雷锋网)AI 科技评论编译了整个讨论中出现的主要话题。

  在 Manning 和 LeCun 的开场发言中,两个人就确立了主要分歧。

  Manning 认为结构是「必要的善」(necessary good),他提出我们应该对网络结构设计持积极的态度。相比于没有结构设计的系统,一个精心设计的系统能够从更少的数据中学到更多的知识,并且能够在更高的抽象层次上学习。

  相反,LeCun 将结构描述为「必要的恶」(necessary evil),他警告说:使用结构需要我们做出某些假设,而这些假设总会在某些数据上是错误的,而且可能在不久的将来过时。同时还举例说,ConvNet 可能在 10 年之内就会过时。

  尽管存在分歧,但是我们应该注意到,LeCun 和 Manning 至少同意结构是「必要的」,尽管他们对这种必要性持相反的态度。

  Manning 认为加入更多结构设计是正确的,而且有是有道理的,比如,语言本质上就是递归的,因此 NLP 系统的结构也应该如此!比如,递归神经网络(Recursive Neural Network,也叫做 Tree-RNN)在 NLP 中取得了成功,它就提出了递归语义合成性作为先验知识。然而,Manning 也承认,在实践中很难做出正确的结构假设,同时这些假设也不总是能转化为性能提升。

  LeCun 对结构设计的理想化程度则低得多。在讨论过程中,他多次提到各种类型的结构(比如,残差连接,卷积等),认为它们仅仅是为了网络能够优化到足够工作的程度所需的「元级基础」(meta-level substrate)。他认为,一个没有任何结构限制的类似网络结构也可以很好的工作,只是可能需要更长时间的训练。

  LeCun 和 Manning 都注意到了目前 AI 研究在整个 AI 发展的历史轨迹中所处的位置。在过去的几十年里,基于众多先验知识的方法已经过时,目前的深度学习研究更倾向于将严格监督端到端学习视为主导范式(由大数据和丰富的计算资源所支持)。

  LeCun 和 Manning 都一再强调这种范式的局限性,例如在记忆,计划,迁移学习,世界知识和多步推理方面都存在问题。同时他们都对目前通过结构设计以解决这些问题的方法表达了积极态度。

  然而,Manning 更进一步,断言现代深度学习的大数据大计算范式实际上已经「颠覆了计算语言学领域」并且「偏离了轨道」。他认为,如果你能够得到大量的数据和计算资源,你就能够通过构建简单但效率低下的系统获得成功,而这个系统只需最表层的「最近邻学习」。这阻碍了研究人员建立良好的学习系统:使用较少的数据,在较高抽象层次学习表示。他说这对整个领域都是不利的。而解决这个问题的答案就是,加入适当的结。

<
>
相关文章
 
QQ在线咨询
售前咨询热线
400-800-8888
售后服务热线
400-800-8888
返回顶部