秒速赛车:早期负责 Momenta

2018-03-20 07:36| 发布者: | 查看: |

  秒速赛车原标题:从聚合-转移框架浅谈卷积神经网络的架构设计 人工智能行业面临百万量级的人才缺口,正值春招求职

  人工智能行业面临百万量级的人才缺口,正值春招求职季,雷锋网 AI 慕课学院与雷锋网旗下学术频道 AI 科技评论联合腾讯课堂共同开启一场关于AI 求职的经验分享盛宴——「AI 求职季·AI 工程师 offer 直通车系列直播」栏目。

  4 月 10 日的第一场分享嘉宾——Momenta 高级视觉算法研究员李翔带来了《打造自动驾驶大脑——看 Paper Reading 直播,拿 Momenta 顶级 offer》的直播分享。

  李翔,南京理工大学 PCALab 博士在读,阿里巴巴天池首届大数据竞赛冠军,滴滴 Di-Tech 首届大数据竞赛冠军。知乎专栏 DeepInsight 作者。早期负责 Momenta 车道线检测相关模块,现专注于神经网络基础算法研发。

  以下是李翔在雷锋网「AI 求职季·AI 工程师 offer 直通车系列直播」栏目的分享内容精选。

  本次 Paper Reading 我们并没有关注某些特定的 paper,而是用一个视角对现有的代表性的卷积神经网络设计进行总结。

  卷积神经网络通常都是由许多不同的层级结构组成的。上图的蓝框部分是被定义的 L 层网络单元,它总体包含聚合(Aggregation)和转移(Transformer)两个部分。具体来说,聚合可用图示的函数表示,聚合函数 A 代表通过选择 L 以前层的 X 的一个子集作为输入,得到聚合特征 S;转移的部分比较简单,将聚合特征 S 通过转移函数 T 得到 L 层的 X。

  这便是聚合-转移框架的视角,从这个视角出发,可对现有的卷积神经网络的架构进行解读。

  为了更加形象的理解,我们举一个具体的且耳熟能详的例子——DenseNet。DenseNet 是 CVPR 2017 的最佳论文。从聚合-转移框架的视角(以上两个表达式)来看,subset 子集收敛到所有的 L 层之前的 X 上;聚合函数 A 具体化为 channel 维度的拼接(concatenation),拼接可用两条竖线的符号标记;这是聚合部分的情况。

  接下来,从子集的构成和聚合函数 A 入手,分别讨论他们目前已有的主流的形式。

  第二种情况是子集(subset)选择 L 层之前所有层的 X,这是较为常见的。主要代表作有 ResNet 系列、DenseNet 系列以及基于 ResNet 或者 DenseNet 提出改进的一些网络结构。

  首先分析图中(a)的拓扑结构,这个拓扑结构基本上是 DenseNet 的结构,符号和聚合-转移框架是保持一致的,于是可以写出它数学上的表达式,具体化为 channel 维度的拼接,进行一步的转移后得到 DenseNet 标准的表达。

<
>
相关文章
 
QQ在线咨询
售前咨询热线
400-800-8888
售后服务热线
400-800-8888
返回顶部