超智能体》作者讲述深层神经网络设计理念(

2018-10-12 23:42| 发布者: | 查看: |

  人工智能会在未来消灭很多工作,同时也会创造很多工作。它同机械、同计算机一样,是对人类能力的一次扩展,任何人都应该可以像应用机械一样应用人工智能,绝不应该是大公司的专利。

  而深度学习可以说是目前各项人工智能技术的核心。因担心工作会被人工智能取代,越来越多的人想要入门深度学习。

  然而如Ian Goodfellow所说,市面上很多教程都是大量的算法罗列,并不专注于如何利用这些算法来解决眼前的问题。这些教程很容易让人们误认为成为机器学习的专家就是知道所有算法。

  事实上深度学习仍在迅速发展,今天的技术在明天就有可能被淘汰。并且每天都有大量新网络结构被提出,无法学完所有技术的我们需要找出各类网络结构的共性,尝试归类的理解其背后的设计理念。

  本期雷锋网硬创公开课邀请到《超智能体》一书作者于建国,分享的内容就是理解为何“深层”比“浅层”网络要好,深度学习适用于什么任务,并尝试找出前馈神经网络、循环神经网络、卷及神经网络、残差网络、预训练、多任务学习、端到端学习、自动编码器、迁移学习、distillation、dropout、regularization、batch-normalization等技术背后的共享,让大家感受该如何设计符合自己任务的深层神经网络。以一种不一样的思路切入深度学习。

  于建国,会津大学Human Interface实验室博士在读,硕士做的是利用深度学习将口型数据融于语音识别模型的训练中,而识别时无需口型数据,从而提高识别率的研究。也因为喜欢上了研究而继续了博士课程。希望将自己这几年的思考和自学经验分享给大家。可在知乎上搜索YJango找到分享的内容,或者在gitbook上查看其终身连载的关于如何机器学习,如何人脑学习的《超智能体》一书。

  以下为雷锋网对嘉宾分享内容实录精编。关注雷锋网旗下微信公众号,回复「PPT」可获取嘉宾完整PPT。

  大家好,我是于建国,日本会津大学博士一年生,硕士的研究是基于深度学习结合口型的语音识别。很高兴能和大家在这里分享。其他的不多说,让我们直接步入正题。

  由于人工智能的火热,越来越多的人担心自己的工作会被所取代,因而想要入门深度学习,却发现它很“黑箱”,这次就是分享一些我个人心得,关于深层神经网络的设计理念。

  这个生存游戏和右上角的小游戏差不多,也就是躲避危险从而生存下来。需要注意的是,你要清空你大脑当中的所有先验知识。你并不知道这个游戏怎么玩,所有的规则都是随机的,并不是说碰到绿柱子就会死。稍微抽象一下就可以得到左边的这个模型。ABCD表示不同的环境,个体在接收到环境的刺激后会产生靠近或远离的行为,结果就是死亡或者存活。这时,环境就是输入x,个体是关联f(可以叫它function,mapping,我在随后都把它叫做关联),行为是输出y。超智能体》作者讲述深层神经网络设计理念(附PPT+视频) 硬创公开课

  1. 假设环境B和C都是危险的,靠近就会死亡。也可能是A和D是危险的,这是随机的。

  如果你是大自然的造物主,你要怎么在上述条件下,设计出可以一直自我延续下去的生命?

  直接暴力的方式就是:不断的随机生成,总有一个个体会满足条件。比如说这个映射就可以,用01表示B,10表示C,1代表远离,0代表靠近,当出现B和C时,我们希望个体f会产生1这个数值。

  但这时我们追加另一个规则,环境会变。就像这个小游戏,如果规则变成没碰到柱子就会死呢?

  应该有人玩过“猫里奥”,你会用你以前玩马里奥的方式去玩,就是各种死。所以当环境变成A和D是危险的时候,这个个体就会死亡。

  所以,即便个体非常幸运的产生了能够满足生存的关联f,也会在下一次环境改变之际化为无机物。如果还用随机生成的方式,生命永远只能在最初始的阶段停留片刻,无法进入下一个阶段。

  于是,大自然利用大量的个体不断繁殖,并且该繁殖过程并非完美复制,而是会产生变异,变异的个体就有机会适应变化后的环境而存活下来,无法适应环境的个体会被筛选掉。筛选下来的个体继续大量繁殖,产生差异。

<
>
相关文章
 
QQ在线咨询
售前咨询热线
400-800-8888
售后服务热线
400-800-8888
返回顶部