当前位置:   金科网 > 人工智能 > 正文

神经网络的气宗与剑宗之争:先验强大的网络甚至不需要训练

  神经网络的气宗与剑宗之争:先验强大的网络甚至不需要训练

  金科网 AI 科技评论按:深度神经网络中有许多连接权重,这些权重的值对网络表现有巨大影响;通过反向传播可以定向优化这些权重,提高网络的表现,这个过程被称作「训练」;训练过程通常需要多轮迭代,需要大量的稠密矩阵运算;这些都是领域内的常识。因为训练过程如此地重要,深度学习研究人员们都会设立多 GPU 阵列加速训练过程,关于训练技巧的论文连篇累牍,甚至还有「深度学习调参师」、「玄学调参」、「希望上帝给我一个好的初始随机种子」之类的调侃。

  那么连接权重是影响神经网络表现的唯一因素吗?应该也不是。不仅近几年中人类手工设计的许多网络架构以更少的参数、更高的表现证明了网络架构重要性,神经架构搜索(NAS)更在各种任务中分别找到了可以达到更高表现的网络架构。不过,这些网络架构都仍然需要经过适当的训练才能得到好的表现,似乎只是说明了「适当的架构和适当的训练可以相得益彰」。

  本着对照实验的精神,我们似乎应该设计另一组实验:为了说明训练的影响,我们在相同架构的网络上做不同的训练;那为了说明架构的影响,我们需要在不同架构的网络上做相同的训练;根据实验结果我们就可以定性、定量地分析训练和架构各自的影响,厘清这场神经网络的「气宗与剑宗之争」(网络结构与训练的影响之争)。

  说明架构影响的这件事并不好做,如何在不同架构的网络上做相同的训练就首先是一个难题。谷歌大脑的研究人员 Adam Gaier 和 David Ha 在近期的论文《Weight Agnostic Neural Networks》(https://arxiv.org/abs/1906.04358)中做出了自己的尝试,得到了有趣的结果。金科网 AI 科技评论简单介绍如下。

  寻找连接权重不重要的神经网络之前就有研究人员展示了权重随机初始化的 LSTM 和 CNN 网络具有意外地好的表现,在这篇论文中两位作者更进一步地提出要寻找 weight agnostic neural networks,WANN,权重不可知的神经网络,即具有强大的归纳偏倚、以至于只使用随机权重就能够执行多种任务的神经网络。

  为了能够完成实验,作者们提出了新的实验思路:

  网络中的每个连接都使用同一个随机参数作为权重 —— 最小化权重(也就是训练过程)的影响,同样也最大程度简化了模型表现的采样空间

  在很大的范围内取这个参数的值,多次评估网络的表现 —— 不再以最优的权重设置作为网络表现评价的唯一目标

  根据算法信息理论,作者们并不满足于能够找到满足要求的网络,而是能最简单地描述的网络。比如,有两个不同的网络能带来类似的表现的话,他们会留下更简单的那个 —— 网络大小也就成为了搜索过程中的一个附加目标。结合连接计算成本以及其它一些技巧,他们希望最终找到的网络要尽可能简单、模块化以及可演化,并且更复杂的网络必须能够带来更好的表现。

  

神经网络的气宗与剑宗之争:先验强大的网络甚至不需要训练

  某个搜索过程的图示:图从左侧为环境参数的输入,右侧为运动控制的输出。早期的网络搜索结果在各种权重取值下表现都不好;后来网络建立起一些输入量之间的联系后,在某些范围的权重取值下可以达到较好的表现具体搜索过程请参见论文原文。

  实验结果作者们在多个连续控制任务中评估了搜索得到的网络。

  CartPoleSwingUp,一个小车上用铰链悬挂一根棍子,小车只能通过横向移动把棍子在上方直立起来并保持;这个过程里小车只能在有限的范围内运动。这个任务无法通过一个简单的线性控制器解决。

  

神经网络的气宗与剑宗之争:先验强大的网络甚至不需要训练

  BipedalWalker,控制一个双足机器人的两个髋关节和两个膝关节,让它在随机地形上行走。

  CarRacing,根据上帝视角的画面像素输入控制赛车在赛道上运动。

  

神经网络的气宗与剑宗之争:先验强大的网络甚至不需要训练

  左图:为 BipedalWalker 任务找到的网络;右图:为CarRacing 任务找到的网络

神经网络的气宗与剑宗之争:先验强大的网络甚至不需要训练

  上图表格展示的是 WANN 找到的网络在超过 100 次试验中的表现(所以分数呈现为范围)。纵向对比的是传统的强化学习算法,横向的四项子分数分别是:

  Random weights,每个连接权重分别从 (-2,2) 范围随机取值;

  Random shared weight,所有连接使用同一个权重,从 (-2,2) 范围随机取值;

  Tuned shared weight,所有连接使用同一个权重,从(-2,2) 范围内取值时的最好表现;

  Tuned weights,有权重优化过程,不同的权重允许有不同的变化(也就是传统的训练)

  根据表格可以看到,传统强化学习算法中的权重必须经过训练以后才能得到好的表现,相比之下 WANN 寻找到的网络只需要所有连接都使用同一个随机权重就有机会得到好的表现。

  所有连接使用同一个权重时得到的最好表现是喜人的,晃悠几次就可以让小棍平衡,走路时可以有高效的步法,开赛车的时候甚至还能从内侧切弯。而进一步进行传统意义上的训练以后,网络的表现还能有进一步的改善。

  另外,作者们也做了监督学习(MNIST 数字识别)实验,也找到了能够比随机权值 CNN 得到更好表现的网络。

  结果解读

神经网络的气宗与剑宗之争:先验强大的网络甚至不需要训练

  搜索到的在BipedalWalker 中表现最好的网络结构由于 WANN 搜索到的网络相对简单,作者们也尝试解读这些网络架构。首先,网络架构中明显地为任务编码了强大的偏倚,在如此浅层的连接中可以明显看到网络对不同输入信号的处理加工过程;但同时,找到的网络的表现也并不是与权重的值完全无关,在某些随机值下还是会出现不好的表现。可以看作,WANN 搜索到的网络对输入输出间的关系进行了强大的编码,虽然权值的大小相比之下变得不重要,但信号的连续性、符号一致性还是有影响的。观察搜索过程中网络如何一步步变得复杂的也能得到类似的感受。

  WANN 搜索到的网络的最佳表现最终还是比不上 CNN 的最佳表现,这并不奇怪,毕竟 CNN 本身也是带有很强的视觉偏倚的架构,而且经过了如此多年的持续优化改进。

  在这项研究中金科网(公众号:金科网) AI 科技评论感觉到的是,解决指定任务所需的偏倚总需要通过某种方式编码到网络内。传统的深度学习研究中都是固定网络架构(基础模块和连接方式),用连接权重的更新体现这些偏倚;在 WANN 中,架构和权重的位置调换,用随机取值且不要求优化过程的共享权重限制了偏倚在权重中的储存,从而得以让偏倚显式地体现为架构的更新。从另一个角度看:网络结构占据绝对支配地位以后,连接权重可以不必关注,只需要考虑如何解释结构,这就容易多了。这也是神经网络可解释性的一大步。

  作者们也在论文的讨论章节中指出,这种思路在小样本学习、在线学习、终生学习中都可能能够派上用场(持续地优化更新网络架构)。这不仅新奇,也是继续探索神经网络潜力的一条新的道路。「气」和「剑法」并重,也许未来我们有机会能够改进神经网络的更多弱点。

  金科网 AI 科技评论报道。

  论文原文地址:https://arxiv.org/abs/1906.04358

  互动式论文页面(带有 demo):https://weightagnostic.github.io/

  金科网原创文章,未经授权禁止转载。详情见转载须知。

神经网络的气宗与剑宗之争:先验强大的网络甚至不需要训练

415事件 415事件 IFO abcc交易所 ama事件 bibox bitfinex bitshares bitstamp btcguild btcguild主页 btcc btcguild btc论坛 chain coin coinbase coinmarket coinmarketcap dc资讯 deepbit ether ethereum filecoin fiscobcos hotstuff huobi huobiwang hyperledger ico比特币 imtoken kncminer kyle lsk mtgox破产 nervos okcoin okcoin okcoin交易平台 okex公众号被封 purpleline purse r3 ripple thundernetwork usdt暴跌 vdf zcash 爱德华·斯诺登 暗黑币 巴菲特比特币 巴西比特币洗钱案 百度区块链白皮书 斑马社 比特币8000美元 比特币价格 比特币暴涨 比特币跌破 比特币风险 比特币工厂 比特币汇率 比特币交易平台 比特币交易网 比特币今日价格 比特币勒索 比特币论坛 比特币骗局 比特币期货 比特币世界 比特币是什么 比特币听证会 比特币现金 比特币行情 比特大陆 比特股 比特论坛 比特现金 比原链 币贝 币创网 币网 币盈网 币众筹 博纳云 蔡欣 超主权货币 传销组织售暗黑币 达世币 复杂美区块链 公信宝 共享财经 狗狗币 关于防范比特币风险的通知 韩锋 韩国vs委内瑞拉 荷兰皇家壳牌集团 荷兰式拍卖 贺华成 恒星币 火币网 基亚索 极度贪婪 加密货币 蒋旭宪 金磊 矩阵元 烤猫 老猫 雷霆网 量化交易 邻萌宝 孟岩 摩根币官网 魔兽世界密保卡 旁氏骗局 区块链 区块链知乎 区块链是什么 区块链游戏 区域链 全球区块链大会 荣格财经 瑞波币 瑞波币交易平台 塞浦路斯事件 闪电网络 什么是区块链 史玉柱女儿史静 首家互联网法院 数秦科技 溯源链 算力吧 特朗普任命幕僚长 填补空白 万向区块链 王峰十问 王瑞锡 网易王磊 微宽网 维卡币官网 乌克兰前总理 西湖龙井资讯平台 下架币 小企股 小喵 迅雷在美遭遇诉讼 迅雷资讯 央行比特币 以太 以太币 以太坊 以太坊官网 以太坊价格 隐私云 于佳宁 元界 张海宁 账本 质数币 中本聪 朱波 朱嘉明 资本实验室 资产上链 1吨tnt的威力 1吨tnt的威力 2016深圳双创周 2016影响因子 2017新增院士名单公示 2017院士增选名单 2017支付宝扫码领红包 21吨tnt 2g物联网芯片 360ak47 360百度大战 360ak47 360百度大战 360大战百度 360和百度大战 360黑匣子 360手机ak47 360与百度大战 5.3寸手机 9505和9500区别 SmartisanOS发布会 bada论坛 build2017大会 csdn泄密 cv狗狗 dubike官网 evad3rs官网 facebook时间线 flappybird记录 google资讯 gpu是什么 icloud艳照门 inwatch官网 ios7支持机型 iphone5nanosim卡 iphone5宣传片 iphone5最新消息 iphone6mini iphone7或成爱疯最终形态 i美股 jwotch腕宝 lbs观景台 lily无人机 lytro光场相机 miuiv6发布会直播 mobileye被收购 myo腕带 nasa最新消息 nest恒温器 norse黑客大战 okex公众号被封 pepper机器人 pornhubcom日本视频 prynt手机壳 pythonmatplot绘图 qq火炬 qq天降红包 smartphone手机 sophone官网 tegra3四核处理器 ttg优惠券 vr爱情动作片在线播放 vr爱情动作片资源 vr左右格式爱情动作片 wifi怎么读 wp7越狱 阿里巴巴上市视频直播 阿里巴巴新任ceo 阿里无人超市 艾薇儿艳照事件 爱搞机 爱稀奇网 安卓挖矿蠕虫 暗黑机器人 奥巴马僵尸粉 奥迪男 百步淘 百度财报 百度360大战 百度财报 百度美拍 百度通讯录 百融 暴风播控云 暴风资讯 贝利珠 便利贴相机 播控云 草榴最新 草榴11 草榴客户端 草榴色导航 草榴色区 草榴时光 草榴网站 畅呼吸 超光速引擎 车国网 陈小同 陈孝良 池泽彩野花 锤子手机发布会2016 垂直搜索引擎有哪些 春运车票四大陷阱 大旗网 大旗网首页 大色鱼网站 戴珊 地沟油航班首飞行 点滴网络 点心os 点心rom 电信董事长调任移动 电蟒 丁道师 丁香园用药助手 独立调查员 兑吧积分商城 多听v电台 发改委罚高通60亿 发现应用克隆漏洞 凡宇资讯 飞飞发 风火轮滑板 符德坤 福岛电站辐射爆表 福岛核电站辐射爆表 高通8064 工业互联网 宫爆老奶奶bug 共享女友项目被罚 狗眼看世界 谷歌资讯 广告资讯 桂花网 桂卫华 郭佳 郭子威 国产手机信息网 国外选美辣眼睛 海尔透明电视 韩寒的杂志 航芯一号 毫米波 黑莓a10 虹膜支付 红米首发新品 红星操作系统 后pc时代 胡时伟 互联网最新资讯 华纳资讯 华佗智能医生 黄网 黄修源 徽剑 机器人技术 机器人记者崛起 极飞科技 极幕 极幕vr眼镜 集群飞行器 计算机图形学 记忆球 记者700元买同事行踪 贾跃亭令计划 监听门 江苏快3上宏发玩 街旁app 金蝶微博 金立e7发布会 京东金融更名 京东数据泄露 九又vr 凯文·米特尼克 考拉班车 考拉盒子 科大讯飞教育 科技媒体 科学家探测到引力波 空中巴铁 酷开vr 酷六网 快按钮 快播咨询 快播资讯 快播资讯首页 快播最新 雷峰 雷锋 雷锋电影 雷锋2012 雷锋报 雷锋的 雷锋的电影 雷锋的死因 雷锋的头像 雷锋的真相 雷锋电影 雷锋介绍 雷浪声 李开复写的书 李文栋 李一舟 李一舟微博 李一周 量子态隐形传输 林德康 林志颖iphone5 刘成敏 刘明辉 刘韧磊 刘世康 路宝盒子 鹿晗清晗基金陷色情门 罗永浩西门子 美国大选实时 美立知 蒙特卡洛树搜索 猛犸4浏览器 米多娱乐 觅创 明日合伙人 爬行者 潘翔 苹果ceo年薪 苹果飞行器 苹果新ceo 苹果最新消息 ⑵桨宓缒宰钚伦恃?企业社交网络 抢购信息 乔治·霍兹 亲心小号 邱懿武 曲奇单车 趣店数据疑似外泄 仁宝回应乐视欠款 人工智能图普科技. 人工智能技术 人工智能建站系统 人工智能图普科技 人魔网 日志宝 如果云 三星gearvr-vive 山寨iphone5 舌尖上的元素周期表 申威1600 申威1600处理器 深航app劫持微信 深圳车牌 神舟天宫对接成功 沈向洋 视频压缩算法 试用目录 手机气压感应器 手机水货和行货的区别 手机水货与行货的区别 数据丢失 数字化医疗 斯诺登事件最新消息 私家车不允许当专车 宋黎明 孙冰 孙丕恕 索尼honami 探针盒子 唐杨林 特斯拉处破产边缘 特斯拉进入迪拜 腾讯安全反病毒实验室 腾讯创业服务平台 腾讯优图实验室 同盾科技 图片搜索引擎大全 玩客币骗局 玩客云骗局 汪滔 王汉华 王思聪吐槽ios9 王星 王自如致歉 网红脸识别大战 网红脸识别人机大战 网易邮箱密码泄露 网易邮箱泄露 微软补丁 微软漏洞 微软面试题 微软宣布完成收购 微信5.5 为盲胞读书 温州电视台被黑 温州广电被黑 温州有线电视被黑 文件大师 无人机配件清单 吴俊杰 西湖论剑 夏航 先声教育 鲜果联播 小米2013年度发布会 小米4c发布会 小米iot 小米畅聊 小米资讯网 肖恩·范宁 肖力 新浪轻博客 嗅探 虚拟房间 迅雷大数据 迅雷新闻 迅雷资讯 迅雷资讯首页 亚航客机失联8大事实 岩田聪 遥控直升机原理 业界新闻 一吨tnt的威力 一数科技 医疗问答平台 伊莉 移动互联 易趴网 银行数据挖掘 印度发104颗卫星 英伟达收购mellanox 硬件资讯 优谈宝宝 游戏画风让人流鼻血 有鹏出行 俞太尉 俞扬 约翰斯卡利 岳路平 月饼事件 云罐 责令运营商整改 宅客 窄播 张嘉伟 张梦华 张首晟去世 张溪梦 哲也 臻识 臻识科技 织点智能 智慧 智能 智能网站 智适应 智铀科技 周鸿祎天天向上 周路明 朱坤 抓小三软件 追气球的熊孩子 咨询快播 资讯快播 资讯快播下载 自动驾驶出租车 最新病毒信息 最新色情片 最新艳照 汶川地震6周年 炫轮 睿医智能医生 魅蓝metal发布会 魅族mx四核评测 chengren游戏 chengren游戏 htc视频 htc游戏 htc游戏免费下载 h单机游戏下载 vr评测 vr世界 vr体验馆 vr网站 vr下载 vr虚拟现实 vr游戏 vr资讯 vr资源 安卓h游戏 安卓成人游戏 安卓手机成人游戏 奥秘世界 暴风魔镜4 北京虚拟现实 成年网络游戏 成仁游戏 成仁游戏单机 成人网页游戏 成人网游 成人游戏 成人h单机游戏 成人h游戏下载 成人youxi 成人单击游戏 成人单机版游戏 成人单机小游戏下载 成人单机游戏排行榜 成人单机游戏网 成人单机游戏下载 成人单机游戏下载基地 成人电脑单机游戏 成人电脑游戏 成人网络游戏 成人网页 成人网页小游戏 成人网页游戏 成人网游下载 成人游戏 成人游戏单机版 成人游戏电脑版 成人游戏机 成人游戏免费下载 成人游戏排行榜 成人游戏下载网站 成人游戏迅雷下载 成人娱乐 成人娱乐中心 成人之家 承认游戏 大朋看看 单机版成人游戏 单机成人小游戏 单机成人游戏 单机成人游戏下载 多哚 风云客 极维客 九又vr 乐客vr 罗技游戏方向盘 色请游戏 体感游戏 外星人alw17er 网页成人游戏 微软眼镜 虚拟现实游戏 虚拟现实中国社区 移动vr 掌网 最新h单机游戏 嗨镜