原标题:2019 年,10篇新颖到出格的 AI 论文
作者 | 杨晓凡
修改 | Camel
前两天「AI科技谈论」总结了 2019 年十大精彩 AI 学术论文 ,从学术价值百科的视点选择了咱们咱们都以为 2019 年里值得重读、值得纪念的机器学习论文。
在这篇文章里,咱们会盘点 2019 年呈现的新颖风趣、应战传统观念的十篇机器学习论文。其间有的论文的学术价值百科怎么还有待商讨、有的论文乃至直接把前人的许多研讨效果一把推翻,但这些论文都新意满满。这十篇论文刚好能够归为 5 个不同的主题,每个主题两篇。
一、AI + 更多范畴、更多才能
[ 1 ]
论文:OpenAI MuseNet
上榜理由:2019 年年头,在宣称「GPT-2 过于风险,不能发布预练习模型」并引发大规模口水仗之后,OpenAI 觉得 GPT-2 的才能不止如此,他们测验的下一个使命是安全且脍炙人口的音乐生成。依据 GPT-2 编写的 MuseNet 模型承继并进一步加强了长序列生成才能,运用的练习数据是包含了 10 种不同乐器的、分类为多种不同曲风的数十万个 MIDI 文件,也便是数十万个乐曲。(MIDI 文件是曲谱的数字标明,能够指定乐器但不含有乐器的音色信息,学习 MIDI 是明确地让模型学习作曲风格。)
用肖邦曲风续写 Adele 的《Some One Like You》,来自 OpenAI 技能博客
模型的效果是惊人的,OpenAI 不仅在直播中演示了许多风格各异、辨识度高、旋律天然的生成乐曲,他们还在介绍博客中供给了一个互动演示,能够从某首些闻名乐曲中取一个末节作为最初,然后让模型以其他的风格续写,续写效果令人惊喜。还有猎奇且有着手才能的网友们使用 OpenAI 供给的试验东西生成了更多乐曲,都印证了 MuseNet 的确有强壮的作曲才能。
同期谷歌也在巴赫诞辰日做了一个仿照巴赫的作曲 AI(https://uracy and robustness ( ICLR 2019 )
在 ImageNet 上练习的 CNN 会带有纹路偏倚;添加形状偏倚能大大的进步准确度和鲁棒性
上榜理由:现代 CNN 网络有很强的特征标明学习才能,能在 ImageNet 上得到很高的辨认准确率。不过,不断改进网络架构、不断刷分的人多,探求 CNN 究竟学到了怎么样的特征标明的人少。按理说,方针辨认的鸿沟和纹路之争早就存在,不过咱们总算仍是在 2019 年看到了针对性的研谈论文。
这篇论文中的试验标明,在 ImageNet 上练习的 CNN 网络在方针辨认中依靠纹路远多于依靠形状;这其实和人类对自己的辨认模式的认知有很大差异,也和咱们对 CNN 工作办法的了解有所不同。作者们的定论有充沛的试验支撑,他们乃至用生成的风格转化数据集练习了依靠形状更多的 CNN,这样的 CNN 在辨认准确率和鲁棒性方面都有进步。这篇论文被 ICLR 2019 接纳。
论文地址:https://arxiv.org/abs/1811.12231
[ 4 ]
论文:Deep Double Descent: Where Bigger Models and More Data Hurt
研讨深度双波谷:更大的模型和更多的数据有时会发生负面效果
上榜理由:2019 年中,包含 OpenAI 在内的一批学者「老调重谈」地再次谈论起模型杂乱度和过拟合的问题来。机器学习界撒播已久的观念是,跟着模型的杂乱度增大(学习才能进步),模型总能得到更小的练习差错,但测验差错和练习差错的差会渐渐的大(呈现过拟合);所以模型杂乱度不能太低、也不能太高,咱们应该找到相对平衡的那个点。(上面的 U 型图)
但这两年来,一大批超级大、超级杂乱的模型用实际行动标明晰练习差错和测验差错都还能够一起持续下降。所以这次谈论构成的新一致是,咱们应该在 U 型图的右侧持续扩大,用来标明现代的、大容量的深度学习模型在巨细超越某个阈值之后,越大的模型会具有越好的泛化性。这样,整张图就构成了双波谷的姿态(下图) —— 也便是说,当你的模型巨细很不幸地落在中心的波峰的时分,你就会遇到模型越大、 数据越多反而表现越差的为难情境。
论文地址:https://arxiv.org/abs/1912.02292
[ 5 ]
论文:Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations
应战解耦表征的无监督学习中的一致
上榜理由:人类研讨人员们信任,真实数据的多种多样的改变总是能够用一些关键要素的动摇来解说;至于这些要素别离是什么,就能够用无监督学习的办法寻觅解耦的表征,然后成功地提示数据散布规则。这个方向现在现已有一些研讨效果,研讨人员们也现已构成了一些一致。
但这篇论文能够说把现阶段的大部分效果和假定一竿子悉数打翻。作者们首先从理论上阐明,假如不在模型和数据上都引进概括偏倚,那么解耦表征的无监督学习原本便是不或许的。接着,作者们用大规模试验标明,尽管不同的办法都能够找到和选取的练习丢失对应的性质,但只需没有监督,就练习不出能出色解耦的模型。除此之外,跟着表征解耦程度的进步,学习下流使命的样本杂乱度并没有跟着下降。这几点定论都和当时的解耦表征无监督学习的一致构成明显抵触,这个方向的研讨人员们或许需求从头考虑他们要从多大程度上从头来过。
作者们的主张是,未来的解耦学习研讨需求辨明人为引进的概括偏倚和监督(即使是隐式的)两者别离的效果,需求探求经过人为选取的丢失「逼迫」模型学习解耦带来的收益究竟大不大,以及要构成能在多个不同的数据集上测验、效果可复现的试验常规。这篇论文被 ICML 2019 接纳。
论文地址:https://arxiv.org/abs/1811.12359
[ 6 ]
论文:Uniform convergence may be unable to explain generalization in deep learning
收敛一致性或许解说不了深度学习中的泛化现象
上榜理由:为了探求深度学习泛化才能背面的原理,学术界提出了泛化鸿沟的概念,然后测验用「收敛一致性」理论推导、规划出了各式各样的泛化鸿沟描绘办法,好像现已取得了不少效果。但这篇论文中作者们经过很多试验发现,尽管其间的许多泛化鸿沟从数值视点看起来挺大,但跟着练习数据集巨细变大,这些泛化鸿沟也会跟着变大。
在此基础上,作者们用过参数化的线性分类器和梯度下降练习的神经网络为例,证明晰收敛一致性并不能解说模型的泛化性,即使彻底考虑了梯度下降或许带来的隐式偏倚也解说不了。更谨慎地说,作者们试验标明,依据收敛一致性得到的泛化鸿沟要比依据梯度下降得到的泛化鸿沟大得多。依据这一系列效果,作者们对「用依据收敛的办法解说泛化才能」的做法提出严峻的质疑。尽管这篇论文并没能处理(也没计划处理)深度神经网络中的泛化性问题,但它明显为整个范畴指出「此路不通,考虑重来」。这篇论文取得 NeurIPS 2019 出色新方向论文奖。
论文地址:https://papers.nips.cc/paper/9336-uniform-convergence-may-be-unable-to-explain-generalization-in-deep-learning
[ 7 ]
论文:On The Measure Of Intelligence
关于才智的丈量手法
上榜理由:尽管机器学习研讨人员们总说通用人工智能是远大抱负和尽力方向,但「在固定的具体使命上跑分」的常规真实看不出哪里和通用人工智能沾边了。谷歌大脑研讨员、Keras 库作者 François Chollet 在日常打击这种习尚的一起,最近也公开了一篇严厉的论文,明确提出咱们应该考虑怎么丈量真实的才智。
他在论文中描绘的中心主意是:要了解一个体系的才智水平,应当丈量它在一系列不同使命中表现出的取得新才能的功率;这和先验、经历、泛化难度都相关。论文中包含了对 AI、才智相关概念的解说和谈论,他以为的抱负的通用 AI 点评办法,以及他自己规划的以为比较能反映及丈量真实的才智的 ARC 数据集。对才智的谈论和仿制还有很长的路要走,这篇论文再次提示咱们对「咱们该从哪里开端、往哪里去」坚持清醒。
论文地址:https://arxiv.org/abs/1911.01547
[ 8 ]
论文:Putting an End to End-to-End: Gradient-Isolated Learning of Representations
给端到端学习画上句号:表征的梯度阻隔学习
上榜理由:这篇论文提出了一种全新的自学习办法,它选用的并不是深度学习中惯用的端到端梯度下降,而是把贪婪 InfonCE 作为方针,别离独登时练习网络中的各个模块。它的学习办法更接近于自监督学习,是把各种不同的小块之间的一起信息作为每个小块的练习的监督信号,把时刻维度上接近的表征之间的一起信息最大化。之所以这种做法能见效,是因为数据中契合这种想象的「慢特征」对下流使命十分有协助。这种办法大幅节省了练习时刻,也避开了大规模模型遇到的内存空间瓶颈。
这种办法很大程度上是从生物学现象得到启示的,也便是,整个大脑并不针对同一个仅有的方针进行优化,而是有模块化的功用分区,然后每个区域都优化自己的部分信息。现在看起来,这种办法能够方便地快速练习更深的模型,使用部分信息的设定也避免了传统神经网络中梯度消失的问题。这是一种有潜力的办法,不过是否能像论文标题中说的那样「给端到端学习画上句号」还需求等待时刻验证。这篇论文取得 NeurIPS 2019 出色新方向论文提名奖。
论文地址:https://arxiv.org/abs/1905.11786v2
代码开源:https://github.com/loeweX/Greedy_InfoMax
博客介绍:https://yann-leguilly.gitlab.io/post/2019-09-29-representation-learning-with-contrastive-predictive-coding/
[ 9 ]
论文:Read, Attend and Comment: A Deep Architecture for Automatic News Comment Generation
上榜理由:这是一篇 EMNLP 2019 接纳论文,会议完毕之后则在交际网络上引发了大片声讨之声。咱们当然知道具有优异学习拟合才能的深度神经网络有才能大批量生成新闻谈论,这篇论文中的办法能提取文章的要点观念生成呼应的谈论,并且也在主动点评目标和人类点评的两个方面都得到了很好的效果,但批判的声响以为,更重要的是「是否应作为这样的研讨,这样的研讨的社会影响是怎么样的」。EMNLP 2019 还有一篇遭受了相似批判的论文是《Charge-based Prison Term Prediction with Deep Gating Network》(https://arxiv.org/abs/1908.11521),在诉讼案子中依据检方指控的罪过猜测被告刑期。
论文地址:https://arxiv.org/abs/1909.11974
[ 10 ]
论文:Facial Reconstruction from Voice using Generative Adversarial Networks
上榜理由:作为更大、更综合性的会议,NeurIPS 2019 接纳论文中也有带来很大争议的,这篇「用 GAN 从声响重建人脸」的论文就炒得沸反盈天。即使咱们认可一个人的说话声响或许和性别、年纪、体形相关,或许模型能比人类更灵敏更明确地找到其间的相关性,但「侵略隐私」、「损失品德判别力」、「添加社会成见」、「做古怪无用的课题」之类的批判仍然是免不了的。
NeurIPS 2019 也不止有一篇论文引发争议,还有一篇是《Predicting the Politics of an Image Using Webly Supervised Data》(arxiv.org/abs/1911.00147),判别新闻媒体选用的人物相片表现了左派仍是右派的政治理念。假如看作是揭穿群众成见的社会学研讨的话,这篇论文或许还有一些价值百科。
论文地址:http://papers.nips.cc/paper/8768-face-reconstruction-from-voice-using-generative-adversarial-networks
责任修改: