专家票选!2020 年度 10 篇人工智能经典论文(下)

本文摘要:内容提要:克日,多家机构公布了关于人工智能的年终回首总结,从种种体现来看,疫情之下,AI 依然蓬勃生长,全球 AI 工业规模到达 1500 多亿美元。这背后,又有哪些突破性的研究值得关注?原创:HyperAI超神经关键词:AI 经典论文,NLP,CV 2020 年可谓魔幻的一年,我们见证了种种历史。不外令人欣慰的是,2020 年,人工智能领域的研究并没有停滞不前,反而是取得了十分耀眼的结果。

米乐m6

内容提要:克日,多家机构公布了关于人工智能的年终回首总结,从种种体现来看,疫情之下,AI 依然蓬勃生长,全球 AI 工业规模到达 1500 多亿美元。这背后,又有哪些突破性的研究值得关注?原创:HyperAI超神经关键词:AI 经典论文,NLP,CV 2020 年可谓魔幻的一年,我们见证了种种历史。不外令人欣慰的是,2020 年,人工智能领域的研究并没有停滞不前,反而是取得了十分耀眼的结果。

今年的各大盘算机顶会,取得了创纪录的论文提交量,以下几个数字越发直观:6 月,CVPR 2020:共收到 6656 篇提交论文,比去年的 5165 篇增加了 28%;7 月,ACL 2020:共收到 3088 篇提交论文,打破了该集会的 2906 篇的纪录;7 月,ICML 2020:共收到 4990 篇提交论文,比去年的 3424 篇增加了 45.7%;12 月,NeurIPS 2020:共收到 9467 篇论文,比去年的 6809 篇增加了 40%。在这成千上万篇论文中,业内顶尖科技公司、专家学者一同经心挑选出 10 篇「必读论文」。用于地震预警的漫衍式多传感器机械学习方法 A Distributed Multi-Sensor Machine Learning Approach to Earthquake Early Warning 通过高斯历程后验举行快速采样方法 Efficiently Sampling Functions from Gaussian Process Posteriors 迈向拟人化的开放域谈天机械人 Towards a Human-like Open-Domain Chatbot 语言模型是小样本学习者 Language Models are Few-Shot Learners逾越准确度尺度:使用 CheckList 对 NLP 模型举行行为测试Beyond Accuracy: Behavioral Testing of NLP models with CheckList EfficientDet:可扩展和高效的目的检测EfficientDet: Scalable and Efficient Object Detection 对可能对称的、可变形的 3D 物体种别,举行无监视学习 Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild 用于大规模图像识此外转换器 An Image is Worth 16×16 Words: Transformers for Image Recognition at Scale AdaBelief 优化器:凭据视察梯度的 Blief 调整步长 AdaBelief Optimizer: Adapting Stepsizes by the Belief in Observed Gradients ALBERT:语言表现自监视学习的轻量 BERT ALBERT: A Lite BERT for Self-supervised Learning of Language Representations在昨天《专家票选!2020 年度 10 篇人工智能经典论文(上) 》中,我们已经先容了前五篇,其余五篇请见下文。

6论文地址:https://arxiv.org/abs/1911.09070v4 论文 《EfficientDet:可扩展和高效的目的检测》 荣誉 为 CVPR 2020 所吸收 摘要 模型效率在盘算机视觉中越来越重要。在本文中,我们系统地研究了用于目的检测的种种神经网络体系结构的设计选择,并提出了提高效率的几个关键优化方案。首先,我们提出了一种加权双向特征金字塔网络(BiFPN),它可以利便、快速地融合多尺度特征;其次,我们提出了一种混淆缩放方法,可以同时对所有主干、特征网络和 box/class 预测网络的分辨率、深度和宽度举行匀称缩放。

基于这些优化,我们开发了一个新的工具检测器系列,称为 EfficientDet,在广泛的资源约束规模内,它始终能够到达比现有技术更好的数量级效率。特别是,在没有任何附加功效的情况下,我们的 EfficientDet-D7 在 COCO 数据集上实现了最先进的 51.0 mAP,参数为 52M, FLOPS1 为 326B,比之前最好的检测器小 4 倍,少用 9.3 倍的 FLOPS,但仍然比之前的检测器更准确(+0.3% mAP)。焦点思想 为了提高目的检测模型的效率,作者提出了:加权双向特征金字塔网络(BiFPN),用于轻松快速地举行多尺度特征融合。它相识了差别输入特征的重要性,并重复应用了自上而下和自下而上的多尺度特征融合。

一种新的混淆缩放方法,用于同时缩放所有主干,特征网络和框/类(box/class)预测网络的分辨率,深度和宽度。这些优化与 EfficientNet 主干一起,可以开发一个新的目的检测器系列,即 EfficientDet。关键成就 评估讲明,EfficientDet 目的检测器,比以前最先进的检测器具有更高的精度,而参数却少得多,特别是:参数为 52M 的 EfficientDet 模型,在 COCO 测试-开发数据集上获得了最新的 52.2 AP,凌驾了之前的最佳检测器(1.5 AP),但尺寸缩小了 4 倍,使用的 FLOP 淘汰了 13 倍;通过简朴的修改,EfficientDet 模型到达了 81.74% 的 mIOU 精度,在 Pascal VOC 2012 语义支解上,比 DeepLabV3 + 横跨 1.7%,FLOP 淘汰了 9.8 倍;与之前的检测器相比,EfficientDet 模型在 GPU / CPU 上的速度快 3 到 8 倍。

7论文地址:https://arxiv.org/abs/1911.11130 论文 《对可能对称的、可变形的 3D 物体种别,举行无监视学习》 荣誉 获得 CVPR 2020 最佳论文奖 摘要 我们提出了一种基于原始单目图像中学习 3D 可变形物体种别的方法,且无需外部监视。该方法基于一个自动编码器,将每个输入图像剖析为深度、反照度、视点和光照四个组件(将这四个组件联合起来即可重建输入图像)。为了在没有监视的情况下解开这些身分,我们使用了至少在原则上,许多工具种别具有对称结构这一事实。固然,某些特定目的实例并不是完全对称的,无论在形状或者是外观上,我们也使用直接对光照举行建模,和对模型举行扩充的方法解决了该问题。

实验效果讲明,该方法可以很准确地从单目图像中恢复人脸、猫脸和汽车的三维形状,无需任何监视和形状模型。在基准上,我们证明晰,与另一种同类使用监视的方法相比,该方法在基准数据集上具有更优的性能。基于单目图像对猫脸举行 3D 重建效果对合成的 2D 小汽车单目图像举行 3D 重建效果 焦点思想 本文所先容的方法,目的是在两个挑战性条件下,从单个 RGB 图像重建可变形工具的 3D 姿态、形状、反照率和照明,这两个条件划分是:无法获取 2D 或 3D ground truth 信息(真值),例如关键点,支解,深度图或 3D 模型的先验知识;该算法必须使用无约束的单目图像荟萃,而没有同一实例的多个视图。为了实现这一目的,研究人员提出:使用对称性作为几何线索来约束剖析;明确建模光照,并使用它作为恢复形状的分外线索;扩充模型,以推理物体中潜在的差池称。

关键成就 对该方法的定性评估讲明,其可以高保真地重建人和猫的 3D 面貌,其中包罗鼻子、眼睛和嘴巴的精致细节。与其他最新的无监视方法相比,该方法可重构更高质量的形状,甚至优于 DepthNet 模型,后者使用 2D 关键点注释举行深度预测。

8论文地址:https://arxiv.org/abs/2010.11929 论文 《用于大规模图像识此外转换器》 荣誉 投稿 ICLR 2021 摘要 虽然 Transformer 架构已经成为自然语言处置惩罚任务的事实上的尺度,但它在盘算机视觉上的应用仍然有限。在视觉上,注意力不是与卷积网络联合使用,就是在保持卷积网络整体结构稳定的同时,取代卷积网络的某些部门。我们证明晰,对卷积神经网络(CNN)的这种依赖是不须要的,当直接应用于图像小块序列时,纯 Transformer 可以很好地执行图像分类任务。当在大量数据上举行预训练并转移到多个识别基准(ImageNet、CIFAR-100、VTAB 等)时,视觉转换器获得了与最先进的卷积网络相比的优秀效果,而训练所需的盘算资源则大大淘汰。

焦点思想 在将 Transformer 体系结构应用于图像时,作者尽可能地遵循为 NLP 设计的 Transformer 的原始设计。引入的基于 Transformer 的图像分类方法包罗以下步骤:将输入图片拆分成 16x16 个 patches;每个 patch 做一次线性变换降维同时嵌入位置信息;将 patches 提供应尺度的 Transformer 编码器;在序列中添加一个分外的可学习的「class」标志位,而且以该位置的 Transformer Encoder 输出作为图像特征。

关键成就 在 JFT300M 数据集上举行预训练的 Vision Transformer,与基于 ResNet 的基线相匹配或优于后者,同时所需的盘算资源也大大淘汰。它的精度为:在 ImageNet 上:88.36%; 在 ImageNet-ReaL 上:90.77%; CIFAR-100:94.55%; 牛津 IIIT 宠物数据集:97.56%;牛津 102 花卉数据集:99.74%;在 VTAB 套件(包罗 19 个任务):77.16%。9论文地址:https://arxiv.org/pdf/2010.07468v1 论文 《AdaBelief 优化器:凭据视察梯度的 Blief 调整步长》 荣誉 被 NeurIPS 2020 所吸收 摘要 当下最盛行的深度学习优化器(optimizer)可以广泛地分为自适应方法(如 Adam)和加速方案(如动员量的随机梯度下降(SGD))。

对于许多模型,如卷积神经网络(CNNs),自适应方法通常比 SGD 收敛更快,但泛化较差;对于庞大的设置,如生成反抗网络(GANs),自适应方法通常是默认的,因为它们的稳定性。我们提出了同时实现三个目的的 AdamBlief:能与自适应方法一样快速收敛,与 SGD 一样良好泛化,以及具有训练稳定性。AdamBlief 的直觉是凭据当前梯度偏向上的「belief」来调整步长。

将噪声梯度的指数移动平均(EMA)视为下一时刻梯度的预测,如果观察到的梯度与预测有很大偏差,我们就不相信当前的观察效果,并接纳一小步;如果观察到的梯度靠近于预测,我们就相信它,并接纳一大步。通过大量的实验验证了 AdamBlief 算法的有效性,讲明该算法在图像分类和语言建模方面具有较快的收敛速度和较高的精度。详细来说,在 ImageNet 上,AdaBelief 到达了与 SGD 相当的精度。

此外,在 CIFAR10 上训练 GAN 时,与调试良好的 Adam 优化器相比,AdaBelief 体现出了高稳定性,并提高了生成样本的质量。焦点思想 AdaBelief 优化器的想法是将自适应优化方法(例如 Adam)和加速 SGD 优化器的优点联合起来。自适应方法通常收敛速度更快,而 SGD 优化器则具有更好的泛化性能。

AdaBelief 的 Blief 是凭据我们在当前渐变偏向上,可以信任的幅度来调整步长:如果观察到的梯度与预测值有很大偏差,则我们对此观察值的信念不强,可以接纳一些措施;如果观察到的梯度靠近于预测值,则我们对这一观察有强烈的信心,并会迈出一大步。关键成就 AdaBelief Optimizer 具有三个关键属性:快速收敛,如自适应优化方法;良好的归纳综合性,例如 SGD 系列;在 GAN 等庞大情况中训练稳定性。这些属性已通过广泛的实验验证,而且它在语言建模方面优于其他方法。在 WGAN 的训练中,与 Adam 相比,AdaBelief 显着提高了生成图像的质量。

10论文地址:https://arxiv.org/abs/1909.11942 论文 《ALBERT:语言表现自监视学习的轻量 BERT》 荣誉 拿下 13 项 NLP 任务,ALBERT 三大革新登顶 GLUE 基准。摘要 预训练自然语言表征时,增加模型巨细一般是可以提升模型在下游任务中的性能。

可是这种纯粹依赖模型尺寸进而期望鼎力大举出奇迹的想法,在未来会越发难题。进一步增加模型巨细将带来以下难题:GPU/TPU 内存不足;训练时间会更长;模型退化。所以,为相识决上述问题,本文提出通过两种参数精简技术来降低内存消耗,并加速 BERT 的训练速度。

此外,本文还引入一个自监视损失(self-supervised loss),用于对句子连贯性(inter-sentence coherence)建模,并证明该损失函数能够提升多句子作为输入的下游任务的性能。本文所提出的模型 ALBERT 在 GLUE、RACE 和 SQuAD 这 3 个基准上都取得了新的 SOTA 效果,且参数量还少于 BERT-large。焦点思想 ALBERT 引入两种参数精简技术,克服了扩展预训练模型面临的主要障碍。

第一种是对嵌入参数举行因式剖析;第二种技术是跨层参数共享。这两种技术都显著降低了 BERT 的参数量,同时不显著损害其性能, 从而提升了参数效率。

关键成就 ALBERT 在 GLUE、SQuAD 2.0、RACE 榜单上到达了 SOTA,并在多个方面推进了 NLP 研究。以上就是所有今年值得一读的 AI 经典论文,字字英华,请细细研读。


本文关键词:专家,票选,米乐,2020,年度,篇,人工智能,经典,论文

本文来源:米乐-www.lc208.com