2020 年了，深度学习接下来到底该怎么走?

在过去的一年，深度学习技术在各个领域一如既往地取得了不少进展。然而当前深度学习技术(本文中称为深度学习1.0)仍然存在着一些明显的局限，例如在解决有意识任务方面的不足。那么针对这些局限性，在未来的一年，有哪些可能的解决方案?深度学习又会在哪些方面带来有希望的突破?

机器学习资深从业者 Ajit Rajasekharan 在本文中汇集了深度学习领域各路大佬的想法，并分享了他本人的一些思考。

这幅图总结了最近Yoshua Bengio，Yann LeCun和Leon Bottou 教授在NeurIPS 2019上的演讲

尽管深度学习模型在2019年继续不断刷新记录，在一系列任务，尤其是自然语言处理任务上取得了当前最优的结果，2019年不仅是对“深度学习1.0之后又是什么?”这一问题的测验跨入公众视野的一年，也是学术界对此问题的研究加快步伐的一年。

一、深度学习1.0 的局限性

深度学习1.0(如上图，Bengio教授将其称为“深度学习系统 1”)已经成功地解决了人们可以在直观上(通常以快速无意识、非语言的方式)解决的任务，比方说，直觉感觉到游戏中采取一种特定的行动是好的，或者感知到一张图片中有一只狗，这些我们可以在不到一秒钟的时间内快速完成任务以及我们惯常解决的任务，都属于此类。

DL 1.0 模型在某些任务的基准测试中具有超越人类的性能，但即使在这些任务中，也存在一些已知的缺陷：

1、与人类相比，DL 1.0 模型需要大量的训练数据或时间。例如，一个模型须经过等效于200年的实时训练，才能掌握策略游戏StarCraft II。而人类则可以在平均20小时内学会驾驶且不易发生事故。

目前为止，尽管消耗比人类多几个数量级的训练数据和时长，我们还没有训练出可以完全自动驾驶的汽车。而且对于很多任务，模型还需要从人类标记的数据中学习概念。

图片来自Yann Lecun最近的演讲《基于能量的自监督学习》。 在某些游戏中需要大量增加模型训练时间才能达到或超过专业人类玩家的水平。

2、DL 1.0 模型会犯人类通常不会犯的错误。 例如，更改图像的少量像素(我们的眼睛甚至不会注意到)可能导致模型的分类错误。例如人站在电话旁，可能使模型误认为该人正在打电话。

这些错误似乎源于多种原因：(1)模型在某些情况下做出了虚假关联;(2)输入数据存在偏差，导致模型输出受到污染;(3)模型对分布变化的鲁棒性不足，在某些情况下，无法处理训练分布中的罕见情况。

DL 1.0模型会犯的不同类型错误。 (a)在左上方的图中，人类甚至无法察觉的噪声注入会导致模型分类错误。来自2015年论文的对抗样本图片。 (b)右图中的错误则是因为模型大部分时间都暴露在电话亭附近的人类拨打电话的场景下，这是由于训练数据集的选择偏见所致。图片源自Leon Bottou在2019年10月关于“用因果不变性学习表示”的演讲(c)经常观察到的一类错误是模型无法将训练数据分布泛化到此分布外数据，比方说，训练分布中的罕见事件。下面的图是黑天鹅效应的一个具体例子：不太可能发生，但一旦发生则会造成严重后果，比如一辆自动驾驶汽车，暴露于(尽管从训练数据分布的角度来看不太可能发生的)罕见事件中。图片源自 Yoshua Bengio在 NeurIPS 2019 上的演讲

二、如何实现接近人类水平的 AI ?

答案是目前尚不清楚。具体来说这个问题应该是：我们如何解决 DL 1.0 模型现有的局限性，并克服有意识任务的解决?

一种有前景的方法是从人类中汲取灵感，因为人类除了在解决无意识任务中没有 DL 1.0 的局限性(样本效率低下，无法泛化到数据分布以外)之外，还擅长于解决有意识的任务(系统 2 的任务)，例如逻辑推理、规划等任务。

下面列出一些有可能将深度学习研究带入“深度学习2.0”(有意识的任务解决)的研究方向(这些合理的方法、假设和先验中，一些已在早期的小规模实现中成为现实)。

自监督学习：通过预测输入进行学习

利用分布式表示的组合能力

去掉IID（独立同分布）随机变量假设

两种自监督表示学习方法

注意力机制的作用

多时间尺度的终身学习

架构先验

下面就这些研究方向进行详细介绍，揭示其本质，并说明它们在克服上述 DL 1.0 缺陷的同时，也极可能是通往有意识的任务解决方案(DL 2.0)之路。

1、自监督学习：通过预测输入进行学习

自监督学习本质上是通过输入数据的一部分对输入数据的其他部分进行预测来学习。这些预测可能是对输入数据序列(时间或空间)下一个元素的预测，或者是对序列中缺失值的预测。输入数据的类型可以是一种或多种(图像，音频，文本等)。自监督学习通过重构输入的缺失部分进行学习。

我们通过自监督学习学得大部分的内容。 几年前，Geoffrey Hinton在一封信里就预测到了这一点：他那时将通过重构输入数据来监督自己的学习称为无监督，我们现在为清晰起见称其为“自监督”。

大脑大约有1014个突触，而我们仅能存活109秒。因此我们拥有的参数要比数据多得多。这启发了人类肯定需要大量无监督学习的想法。因为感官输入是我们能获得每秒105维度约束的唯一处所。

用于自监督学习的传感器数据流的价值，除了其绝对数量(就每秒训练数据量而言)上的价值之外，还有：

它提供了更多的反馈数据(由于重构类型不同，反馈即使不是关于全部输入数据，也是关于输入数据的一部分)，而典型的监督学习(反馈是类别值或对每个输入的几个数字)或强化学习(反馈是对模型预测的标量奖励)的反馈数据较少。

来自环境的传感器数据流是非平稳的。这会迫使学习器，更具体地是嵌入在学习器中的编码器，去学习对象的稳定表示以及在不断变化的环境中基本不变的概念。环境固有的非平稳性也为学习变化的原因提供了机会。分布外泛化(预测事件未在训练分布中出现)和因果关系习得对于学习器做出生存必需的预测至关重要。本质上，环境的非平稳性通过不断评估和完善概念的表示和概念之间的因果关系为持续学习提供了机会。

传感器流包括在学习中起关键作用的智能体(包括学习器在内)。智能体是环境的组成部分，并通过干预来改变环境。在 DL 1.0 中，仅将智能体纳入强化学习中。DL 2.0 模型要实现其目标，将智能体纳入自监督学习中可能是重要的一步。即使是被动的学习者(例如新生儿)，在刚出生的几个月里，也主要通过观察环境中其他主体的交互作用来学习。

图片来自Yann LeCun最近的演讲。新生儿童可以用直觉来学习物理知识。例如，9个月左右的婴儿，即使在我们不去教他们什么是重力的情况下，可以通过观察周围的世界了解重力。我们通过一个简单的实验知道婴儿是否能直观地理解重力，实验将一个汽车从桌子上推下，但汽车不会掉落(有看不见的细线牵着车子)的现象不会让一个不到9个月的婴儿感到惊讶。9个月后的婴儿则会感到惊讶，因为他们的观察结果与他们9个月的“内部模型”预测车子会掉落的输出不符。

学习捕获因果关系的概念的稳定表示，使学习者能够在其计算能力之内通过模拟合理的动作序列来预测未来的几个时间步长的序列，并规划未来的动作，以趋利避害(例如学开车时避免在下山时冲下悬崖)。

DL 1.0 中的自监督学习

（编辑：我爱故事小小网_铜陵站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!