投资AI技术领域,你需要了解的深度学习与神经网络工作原理

2021年10月08日 17:00  

本文5385字,约8分钟

(本文选编自《诠释人性》机械工业出版社)

 

神经网络与人类记忆非常类似,其中有几个原因。第一个原因非常明显,即神经网络是以大脑为原型设计出来的:为了利用最先进的人工智能技术,制造出与人类直觉、感知与思维过程最接近的替代物。第二个原因在于,神经网络的功能依赖于反馈系统,而反馈系统对于理解我们保存特定记忆并从中学习经验教训的能力是至关重要的。我在此想关注的正是这种反馈回路,以及它对我们管理记忆的启示。

让我们从头开始讲起。神经网络是什么?它能让我们了解哪些与自己有关的事情?神经网络是一系列将输入(感觉与知觉)变为输出(决策与判断)的算法。神经网络是深度学习的主要工具,是机器学习的下位概念,用于解决需要机器思考的复杂问题,根据输入的数据来进行迭代工作。换句话说,算法使用提供给它的信息或数据,来改善它对于某个问题的理解—这个问题可以是分析一个城市的交通流量,根据历史信息计算房价可能的上涨幅度,或者根据人们脸上的表情来判断他们的情绪。在所有这些情况下,输入系统的数据越多,算法需要处理的参考点越多,算法模拟出良好答案的能力就会越强。与传统的机器学习技术相比,神经网络更加独立,无须程序员输入大量信息,就能明确自己应当搜索的结果,因为它能够通过内部的逻辑层,自行将信息联系起来。

所有你听说过的有关人工智能的极端例子,从无人驾驶汽车到人力工作的大规模自动化,归根结底都依赖于深度学习。这是迄今为止我们开发的最接近于人类思维(在相当有限的范围内)的计算机程序。深度学习还可以应用于一些应用程序,包括犯罪记录审查、药物设计,以及能与顶级国际象棋选手媲美的计算机程序,所有这些应用程序都依赖于模拟人类大脑建立联系的能力。

以人类大脑为模型,神经网络也是由神经元组成的—此处的神经元就是各种输入的数据。这些神经元共分为三层:输入层、输出层,以及中间的“隐藏层”,即算法进行思考的地方。以驾驶一辆无人驾驶汽车为例,输入包括道路的角度、车速、与其他车辆的距离、乘客的重量,以及道路上可能存在的任何障碍物—所有这些因素将决定输出的性质,输出是算法做出的有关如何安全驾驶的决策。这些神经元之间的连接,以及它们如何被激活,才是最重要的。对于神经网络来说,最关键的一点是,每个神经元连接都会被分配一个权重,这个权重影响了它们对于神经网络与输出的影响力。通过比较与计算这些输入的权重,程序会做出自己的决策,并且在这个过程中学习应该信任哪些输入,将其作为特定结果最重要的参考数据。仍然以无人驾驶汽车为例,车速与距离障碍物(可能是行人或其他车辆)的远近的权重可能是最大的,它对决策的影响最大。神经网络的最终目标是,随着时间的推移与大量的试误,为这些加权的连接分配最为准确的权值,这样它就能以恰当的优先级(高或低)来考虑新的输入了。

神经网络与简单的机器学习程序不同,它不是通过特征提取(提取并定位车轮、腿、手臂或后视镜)来区分汽车与行人的,而是能够使用加权的连接来直接检测车辆与行人,最重要的是,它会使用能够准确描述问题的数据点组合(也就是说,如果那个障碍物有腿和胳膊,那它可能就不是一辆本田思域)。我们为神经网络输入的汽车和人的图像越多,它就越能通过反复试误,更好地优化连接的权重与组合,最大限度地提高输出(决策)的准确性。我们在一生中积累了不同层次的记忆,这些记忆加深了我们在事物之间建立联系、做出明智决策的能力,神经网络也是如此,它处理的记忆(数据)越多,就会变得越复杂、越精密。就像孩子刚开始学习某件事情一样,他锻炼大脑的机会越多,大脑就会拥有越多的信息,就会发育得越好。

这种现象要归功于神经网络的另一个关键组成部分:反馈系统。通过比较预测的结果与实际的结果,神经网络可以计算其估计误差,并且使用我们讲过的梯度下降算法来确定哪些加权连接的误差最大,以及如何调整这些连接:这个过程叫作反向传播(back-propagation,也叫自省)。换句话说,神经网络做了一些人类通常不太擅长的事情:从错误中学习。事实上,这是神经网络的本能,它不会像人类一样为错误附加情感包袱,而是将反馈作为寻求改进的内在过程。

相比之下,我们人类经常需要被提醒,反馈是重要的,而我们的任何反馈行为可能都是不情愿的。对于我们许多人来说,反馈是一个令人讨厌的词。在其最常见的场合—工作场所中,反馈通常是一种用于描述负面经历的中性方式:不管出于什么原因,有人对我们说出“反馈”这个词,都意味着我们的工作做得不够好。反馈包含了尴尬的谈话、不情愿的脚步、话外音,但这只是因为人类往往不善于给予和接受反馈。神经网络提醒了我们反馈的重要性。只有比较我们的预期与实际发生的结果,调整我们的假设与方法,我们才能把任何事情做得更好。如果我们在生活或职业生涯中依赖与过去相同的加权连接,那我们将永远不会改变或成长,也不会知道为什么我们会用同样的方式做同样的事情,并因此而感到无聊和沮丧。

在记忆方面,我们可以学习神经网络的反馈中心方法。更确切地说,意识到这个过程的存在就可以让我们受益,因为这个过程已经发生了。大脑始终在忙于为我们每时每刻所加工的信息赋予权重,决定我们需要记住什么,判断这些属于瞬时记忆、短时记忆,还是我们需要一直知晓的事物。我们记住的是那些我们经常做或想的事情(因为重复)、重要的事情(因为我们会停下来关注这些事),或者那些对我们有特殊影响的事件与时刻(也和注意力有关)。属于这些范畴的事物会被记住——这不仅说明我们存储了与之相关的记忆,也是因为这些事物成了我们大脑算法的一部分,它们会影响我们的倾向(加权连接),影响我们加工新信息的角度。大脑在某一天认为重要的事情,将继续影响大脑下一天的优先级。反之亦然。这些记忆中的连接与联想就像一面有色玻璃,我们透过这扇玻璃来审视自己的整个人生。

我们不断地把发生的每一件事区分为难忘的与易忘的,不知道这个过程的存在,就像把你的约会软件的使用权外包一样,依照你从前的偏好来自动选择你喜欢的对象,而不去真正检查你是否还喜欢那些人。这也会导致我们的系统出现误差。在神经网络中,如果在赋予权重的时候基于过于狭隘的数据集(也就是你的模型过度拟合了),或者该数据集在只有相关关系时就得出了因果关系(误报),那就会出现误差。因此,如果你训练神经网络仅仅根据爪子的大小来区分猫和狗,那它可能会被一只很大的猫或很小的狗愚弄。

我们的大脑也一样容易犯错。大脑可能会优先处理我们不想或不需要记住的事情,也可能忘记我们需要记住的事情。我们需要反馈回路来将这些“误差”转化为数据,从中获得领悟,并依此做出调整。任何一位科学家都会告诉你,不存在所谓的误差或糟糕的结果,它们只是进一步学习的起点。因此,如果我们想要为记忆重新编程,让记忆更好地工作,我们就需要更加关注经过核心加权的反馈回路,并开始思考我们可以做些什么来优化它。如果没有恰当的反馈,我们就只能利用记忆能力中很小的一部分,来改变我们对生活和世界的看法。

重塑反馈回路

那么,反馈回路是怎样形成的呢?

首先,反馈回路会把我们在生活中积累的大量数据分离出来,变成有用的东西。作为人类,随着时间的推移,不同层次的记忆已经在我们的脑海中凝固,使得我们很难区分不同的时间框架,难以明确此时此地真正重要的是什么。过去的毛病会影响现在,影响你的判断力与看清事物的能力。计算机也有同样的问题—如果太多程序同时运行,它们的内存也会不堪重负。而它们有一个解决方法:调试,丢掉不再有用或不必要的东西。

对于人类来说,调试是很难的。你需要思考自己为什么有某种感受,无论那种感受是不确定的还是过度自信的,你都应该尝试从过往经历中找出这种感受的根源。这些过往经历填满了你的记忆库,制约了你的反馈回路。只要你做到了这一点,就能更容易地把好的记忆与坏的记忆放回适当的背景中,并相应地调整它们的权重:从错误中学习,克服障碍,并尽可能地以客观的态度期待未来。

如果我们想要改变我们对事物的感受,或者处理生活中的特定问题,那么反馈回路就是我们努力的起点。我们应该认识到,我们的本能反应受到了一生的记忆与经历的影响,这些反应所创造的加权联结决定了我们大脑的思维方式。在生活中,我们所珍视的东西、强烈的感受,并不是偶然出现的。它们根植于我们鲜活的记忆中,而做出改变的唯一方式就是逐步调整反馈回路。

无论我们有没有注意到,正负反馈回路都不断地在我们的大脑中运转。我的经验是,我越能意识到它们的存在,越努力地去重塑这些回路(提醒自己何谓好的输出,何谓坏的输出,也就是与期望不符的结果),我就越能控制自己的精神状态。还有一件值得记住的事,那就是一个运作良好的系统,无论是人还是算法,都依赖于正负反馈回路的恰当平衡。我们需要足够的正反馈回路来让我们体验新事物和学习,也需要足够的负反馈回路来限制我们做出愚蠢的决策,或把自己置于危险之中。如果我们想保持平衡的状态,就不能过度依赖正反馈或负反馈,就像无人驾驶汽车的神经网络在解读信息时既不能过于激进,也不能过于谨慎,否则就不能安全驾驶。我们也不能缺少其中任何一方—我们需要正确利用两种反馈,并随时调整,以便适应我们遇到的不同情况。

通过实验,我了解到,随便放弃一生积累的记忆与心理倾向是不可能的。无论你喜欢还是不喜欢,是它们让我们成为人类,让我们拥有感觉,并赋予我们身份认同与性格特征,这种身份认同与性格是我们生活的支柱。这些倾向有时可能像是在与我们作对,但实际上它们就是我们本身—是我们最纯粹的自我表达。但是,接纳这些倾向的存在,不等于向它们屈服。我们可以通过了解这些倾向来控制它们,逐步地利用真实的经历来启动反馈回路,并调整那些最重要的权重。我们必须把潜意识里的倾向带入意识的领域,这样我们才能知道我们所面对的问题。这个过程就像翻看老照片一样,既可怕又好笑。

用记忆做实验的经历教会了我,要完全消除某些记忆(并且重新学习用什么姿势来拿我最喜欢的杯子)是不可取的。我们可以向神经网络学习,但我们不像计算机,无法通过清除自己积累的记忆来提高记忆功能的效率。放弃了对记忆进行全面的格式化之后,我选择了让自己的心理不断地更新、升级。每隔一两年,我就会审视自己脑海中最重要的不同层次的记忆—把那些过去有用但现在不合时宜的东西放下,并试着让那些给我鼓舞、专注和快乐的东西交织在一起。这样能够减少你对于过去的悔恨,让你的思维更加敏锐,准备好迎接未来的挑战。无论在何时,我们的记忆都代表了我们的人生。我们不要忘记,我们可以选择记忆所呈现的特征。

我们无法控制生活中所发生的每一件事,但我们可以调整记忆存储与利用那些经历的方式。我们可以完全掌控的是,我们为哪些经历赋予权重,我们如何记住那些事情,以及我们为什么要记住那些事情。在你的生活中,哪些事物能给你力量,让你想起真正的自我与你所具备的能力?与之相反,哪些不愉快的事物能够充当未来行为与决策的“减速带”,使你警醒,不要做出以后可能后悔的事情?我们需要做出选择并排序:好的与坏的、逻辑与情感、我们的感受与他人的感受。所有这些元素都会在反馈回路中不断地出现:就像食谱一样,最重要的是恰当的比例,而我们通过决定真正关注哪些东西,如何加工并存储这些记忆来决定这些元素的比例。虽然“从错误中学习”听起来很老套、很简单,但这实际上是我们如何调整思维与记忆,使其按照有利于我们的方式工作,创造健康、平衡的反馈回路(并且不害怕随着时间的推移而做出调整),更好地为未来的挑战做准备的重要组成部分。

反馈回路的出现是一种本能,但只有真正掌控它,我们才能拥有巨大的力量:我们要思考反馈回路是如何工作的,我们可以做些什么调整。专注与注意力是记忆形成的重要因素。爸爸做的意式千层面是我最喜欢的食物,在我小时候,我总是会把千层面摆在面前,沉浸在食物的芬芳中,目不转睛地看上10秒钟,将这情景牢牢地记在心里。每当我需要感受家的温暖时,我就会重温这种记忆。通过这样的简单方法,我们都可以训练自己的记忆,把有益的东西放在更重要的位置上,最大限度地利用那些事物来为我们提供力量、肯定与安慰。

记忆中可能充满了焦虑、羞耻与遗憾。如果任由这部分记忆在无意识中不断成长与演化,它可能会让我们沉浸在过去的经历与决策的消极面里,让我们在事情发生之后的数秒、数月甚至数年后重温这些经历。记忆给我们的挑战在于,既不要困在过往与悔恨的迷宫里,也不要沉湎于我们永远无法再见到的人与再也回不去的地方。老实说,我们大多数人都更多地活在负反馈回路而非正反馈回路里:选择性地积累不好的经历与记忆,这些经历与记忆会削弱我们的信心,影响未来的判断。

但记忆是我们不可缺少的东西,是我们人性中不可分割的内在元素(正如我所发现的那样),不能像引擎上有缺陷的部件那样简单地拆掉。如果我们像格式化计算机一样清空自己的记忆,就会抹去太多永远不可被替代的东西。所以,我们最好的选择就是进行微调,随着时间的推移做出调整,这样我们才能最大限度地利用这个强大的(有时甚至是危险的)真实自我的源泉。