神经网络之父研究了34年前的结果,并想在大脑中寻找AI方法的存在

到目前为止,您所听到的有关人工智能的几乎所有进步仍然基于30年的论文,该论文描述了多层神经网络的训练方法。

这就是Geoffrey Hinton在1986年写的“通过反向传播错误学习表示法”。

本文具有重要意义。可以说,这是将反向传播算法(Backpropagation algorithm)第一次引入到多层神经网络训练中,这为该算法的后续推广奠定了基础,尤其是在近十年来对人工智能的为发展奠定了基础,但要保持这一进步,我们必须清醒地面对人工智能的局限性。

神经网络之父研究了34年前的结果,并想在大脑中寻找AI方法的存在

作为反向传播的拥护者,现年72岁的杰弗里·欣顿(Geoffrey Hinton)仍然处在反思(甚至质疑)反向传播的前沿。在2017年,他还明确表示:“我们需要放弃反向传播算法,并重新开辟一条新道路。”

从欣顿本人的实践角度来看,难题求解器的大脑将包括在该路径中。近年来,“人工神经网络之父”经常显示出他对脑科学研究的浓厚兴趣,并发表了许多关于脑神经科学的论文。

最近,杰弗里·欣顿(Geoffrey Hinton)发表了一篇名为《反向传播与大脑》的文章。该论文发表在《自然评论》(Nature Reviews Neuroscience)上,阐述了他关于反向传播的最新思想。从研究的角度来看,他希望探索人脑中存在反向传播机制的可能性,并且这个方向在神经科学领域受到了广泛质疑。

反向传播控制下的人工神经网络

反向传播在AI领域的位置占主导地位,尤其是它在人工神经网络(NNurals)中的作用。

要理解这个概念,您首先可以将人工神经网络想象为具有许多层的三明治。每层都有人工神经元,它们是微小的计算单元。当这些神经元兴奋时,它们会向另一个连接的神经元发送信号(与真实神经元进行兴奋的方式相同)。每个神经元的兴奋程度由一个数字表示,例如0.13或32.39。两个神经元的交界处还有一个重要的数字,表示从一个神经元传递到另一个神经元的兴奋程度。该数字用于模拟人脑神经元之间的连接强度。值越大,连接越强,从一个神经元到另一个神经元的兴奋就越大。

以最成功的深度神经网络图像识别应用为例,因为在HBO电视连续剧《硅谷》中有这样一个场景:企业家团队开发了一个程序,可以识别图片中是否有热狗。

为了让他们工作,您首先需要一张照片。举一个简单的例子,让神经网络读取宽度为100像素,高度为100像素的黑白照片。输入层中每个模拟神经元的激发值是每个像素的亮度。然后,在此三明治的底部,10,000个神经元(100x100)代表图片中每个像素的亮度。

然后,将这一层神经元连接到另一层神经元。如果一层上有数千个神经元,它们将连接到另一层上成千上万个神经元,依此类推。最后,三明治的顶层,即输出层,只有两个神经元,一个用于“热狗”,另一个用于“非热狗”。这个过程是训练神经网络在图片中有热狗时仅对第一个神经元进行刺激,而在图片中没有热狗时仅对第二个神经元进行刺激。这种训练方法是Hinton开发的反向传播技术。

当您刚创建一个神经网络时,神经元之间的连接强度是随机的。换句话说,每个连接进行的激励值也是随机的,就像人脑中的突触尚未完全形成一样。

反向传播的作用是通过更改值来增加输出的灵敏度而无需更改输入(类似于通过负反馈进行的校准),从而使神经网络可以实现特定的目标。这是实现人工神经网络的一项非常重要的技术。作为训练神经网络的基本算法之一,它使神经网络更加“智能”。


现在,反向传播的原理并不复杂,但是它需要大量数据才能达到最佳效果。这就是为什么这项技术在30年前被提出的原因,但是直到近年来作为最基本的“食物”的数据才在现实生活中产生了巨大的价值。

问题在于,反向传播是Hinton认为是计算机科学家的一种工程方法。它使机器更智能,但是这种机制实际上存在于人脑中吗?如果您希望机器在仿生人脑的路径中实现更高水平的类人智力,那么这个问题可能是不可避免的,这是欣顿最新论文讨论的核心。


最新论文:人脑中“沉默迹象”的向后传播

在人工神经网络中,反向传播尝试通过对突触权重进行小的更改来减少错误。

在这项最新研究中,欣顿研究小组认为,尽管大脑可能无法完全按照反向传播的概念进行操作,但是反向传播为理解大脑皮层的学习方式提供了新的线索。

已知人脑通过调节神经元之间的突触连接来学习,但是由于皮质中的突触被嵌入多层网络中,因此难以确定单个突触修饰对系统行为的影响。

尽管反馈连接在大脑皮层中无处不在,但很难看到它们如何传达严格的反向传播算法所需的错误信号。在这里,根据过去和最近的发展,我们证明了反馈连接可能会诱发神经活动,而这些神经活动的差异可以用来局部地近似这些信号,从而推动对大脑深层网络的有效学习。

最新工作表明,与其他以灵长类动物视皮层腹侧血流为特征的模型相比,反向传播训练模型在更高程度上匹配了观察到的神经反应,并且未使用反向传播训练模型(如果使用了Gabor过滤器的生物学启发模型,或使用非反向传播优化的网络)的效果都不如使用反向传播优化的网络。

因此,研究小组认为,反向传播对比的实用性和效率至少表明大脑使用错误驱动的反馈进行学习,这是反向传播的核心思想。

Hinton小组将这种基于驱动突触变化的活动状态错误的学习机制称为NGRAD(由活动差异表示的神经梯度表示)。

“反向传播概念的引入在神经科学领域引起了轰动。它可能成为深入了解大脑皮层学习的起点。但是,反向传播与大脑皮层的相关性很快受到质疑。 -部分原因是无法在人工系统中产生出色的性能,并且具有明显的生物学不可靠性。随着更强大的计算能力,更大的数据集和某些技术改进的出现,反向传播现在可以训练神经的多层网络NGRAD以与我们认为的生物回路操作相一致的方式解决了反向传播的严重不可靠性。

该团队还指出,这种局限性在于,尽管越来越多的证据表明使用反向传播训练的多层网络可以帮助解释神经数据,但是仍然存在许多有关如何在皮质中实施类似于反向传播的学习的问题。在反向传播中,传输的错误信号不会影响正向传播所产生的神经元的活动,但是在大脑皮层中,这些连接会影响前馈传播所产生的神经活动。大脑皮层的反馈连接不仅可以调节,激活还可以驱动活动,这比反向传播要复杂得多。

仍然存在问题:人工智能和大脑会走得越来越远还是会越来越近?

北京大学信息科学与技术学院教授,北京致远人工智能研究所所长黄铁军教授对这项关于大脑是否存在反向传播机制的研究做出回应:我在GATIC 2017上提出了一个观点,即人脑的神经网络结构是进化的大数据训练的结果,大脑结构是由“优胜劣汰”的进化过程创造的。我认为此过程可能具有广义的反向传播机制。

“就像在深度学习中一样,反向传播将非结构化的多层人工神经网络训练为具有特定结构的专用网络。大脑的进化还在于逐渐增加没有特定结构的皮质的数量,并逐步将其训练为一个清晰的,具有基本定义的结构的神经网络,获得的学习只是微调,它不能改变大脑的基本结构。

“我认为,如果反向传播有效,则主要在于大脑先天结构的形成,而不是在获得性学习过程中。包括本文在内的许多学者都在寻找个体大脑的反向学习机制的获得性学习,但“这可能不是针对的,”他说。

他举例说明了视觉系统:“人类视觉系统的神经网络结构基本上是在出生时就确定的。例如,确定了主要的视觉皮层V1至V4区域和间隔连接,婴儿接受了真实的视觉刺激,突触修改后,V1的突触和大部分视觉皮层都固定在这里,形成了我们的视觉功能,请注意,婴儿期只是突触的修改,不会改变V1到V4的基本结构,相反,深度学习的起点是并不是这样的具有基本结构的先天形成的神经系统,而是一个可以作为视觉网络或语言网络进行训练的多层神经网络,因此深度学习的训练过程实际上是在重复结构大脑必须进化数亿年的生成任务。”

黄铁军认为,从人脑在自然环境中“训练”的角度来看,反向传播是一种可能的训练方法。

“数亿亿生物进化过程中的大数据是地球的环境,其训练机制也十分丰富多样。反向传播可能是其中之一。无论深度学习的计算能力和大数据有多强大, ,很难看。”据说,模仿已经训练好的生物大脑的神经网络结构,而不是从头开始寻找结构,是获得更强智力的越来越快的方法,”他说。

当然,计算机科学家和神经科学家仍然需要探索这些许多可能性。

应该指出的是,尽管深度学习的概念在其诞生之初仍具有神经科学的阴影,但近年来,随着深度学习本身的快速发展,它也变得更加独立且几乎不相关。到神经科学:研究深度学习的专家我们专注于改进算法,神经科学家讨论的问题基本上与人工深度神经网络无关。

像Hinton团队一样,使用深度学习中发展的思想来研究大脑并不是主流,但它希望在神经科学和现有的人工智能(尤其是深度学习技术代表)之间建立更多的联系。

正如Hinton团队在文章结尾说的那样:“三十年前,人们认为神经科学可能没有什么可学的,因为从生物学的角度来看,反向传播算法的某些方面是不现实的。因为梯度学习算法在深度神经网络中执行具有强大学习能力的网络,我们开始认为对大脑的有效学习非常有可能接近计算的梯度。”

人工智能算法和人脑会走得更远或更近吗?我相信将来会有更多人加入该团队,以寻找该问题的答案。

«   2020年5月   »
123
45678910
11121314151617
18192021222324
25262728293031
网站分类
控制面板
您好,欢迎到访网站!
  查看权限
友情链接

Powered By Z-BlogPHP 1.6.4 Valyria

Copyright © 有福http://youfu.org