加载中...请稍后..

神经网络与深度学习研究报告(上)

发布日期:
2018-02-01
浏览量:
87568

在人工智能深层神经网络一系列惊人的学习中,从识别系统和推理逻辑图像中,随着任务和网络架构变得越来越复杂,神经网络在越来越多的现实世界应用中的使用,了解其原理就越来越重要。

实际上,深度学习(Deep Learning)就是现代人工智能的核心技术。谷歌、微软与百度是现代人工智能领域的“三巨头”。它们拥有海量数据以及DNN技术,比如:2012年11月,微软(中国)在天津的一次会议上公开演示了一个全自动的“同声传译”系统,讲演者用英文演讲,后台的计算机一气呵成,完成语音识别、英中机器翻译,以及中文语音合成,效果非常流畅。微软使用的就是深度神经网络技术。

金准数据将通过两篇连载报告带您了解神经网络和深度学习的关系。


一、感知器与神经元

1、感知器(Perceptrons)

感知器工作原理:接收一系列二进制输入,经过特定的规则计算之后,输出一个简单的二进制。

计算规则:通过引入权重(weights)表示每个输入对于输出的重要性,则有

 记w⋅x=∑jwjxj,b=-threshold,则有

 其w是权重,b是偏差。


2、 Sigmoid神经元(Sigmoid Neurons)

为了使学习变得可能,需要具备的【学习特征】:权重或偏差有较小的变化,导致输出也有较小的变化。如下图所示:

感知器网络存在的缺陷是:某个感知器较小的权重或偏差变化,可能导致输出在0与1之间进行翻转。所以包含感知器的网络不具备【学习特征】。

   幸运的是:Sigmoid神经元具有此【学习特征】,即其较小的权重或偏差变化,导致其输出变化较小。

Sigmoid函数:

Sigmoid神经元输出:

 感知器与sigmoid神经元的差别:

· 感知器只输出0或1

· sigmoid神经元不只输出0或1,而可输出[0,1]之间的任意值


二、神经网络架构

1、 手写数字识别

训练图像大小为28x28,每个训练图像有一个手写数字。

在输出层,如果第一个神经元被激活(即其输出接近1),则此网络认为此手写数字为0;如果第二个神经元被激活(即其输出接近1),则此网络认为此手写数字为1;其它以此类推。


2、算法描述

设x表示训练图像,则x是一个28x28=784维列向量。

表示输入图片x是数字6   。

    需要寻找一个算法来发现w和b,使其输出接近标签值,为了量化接近程序,定义如下成本函数:

此成本函数中,w和b为变量

注:hidden layers和output layer中的每个神经元对应一个组w、b。


(1)学习目标

如何找到满足要求的w和b:答案是梯度下降法(Gradient Descent):

· 最小化二次成本函数

· 检测分类的准确性

 学习目标:在训练神经网络中,找到使二次成本最小的w和b的集合。


(2) 梯度下降更新规则

此规则用于在神经网络中学习参数w和b


(3)算法推导(梯度下降法: gradient descent)

要求极小值,先讨论具有2个变量的简单情况,然后再推广:

 为梯度向量,则有:

总之,梯度下降法是:重复计算梯度,然后向相反的方向移动(即下坡最快最陡的方向),如下图所示:

上面讨论了只有两个变量的情况,现在推广到m个变量的情况,对应公式如下:

(4) 随机梯度下降法(Stochastic Gradient Descent)

为不减少计算量,把n个学习样本分成很多组,每组有m个学习样本,每次只计算一个组,则有如下推导:

则w和b的更新规则为:

注:如果m=1,则为在线学习。


(5) w和b的数量

对于hidden layers和输出层的神经元,每个神经元对应一个w向量和一个b,w向量的维数是其输入神经元的数量。第一层神经元没有w和b,其值直接输出。

第一层就表示原始图像数据,这些数据不经任何处理,直接作为Xj参与第二层的运算,第二层首先基于每个Xj,计算其z(z=wx+b),然后计算出sigmoid(z),以此类推。直到最后一层,利用BP算法,先计算最后一层w和b的梯度,然后以此向前,直到计算出第二层的梯度为止。


三、BP算法(反向传播算法)

BP(Backpropagation Algorithm) :是一个计算成本函数梯度的算法。

需要基于每个训练样本计算每一层的w和b的梯度,从而更新每一层的w和b。

BP的真正目标:是计算每个样本的偏导数:


(1) 定义标记符号

则有激活值的如下公式:

函数向量化有如下形式:

即函数对向量的每个元素分别计算,然后生成对应的向量。

则上面的函数向量表示为:


2、 公式推导过程

(1) 计算激活值

(2)最后一层(L层)的二次成本函数

(3) 单个训练样本(x)的二次成本函数

(4)定义误差

(5) 定义输出层误差

(6)求最后一层(L层)激活值的偏导数

(7)根据最后一层的误差计算前一层的误差

(8) 计算目标值



(9)BP的四个基本方程式

     

3、 证明四个基本议程式

(1)证明BP1

(2) 证明BP2



4、 BP计算过程










四、 SGD(随机梯度下降)计算过程