神经网络的理解

2014年11月07日

开篇语


文章整理自向世明老师的PPT,围绕神经网络发展历史,前馈网络(单层感知器,多层感知器,径向基函数网络RBF),反馈网络(Hopfield网络,联想存储网络,SOM,Boltzman及受限的玻尔兹曼机RBM,DBN,CNN)三部分进行讲述,给人一个神经网络的整体认识。

发展历史


单层感知器


基本模型如下

训练

如果激励函数是线性的话,可用最小二乘直接计算:

如果激励函数是sifmoid function,可迭代更新(一次性或者逐样本更新):

上式只做了简单的求导展开,很容易推导:

多层感知器


基本模型如下

举例(含有一个隐含层的多层感知器MLP)

模式:

$$y=h(v)=h(h(u))$$

求解:

然后分别对两个层的权值求导:

然后更新即可,反向传播(BP)

经验

优缺点

RBF神经网络


模型

求解

优点和视角

深度学习简介


前向神经网络

发展历程

整体一览

一些值得关注

学术

工业

Belief Network & Hopfield Network & Boltzman机 & RBM 结构一瞥


Belief Network

Hopfield Network

Boltzman机

RBM 受限的玻尔兹曼机

RBM


模型

利用上图中公式,可以得到

求解 CD算法

DBN


模型

训练

面向特征提取

面向分类

DBM


模型

CNN


模型

训练

参考文献



版权声明:本文为博主原创文章,转载请注明出处 本文总阅读量    次