开篇语
文章整理自向世明老师的PPT，围绕神经网络发展历史，前馈网络（单层感知器，多层感知器，径向基函数网络RBF），反馈网络（Hopfield网络，联想存储网络，SOM，Boltzman及受限的玻尔兹曼机RBM，DBN，CNN）三部分进行讲述，给人一个神经网络的整体认识。
发展历史
单层感知器
基本模型如下
训练
如果激励函数是线性的话，可用最小二乘直接计算：
如果激励函数是sifmoid function,可迭代更新（一次性或者逐样本更新）：
上式只做了简单的求导展开，很容易推导：
多层感知器
基本模型如下
举例（含有一个隐含层的多层感知器MLP）
模式：
$$y=h(v)=h(h(u))$$
求解：
然后分别对两个层的权值求导：
然后更新即可，反向传播（BP）
经验
优缺点
RBF神经网络
模型
求解
优点和视角
深度学习简介
前向神经网络
发展历程
整体一览
一些值得关注
学术
工业
Belief Network & Hopfield Network & Boltzman机 & RBM 结构一瞥
Belief Network
Hopfield Network
Boltzman机
RBM 受限的玻尔兹曼机
RBM
模型
利用上图中公式，可以得到
求解 CD算法
DBN
模型
训练
面向特征提取
面向分类
DBM
模型
CNN
模型
训练
参考文献
