请停止无效努力-读书简记 麦肯基疗法-读书简记 跟简七学理财-课程简记 指数基金投资指南(2017中信版)-读书简记 指数基金投资指南(2015雪球版)-读书简记 让大脑自由:释放天赋的12条定律-读书简记 养育的选择-读书简记 GPU高性能编程CUDA实战-读书简记 百万富翁快车道-读书简记 原则-读书简记 穷查理宝典-读书简记 C++并发编程实战-读书简记 哲学家们都干了些什么-读书简记 Effective C++-读书简记 通往财富自由之路-读书简记 Linux命令行与Shell脚本编程大全-读书简记 刻意练习-读书简记 写给大家看的设计书-读书简记 习惯的力量-读书简记 好好学习-读书简记 硅谷最受欢迎的情商课-读书简记 富爸爸,穷爸爸-读书简记 如何说孩子才会听,怎么听孩子才会说-读书简记 阻力最小之路-读书简记 ProGit-读书简记 思考:快与慢-读书简记 C语言深度剖析-读书简记 编程珠玑-读书简记 Head First 设计模式-读书简记 反脆弱-读书简记 我的阅读书单 小强升职记-读书简记 观呼吸-读书简记 黑客与画家-读书简记 晨间日记的奇迹-读书简记 如何高效学习-读书简记 即兴的智慧-读书简记 精力管理-读书简记 C++编程思想-读书简记 拖延心理学-读书简记 自控力-读书简记 伟大是熬出来的-读书简记 生命不能承受之轻-读书简记 高效能人士的七个习惯-读书简记 没有任何借口-读书简记 一分钟的你自己-读书简记 人生不设限-读书简记 暗时间-读书简记

神经网络的理解

2014年11月07日

开篇语


文章整理自向世明老师的PPT,围绕神经网络发展历史,前馈网络(单层感知器,多层感知器,径向基函数网络RBF),反馈网络(Hopfield网络,联想存储网络,SOM,Boltzman及受限的玻尔兹曼机RBM,DBN,CNN)三部分进行讲述,给人一个神经网络的整体认识。

发展历史


单层感知器


基本模型如下

训练

如果激励函数是线性的话,可用最小二乘直接计算:

如果激励函数是sifmoid function,可迭代更新(一次性或者逐样本更新):

上式只做了简单的求导展开,很容易推导:

多层感知器


基本模型如下

举例(含有一个隐含层的多层感知器MLP)

模式:

$$y=h(v)=h(h(u))$$

求解:

然后分别对两个层的权值求导:

然后更新即可,反向传播(BP)

经验

优缺点

RBF神经网络


模型

求解

优点和视角

深度学习简介


前向神经网络

发展历程

整体一览

一些值得关注

学术

工业

Belief Network & Hopfield Network & Boltzman机 & RBM 结构一瞥


Belief Network

Hopfield Network

Boltzman机

RBM 受限的玻尔兹曼机

RBM


模型

利用上图中公式,可以得到

求解 CD算法

DBN


模型

训练

面向特征提取

面向分类

DBM


模型

CNN


模型

训练

参考文献



版权声明:本文为博主原创文章,转载请注明出处 本文总阅读量    次