下路派出所

2017年12月24日

摘要：靠近输入的神经元会比靠近输出的神经元的梯度成指数级衰减靠近输出层的hidden layer 梯度大，参数更新快，所以很快就会收敛；而靠近输入层的hidden layer 梯度小，参数更新慢，几乎就和初始状态一样，随机分布。这种现象就是梯度弥散（vanishing gradient proble 阅读全文

posted @ 2017-12-24 17:27 下路派出所阅读(9867) 评论(0) 推荐(2) 编辑

深度学习（六）激活函数

摘要：激活函数是用来加入非线性因素的，解决线性模型所不能解决的问题。激活函数通常有如下一些性质：非线性：当激活函数是线性的时候，一个两层的神经网络就可以逼近基本上所有的函数了。但是，如果激活函数是恒等激活函数的时候（即f(x)=x），就不满足这个性质了，而且如果MLP使用的是恒等激活函数，那么其实整阅读全文

posted @ 2017-12-24 12:14 下路派出所阅读(416) 评论(0) 推荐(0) 编辑

2017年12月23日

Oracle 汉字转拼音触发器

摘要： 1 --函数GetHzFullPY(string)用于获取汉字字符串的拼音 2 --select GetHzFullPY('中华人民共和国') from dual; 3 --返回：ZhongHuaRenMinGongHeGuo 4 5 --函数GetHzPYCAP(string)用于获取拼音首字母阅读全文

posted @ 2017-12-23 23:07 下路派出所阅读(1111) 评论(0) 推荐(0) 编辑

C# OracleHelper

摘要： using System; using System.Configuration; using System.Data; using System.Collections; using Oracle.ManagedDataAccess.Client; namespace DBUtility { /// /// A helper class used to execute q... 阅读全文

posted @ 2017-12-23 23:03 下路派出所阅读(1943) 评论(0) 推荐(0) 编辑

WPF 自定义NotifyPropertyChanged

摘要：该工具类实现INotifyPropertyChanged接口 /// <summary> /// 实现了属性更改通知的基类 /// </summary> public class BaseNotifyPropertyChanged : System.ComponentModel.INotifyPro 阅读全文

posted @ 2017-12-23 23:02 下路派出所阅读(2014) 评论(1) 推荐(0) 编辑

深度学习（五）正则化之L1和L2

摘要：监督机器学习问题无非就是“minimizeyour error while regularizing your parameters”，也就是在规则化参数的同时最小化误差。最小化误差是为了让我们的模型拟合我们的训练数据，而规则化参数是防止我们的模型过分拟合我们的训练数据。多么简约的哲学啊！因为参数太阅读全文

posted @ 2017-12-23 22:57 下路派出所阅读(1669) 评论(0) 推荐(0) 编辑

深度学习（三）反向传播直观理解

摘要：这是典型的三层神经网络的基本构成，Layer L1是输入层，Layer L2是隐含层，Layer L3是隐含层，我们现在手里有一堆数据{x1,x2,x3,...,xn},输出也是一堆数据{y1,y2,y3,...,yn},现在要他们在隐含层做某种变换，让你把数据灌进去后得到你期望的输出。如果你希望你阅读全文

posted @ 2017-12-23 11:18 下路派出所阅读(933) 评论(0) 推荐(0) 编辑

2017年12月21日

深度学习（四） softmax函数

摘要： softmax函数 softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softmax值就是更形象的如下图表示： softmax直白来说就是将原来输出是3,1,-3通过阅读全文

posted @ 2017-12-21 20:51 下路派出所阅读(988) 评论(0) 推荐(0) 编辑

2017年12月20日

深度学习（二）BP求解过程和梯度下降

摘要：一、原理重点：明白偏导数含义，是该函数在该点的切线，就是变化率，一定要理解变化率。 1）什么是梯度梯度本意是一个向量（矢量），当某一函数在某点处沿着该方向的方向导数取得该点处的最大值，即函数在该点处沿方向变化最快，变化率最大（为该梯度的模）。 2）代价函数有哪些 0-1损失函数(0-1 loss 阅读全文

posted @ 2017-12-20 22:33 下路派出所阅读(2094) 评论(1) 推荐(0) 编辑

深度学习（一） BP神经网络

摘要：怎样理解非线性变换和多层网络后的线性可分，神经网络的学习就是学习如何利用矩阵的线性变换加激活函数的非线性变换线性可分：一维情景：以分类为例，当要分类正数、负数、零，三类的时候，一维空间的直线可以找到两个超平面（比当前空间低一维的子空间。当前空间是直线的话，超平面就是点）分割这三类。但面对像分类奇阅读全文

posted @ 2017-12-20 21:05 下路派出所阅读(1805) 评论(0) 推荐(0) 编辑

公告