Toriyung

摘要： 初始化变量时 float a = 3.14 float b = 3.14f double c = 3.1415926 对于变量a来说，是使用double转换成float的，如果为了省去这一步，需要在数据后加f，如变量b float有效数字为6个，double为15个，但输出时默认都为6，需要指定如 阅读全文

摘要： 正则化（regulization）顾名思义，进行调整，以下整理出几个正则化方式 L2正则化 对损失函数J加上一个关于参数ω的范数，用来降低特征值大小 L1范数: 为x向量各个元素绝对值之和。 L2范数: 为x向量各个元素平方和的1/2次方 L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于 阅读全文

摘要： 当神经元输出a = z = ωX+b时，该隐藏层则是线性的 假如该神经网络每一个隐藏层都是线性的，根据叠加定理，整个神经网络都是线性的(可认为可以等效为一层线性层的网络结构)，这样就无法做出非线性的输出。 而非线性层是不满足叠加定理的，即无法进行等效整合，所以需要引入非线性层，即激活函数。 重点：叠 阅读全文