yesuuu

摘要： 对学习算法的修改——旨在减少泛化误差而不是训练误差 显著减少方差而不过度增加偏差。 【参数范数惩罚】 通常只对权重做惩罚而不对偏置做惩罚，原因是拟合偏置比拟合权重容易很多。 不同层使用不同惩罚的代价很大，会在所有层使用相同的权重衰减。 L2正则化的效果： 在Hessian阵特征值较大的方向，正则化的 阅读全文

摘要： 前向网络：无反馈 feedback 连接 【输出单元】 线性 -- 高斯分布 、 sigmoid单元 -- bernoulli输出、 softmax单元 -- multinoulli 【隐藏单元】 整流线型单元： relu，不可微，但是在梯度下降中的表现依然很好。原因是只要接近局部最小值即可，不需要 阅读全文

摘要： 【机器学习基础】 模型的 vc dimension 如何衡量？ 如何根据网络结构衡量模型容量？有效容量和模型容量之间的关系？ 统计学习理论中边界不用于深度学习之中，原因？ 1、边界通常比较松， 2、深度网络的容量估计非常困难，主要原因是受优化算法的能力限制！ 深度学习中正则化：偏向于范数较小的权重！ 阅读全文

摘要： 【代数】 Moore-Penrose 伪逆 【概率信息论】 自信息，香农熵，衡量两个分布的差异：kl散度 \ 交叉熵 【数值】 溢出： softmax计算的时候要关注上溢和下溢，如果所有X都相等且为很小的负数的话，有分母为零的风险。 病态条件： 矩阵求逆对输入的误差可能很敏感，这样由于输入的不精确， 阅读全文

摘要： 【放弃修改】 工作区 -- 暂存区 -- 本地仓库 -- 远程仓库 工作区 -- 暂存区： git diff git checkout . / git reset --hard 暂存区 -- 本地仓库 git diff --cached git reset + git checkout . git 阅读全文

摘要： 打包命令：tar\zip 压缩命令：gzip 打包文件 tar -zcvf xxx/ tar -xvf xxx.tar z的意思是通过gzip压缩 c是create是生成打包的意思，x是解包 v是压缩的过程显示文件 f是使用档名，可以在后面直接接文件名 阅读全文

摘要： 【flush方法】 通常由于缓冲，write不将数据写入文件，而是写入内存的缓冲区，需要使用flush写入文件，并清空缓冲区 文件的flush方法的作用是强制清空缓存写入文件。默认每行flush一下？？？ 如果缓冲区满了，也会自动写入。 close()之前先flush() 如果因为意外原因没有clo 阅读全文

摘要： 参考博文：http://blog.csdn.net/livefun/article/details/8721772 参考博文：https://www.cnblogs.com/tomato0906/articles/4807774.html Asyncore是对服务器端socket的一个封装，主要解决 阅读全文

摘要： 处理命令行参数的模块 用法： opts, args = getopt.getopt( sys.args[1:], shortStr, longList) 输入： shortStr 形式如下： "a:b:c:def" 其中a,b,c是后面跟参数的 d,e,f是后面不跟参数的 也就是说后面接冒号的是跟参 阅读全文

摘要： 【一】 线性回归直觉上的解释 得到Ein = mean(y - wx)^2 【二】 w的推导 Ein = 1/N || xw - y||^2 连续、可微、凸函数 在各个方向的偏微分都是0 Ein = 1/N (wTxTxw - 2wTxTy + yTy) Ein := 1/N (wTaw - 2wT 阅读全文