摘要：
2016/5/8 星期日 12:36 D(p||q) = Σplog(p/q) = -Σplog(q/p) 因为 -log 是凸函数，且Σp=1，所以 上式 >= -log(Σp·q/p) = -log(Σq) = -log(1) = 0 所以相对熵（KL散度）一定是大于零的 古典概率 特点就是： 阅读全文
posted @ 2016-05-13 11:15 洞明 阅读(1021) 评论(0) 推荐(1) 编辑
摘要：
如果特征好，那么简单 的model 就可以了 不好操作才需要采用 NN model NN 层层可以可视化 sigmoid 层上可视化 通俗的解释： 其实就是：加了一个有用的特征 业务过程分析透彻了，就能提出：组合维度，造出非常贴近业务的特征 数据清洗与筛选特征的过程 使得你 了解业务 大多数样本对正 阅读全文
posted @ 2016-05-13 11:04 洞明 阅读(496) 评论(0) 推荐(0) 编辑
摘要：
2016/5/7 星期六 22:46 即使用 岭回归或者 lasso 回归 它的思路就是使用了 次方很高的的方法 而不是 同时具有：W 正则化项 的约束 曲线拟合 ，即多项式回归 考虑的不是高维度，二十多个因子 而对于 X^2 可以视为 feature map，即也是一种 因素 即：new 特征啊 阅读全文
posted @ 2016-05-13 11:03 洞明 阅读(715) 评论(0) 推荐(0) 编辑
摘要：
无约束优化 梯度下降法 深度梯度下降 牛顿法 有约束的优化： KKT条件（拉格朗日的扩充） 转换为凸优化，使用内点法求解，matlab cov 命令 这个符号 表示 半正定 和 正定 对于 scalar 来说，本身具有正负性，而对于 矩阵来说 与正负性对应的就是其 正定性 而不是 其对应 的行列式的 阅读全文
posted @ 2016-05-13 11:01 洞明 阅读(1014) 评论(0) 推荐(0) 编辑
摘要：
就是 到底有哪几个线索 是你所模糊的 关于方程解的个数 关于是否可逆 关于是否可以对角化 summary 判别式 是否能对角化 看来两个条件： 要么是 对称阵 要么是 特征值均不相同的方阵 summary 判别式 能否可逆 要么 det >0 要么 满秩 一定是对称阵，对称阵一定是方阵 正定矩阵一定 阅读全文
posted @ 2016-05-13 11:00 洞明 阅读(727) 评论(0) 推荐(0) 编辑