摘要：
Logistic Regression 逻辑回归 逻辑回归与线性回归有很多相似的地方。后面会做对比，先将逻辑回归函数可视化一下。 与其所对应的损失函数如下，并将求max转换为min，并转换为求指数形式，便于计算。 最后得到的是两个伯努利分布（function output & target）的交叉熵 阅读全文
摘要：
Classification: Probabilistic Generative Model 分类：概率生成模型 如果说对于分类问题用回归的方法硬解，也就是说，将其连续化。比如 $Class 1$ 对应的目标输出为 1, $Class 2$ 对应 1。 则在测试集上，结果更接近1的归为$Class 阅读全文
摘要：
梯度下降 Gradient Descent 梯度下降是一种迭代法（与最小二乘法不同），目标是解决最优化问题：${\theta}^ = arg min_{\theta} L({\theta})$，其中${\theta}$是一个向量，梯度是偏微分。 为了让梯度下降达到更好的效果，有以下这些Tips： 1 阅读全文