_蓑衣客

摘要： Adaboost 适用问题：二分类问题 模型：加法模型 \(f(x)=\sum_{m=1}^{M} \alpha_{m} G_{m}(x)\) 策略：损失函数为指数函数 \(L(y,f(x))=exp[-yf(x)]\) 算法：前向分步算法 \(\left(\beta_{m}, \gamma_{m} 阅读全文

摘要： 决策树 决策树是一种树形结构，其中每个内部节点表示一个属性上的判断，每个分支代表一个判断结果的输出，最后每个叶子节点代表一种分类结果。 决策树学习的三个步骤： 特征选择 通常使用信息增益最大、信息增益比最大或基尼指数最小作为特征选择的准则。 树的生成 决策树的生成往往通过计算信息增益或其他指标，从根 阅读全文

摘要： 朴素贝叶斯分类原理 对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入$x$,利用贝叶斯定理求出后验概率最大的输出$y$。 特征独立性假设：在利用贝叶斯定理进行预测时，我们需要求解条件概率$P(x|y_k)=P(x_1,x_2,...,x_n|y 阅读全文

摘要： 详解动态规划（Dynamic Programming, DP）算法，以最长公共子序列（LCS）问题出发彻底搞懂DP问题求解思路。 阅读全文

摘要： 十三、NLP 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 阅读全文

摘要： 十一、深度学习基础 1.为什么必须在神经网络中引入非线性？ 2.ReLU在零点不可导，那么在反向传播中怎么处理？ ReLU虽然在零点不可导，但是我们在做反向传播的计算时，对ReLu这个函数的导数分情况讨论，即ReLU在零点时人为地给它赋予一个导数，比如0或者1。例如在下面的ReLU的反向传播函数实现 阅读全文

摘要： 八、KMeans 1. 2. 3. 4. 5. 九、SVM 1. 2. 3. 4. 5. 6. 7. 8. 9. 十、决策树 1. 2. 3. 4. 5. 阅读全文

摘要： 一、特征工程 1.为什么要对特征做归一化？ 2.什么是组合特征？如何处理高维组合特征？ 3.请比较欧式距离与曼哈顿距离？ 4.为什么一些场景中使用余弦相似度而不是欧式距离 5.One-hot的作用是什么？为什么不直接使用数字作为表示？ One-hot 主要用来编码类别特征，即采用哑变量(dummy 阅读全文

摘要： 什么是label smoothing？ 标签平滑（Label smoothing），像L1、L2和dropout一样，是机器学习领域的一种正则化方法，通常用于分类问题，目的是防止模型在训练时过于自信地预测标签，改善泛化能力差的问题。 为什么需要label smoothing？ 对于分类问题，我们通常 阅读全文

摘要： 1. 均匀分布 torch.nn.init.uniform_(tensor, a=0, b=1) 从均匀分布U(a, b)中采样，初始化张量。 参数: tensor - 需要填充的张量 a - 均匀分布的下界 b - 均匀分布的上界 代码示例： >>> w = torch.Tensor(3, 5) 阅读全文