摘要：
DIN 假设 \(V_i^{shop},V_i^{good},V_i^{cate}\) 分别表示历史第 \(i\) 次点击的 shop_id，good_id，cate_id， \(V_a^{shop},V_a^{good},V_a^{cate}\) 分别表示候选商品的 shop_id，good_id 阅读全文
摘要：
BatchNorm & LayerNorm 目录BatchNorm & LayerNormBatchNorm过程LayerNorm Normalization作用： 1.缓解内部协变量偏移。 在深度神经网络中，随着网络层数的加深，每一层的参数更新都可能导致后续层的输入分布发生变化，这种现象被称为内部 阅读全文
摘要：
优化器 目录优化器SGDAdagradAdadeltaRMSpropAdamAdamW SGD 随机梯度下降 问题：训练轨迹会呈现锯齿状，这无疑会大大延长训练时间。同时，由于存在摆动现象，学习率只能设置的较小，才不会因为步伐太大而偏离最小值。 Momentum：将一段时间内的梯度向量进行了加权平均， 阅读全文
摘要：
Transformer八股 目录Transformer八股Self-Attention 的注意力分数计算公式为什么要进行scaling？为什么是 \(\sqrt{d_k}\)？Position EmbeddingTransformer位置编码的性质 Self-Attention 的注意力分数计算公式 阅读全文
摘要：
Dropout 目录Dropout平衡训练和测试差异实现代码在回归任务中，用dropout的效果不好 Dropout 是在训练过程中已一定概率使神经元失活，即输出为 0，能提高模型的泛化能力，减少过拟合 平衡训练和测试差异 在测试阶段，Dropout 会被关闭。 为了保持训练阶段和测试阶段的输出期望 阅读全文
摘要：
参考资料： https://www.cnblogs.com/zingp/p/10375691.html 《百面机器学习》 L1、L2正则化 1. 正则化的概念 正则化 (Regularization) 是机器学习中对原始损失函数引入额外信息，以便防止过拟合和提高模型泛化性能的一类方法的统称。也就是目 阅读全文
摘要：
参考资料：https://blog.csdn.net/zjuPeco/article/details/77371645 3 特征重要性评估 现实情况下，一个数据集中往往有成百上前个特征，如何在其中选择比结果影响最大的那几个特征，以此来缩减建立模型时的特征数是我们比较关心的问题。这样的方法其实很歹，比 阅读全文
摘要：
参考： https://blog.csdn.net/Datawhale/article/details/120582526 https://zhuanlan.zhihu.com/p/74198735 特征选择 目录特征选择一般流程三大类方法过滤法1. 单变量2. 多变量2.1 连续型vs连续型(1) 阅读全文
摘要：
决策树 目录决策树熵条件熵信息增益信息增益比ID3C4.5决策树的剪枝CART 算法CART 回归树的生成CART 分类树生成CART剪枝剪枝交叉验证预剪枝 参考资料： 《统计学习方法》 熵 随机变量 \(X\) 的熵定义为 \[H(X)=-\sum_{i=1}^n p_i \log p_i \ta 阅读全文
摘要：
提升方法 提升方法就是从弱学习算法出发,反复学习,得到一系列弱分类器（又称为基本分类器）,然后组合这些弱分类器，构成一个强分类器。大多数的提升方法都是改变训练数据的概率分布（训练数据的权值分布），针对不同的训练数据分布调用弱学习算法学习一系列弱分类器。 在每一轮如何改变训练数据的权值或概率分布：提高 阅读全文
摘要：
参考资料：https://paddlepedia.readthedocs.io/en/latest/tutorials/deep_learning/normalization/basic_normalization.html。下文仅为复制无任何改动。 归一化基础知识点 1. 什么是归一化 归一化是一 阅读全文
摘要：
XGBoost 参考资料： https://blog.csdn.net/v_JULY_v/article/details/81410574 https://dl.acm.org/doi/abs/10.1145/2939672.2939785 https://blog.csdn.net/anshuai 阅读全文