09 2021 档案

过拟合与欠拟合

摘要：1 过拟合 1.1 过拟合的定义当学习器把训练样本学的太好了的时候，很可能已经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，这样就会导致泛化性能下降，这种现象成为过拟合具体表现就是最终模型在训练集上效果好，在测试集上效果差。模型泛化能力弱。 1.2 过拟合的原因 1 训练数据中噪阅读全文

posted @ 2021-09-22 09:08 爱吃西瓜的菜鸟阅读(587) 评论(0) 推荐(0) 编辑

NLP中词向量的对比

摘要：(https://cloud.tencent.com/developer/article/1446196) 阅读全文

posted @ 2021-09-19 11:52 爱吃西瓜的菜鸟阅读(44) 评论(0) 推荐(0) 编辑

Transformer的时间复杂度分析

摘要：(https://zhuanlan.zhihu.com/p/264749298) 阅读全文

posted @ 2021-09-17 11:22 爱吃西瓜的菜鸟阅读(1155) 评论(0) 推荐(0) 编辑

精准率，召回率，F1，ROC曲线，P-R曲线，AUC

摘要：预测为正预测为负实际为正 TP FN 实际为负 FP TN 精确率（针对预测结果而言） =

\frac{T P}{T P + F P}

$\frac{TP}{TP+FP}$ 召回率（针对原始样本而言） =

\frac{T P}{T P + F N}

$\frac{TP}{TP+FN}$ F1 =

\frac{2 * 精 准 率 * 召 回 率}{精 准 率 + 召 回 率}

$\frac{2*精准率*召回率}{精准率+召回率}$ Roc曲线的横坐标为阅读全文

posted @ 2021-09-17 08:32 爱吃西瓜的菜鸟阅读(294) 评论(0) 推荐(0) 编辑

NLP面试常见的知识点

摘要：为什么归一化？ 1 处理不同量纲的数据，将其缩放到相同的数据区间和范围。 2 加快计算素的，提高计算精度归一化的方法？ 1 极差变换法（最大最小值变换）

y_{i} = \frac{x_{i} - m i n (x)}{m a x (x) - m i n (x)}

$y_{i} = \frac{x_{i}-min(x)}{max(x)-min(x)}$ 缺点：归一化过程中容易受到极端值的影响 2 0均值阅读全文

posted @ 2021-09-16 17:56 爱吃西瓜的菜鸟阅读(398) 评论(0) 推荐(0) 编辑

numpy中copy和view的区别，以及torch中clone,detach,copy_的区别

摘要：numpy中copy和view的区别（1）a = b 完全不复制，a、b是同一个ndarry对象的两个不同名字而已（2）a = b.view() 视图与浅拷贝，共享一个数据，指向同一片内存，数据改变会相互影响（无需额外的空间）（3）深复制 copy() ,不仅创建新的对象，而且实现了对内存数据阅读全文

posted @ 2021-09-10 15:39 爱吃西瓜的菜鸟阅读(464) 评论(0) 推荐(0) 编辑

常见优化函数

摘要：1 梯度下降法以线性回归为例：