word2vec中的subsampling
摘要：http://d0evi1.com/word2vec-subsampling/ 为了度量这种罕见词与高频词间存在不平衡现象，我们使用一个简单的subsampling方法：训练集中的每个词wiwi，以下面公式计算得到的概率进行抛弃： f(wi)是wi的词频，t为选中的一个阀值，通常为(1e-5=0.0
阅读全文
posted @ 2019-12-03 14:51
随笔分类 - 深度学习
通俗理解word2vec的训练过程
摘要：https://www.leiphone.com/news/201706/eV8j3Nu8SMqGBnQB.html https://blog.csdn.net/dn_mug/article/details/69852740 word2vec是如何得到词向量的？ skip-gram中，训练样本的形式
阅读全文
posted @ 2019-12-01 22:31
损失函数
摘要：损失函数综述 https://zhuanlan.zhihu.com/p/36503849 简单的交叉熵损失函数，你真的懂了吗？ https://zhuanlan.zhihu.com/p/38241764 损失函数 - 交叉熵损失函数 https://zhuanlan.zhihu.com/p/3570
阅读全文
posted @ 2019-10-23 17:29
Gradient Boosting Decision Tree
摘要：GBDT中的树是回归树（不是分类树），GBDT用来做回归预测，调整后也可以用于分类。当采用平方误差损失函数时，每一棵回归树学习的是之前所有树的结论和残差，拟合得到一个当前的残差回归树，残差的意义如公式：残差 = 真实值 - 预测值 。 https://zhuanlan.zhihu.com/p/306
阅读全文
posted @ 2019-10-20 15:56
计算广告CTR预估系列(七)--Facebook经典模型LR+GBDT理论与实践
摘要：https://zhuanlan.zhihu.com/p/62372860 推荐系统遇上深度学习(十)--GBDT+LR融合方案实战
阅读全文
posted @ 2019-10-12 16:09
CTR预估中GBDT与LR融合方案
摘要：CTR预估中GBDT与LR融合方案
阅读全文
posted @ 2019-10-11 17:37
ReLU激活函数
摘要：参考：https://blog.csdn.net/cherrylvlei/article/details/53149381 首先，我们来看一下ReLU激活函数的形式，如下图：
阅读全文
posted @ 2019-10-10 11:20
逻辑回归（Logistic Regression）
摘要：逻辑回归（Logistic Regression）是一种用于解决二分类（0 or 1）问题的机器学习方法，用于估计某种事物的可能性。比如某用户购买某商品的可能性，某病人患有某种疾病的可能性，以及某广告被用户点击的可能性等。 注意，这里用的是“可能性”，而非数学上的“概率”，logisitc回归的结果
阅读全文
posted @ 2019-08-31 16:22
深度学习在美团搜索广告排序的应用实践
摘要：深度学习在美团搜索广告排序的应用实践
阅读全文
posted @ 2019-07-14 17:52
两个经典问题
摘要：为什么在CNN等结构中将原先的sigmoid、tanh换成ReLU可以取得比较好的效果？ 为什么在RNN中，将tanh换成ReLU不能取得类似的效果？ 链接
阅读全文
posted @ 2019-05-19 21:59
基于深度学习和迁移学习的识花实践
摘要：基于深度学习和迁移学习的识花实践 transfer_learning.py代码如下 training.py代码如下 结果：
阅读全文
posted @ 2018-09-17 18:57
xgboost中XGBClassifier(）参数详解
摘要：http://www.cnblogs.com/wanglei5205/p/8579244.html 常规参数 模型参数 学习任务参数
阅读全文
posted @ 2018-09-10 21:27
xgboost使用经验总结
摘要：xgboost使用经验总结 xgboost入门与实战（原理篇）
阅读全文
posted @ 2018-09-04 17:45
特征选择之Chi卡方检验
摘要：特征选择之Chi卡方检验 卡方值越大，说明对原假设的偏离越大，选择的过程也变成了为每个词计算它与类别Ci的卡方值，从大到小排个序（此时开方值越大越相关），取前k个就可以。 针对英文纯文本的实验结果表明：作为特征选择方法时，开方检验和信息增益的效果最佳（相同的分类算法，使用不同的特征选择算法来得到比较
阅读全文
posted @ 2018-09-04 16:40
paddle——docker实践
摘要：在Docker中执行PaddlePaddle训练程序：
阅读全文
posted @ 2018-08-24 14:23
paddle实践
摘要：Docker image阅读：https://github.com/PaddlePaddle/book/blob/develop/README.cn.md docker run -d -p 8888:8888 paddlepaddle/book
阅读全文
posted @ 2018-08-24 11:31
用conda创建python虚拟环境
摘要：1、首先在所在系统中安装Anaconda。可以打开命令行输入conda -V检验是否安装以及当前conda的版本。 2、conda常用的命令。 1）conda list 查看安装了哪些包。 2）conda env list 或 conda info -e 查看当前存在哪些虚拟环境 3）conda u
阅读全文
posted @ 2018-07-06 16:08
Micro- and macro-averages
摘要：https://datascience.stackexchange.com/questions/15989/micro-average-vs-macro-average-performance-in-a-multiclass-classification-settin/16001 Micro- an
阅读全文
posted @ 2018-05-23 10:24
