07 2017 档案

摘要:别人推荐的网址: http://ruder.io/deep-learning-nlp-best-practices/index.html#wordembeddings 阅读全文
posted @ 2017-07-31 20:50 simple_wxl 阅读(256) 评论(0) 推荐(0) 编辑
摘要:论文来源:https://arxiv.org/abs/1704.05194v1 阿里技术:https://mp.weixin.qq.com/s/MtnHYmPVoDAid9SNHnlzUw?scene=25#wechat_redirect 写在前面的观后感:该篇论文是阿里妈妈提出来的MLR模型,总体 阅读全文
posted @ 2017-07-30 20:27 simple_wxl 阅读(1508) 评论(0) 推荐(0) 编辑
摘要:FM:解决稀疏数据下的特征组合问题 Factorization Machine(因子分解机) 美团技术团队的文章,觉得写得很好啊:https://tech.meituan.com/deep-understanding-of-ffm-principles-and-practices.html 复杂度变 阅读全文
posted @ 2017-07-30 16:20 simple_wxl 阅读(4528) 评论(0) 推荐(0) 编辑
摘要:卧槽,本来猜GBDT获取的组合特征,需要自己去解析GBDT的树,scikit learn里面竟然直接调用apply函数就可以了 阅读全文
posted @ 2017-07-30 15:20 simple_wxl 阅读(6685) 评论(2) 推荐(2) 编辑
摘要:SGD: 1、随机梯度下降最大的缺点在于每次更新可能并不会按照正确的方向进行,因此可以带来优化波动(扰动) 2、由于波动,因此会使得迭代次数(学习次数)增多,即收敛速度变慢 Mini-batch: 1、Mini-batch梯度下降降低了收敛波动性 2、相对于全量梯度下降,其提高了每次学习的速度 写在 阅读全文
posted @ 2017-07-30 10:55 simple_wxl 阅读(6434) 评论(0) 推荐(0) 编辑
摘要:深度学习在美团点评推荐平台排序中的运用 原创 2017-07-28 潘晖 美团点评技术团队 美团点评作为国内最大的生活服务平台,业务种类涉及食、住、行、玩、乐等领域,致力于让大家吃得更好,活得更好,有数亿用户以及丰富的用户行为。随着业务的飞速发展,美团点评的用户和商户数在快速增长。在这样的背景下,通 阅读全文
posted @ 2017-07-30 10:43 simple_wxl 阅读(20951) 评论(1) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2017-07-27 09:11 simple_wxl 阅读(463) 评论(0) 推荐(0) 编辑
摘要:class xgboost.XGBRegressor(max_depth=3, learning_rate=0.1, n_estimators=100, silent=True, objective='reg:linear', booster='gbtree', n_jobs=1, nthread= 阅读全文
posted @ 2017-07-26 12:27 simple_wxl 阅读(758) 评论(0) 推荐(0) 编辑
摘要:双向LSTM 阅读全文
posted @ 2017-07-25 10:45 simple_wxl 阅读(227) 评论(0) 推荐(0) 编辑
摘要:Note that if we wrap a base cell with dropout and then use it to build a MultiRNNCell, both input dropout and output dropout will be applied between l 阅读全文
posted @ 2017-07-25 09:57 simple_wxl 阅读(587) 评论(0) 推荐(0) 编辑
摘要:来源于:https://github.com/HanXiaoyang/python-and-numpy-tutorial/blob/master/python-numpy-tutorial.ipynb python与numpy基础 来源于:https://github.com/HanXiaoyang 阅读全文
posted @ 2017-07-23 16:20 simple_wxl 阅读(1144) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2017-07-18 22:30 simple_wxl 阅读(182) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2017-07-17 21:01 simple_wxl 阅读(126) 评论(0) 推荐(0) 编辑
摘要:CRF的进化 https://flystarhe.github.io/2016/07/13/hmm-memm-crf/参考: http://blog.echen.me/2012/01/03/introduction-to-conditional-random-fields/ 说明:因为MEMM只在局 阅读全文
posted @ 2017-07-17 18:39 simple_wxl 阅读(11888) 评论(0) 推荐(1) 编辑
摘要:TM有三个 model.add(LSTM(100, dropout=0.2, recurrent_dropout=0.2)) 第一个dropout是x和hidden之间的dropout,第二个是hidden-hidden之间的dropout 在tensorflow里面有 第三个是层-层之间的drop 阅读全文
posted @ 2017-07-17 14:58 simple_wxl 阅读(9953) 评论(0) 推荐(0) 编辑
摘要:HMM的应用 HMM是生成模型 词性标注:给定一个词的序列(也就是句子),找出最可能的词性序列(标签是词性)。如ansj分词和ICTCLAS分词等。 分词:给定一个字的序列,找出最可能的标签序列(断句符号:[词尾]或[非词尾]构成的序列)。结巴分词目前就是利用BMES标签来分词的,B(开头),M(中 阅读全文
posted @ 2017-07-17 11:14 simple_wxl 阅读(511) 评论(0) 推荐(0) 编辑
摘要:但是一般写程序的时候,我们想直接在test时用 , 这种表达式。(where ) 因此我们就在训练的时候就直接训练 。 所以训练时,第一个公式修正为 。 即把dropout的输入乘以p 再进行训练,这样得到的训练得到的weight 参数就是 ,测试的时候除了不使用dropout外,不需要再做任何re 阅读全文
posted @ 2017-07-16 22:29 simple_wxl 阅读(350) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2017-07-16 22:23 simple_wxl 阅读(179) 评论(0) 推荐(0) 编辑
摘要:实际应用 LFM 模型在实际使用中有一个困难,就是很难实现实时推荐。经典的 LFM 模型每次训练都需要扫描所有的用户行为记录,并且需要在用户行为记录上反复迭代来优化参数,所以每次训练都很耗时,实际应用中只能每天训练一次。在新闻推荐中,冷启动问题非常明显,每天都会有大量的新闻,这些新闻往往如昙花一现, 阅读全文
posted @ 2017-07-16 19:27 simple_wxl 阅读(460) 评论(0) 推荐(0) 编辑
摘要:架构:skip-gram(慢、对罕见字有利)vs CBOW(快) · 训练算法:分层softmax(对罕见字有利)vs 负采样(对常见词和低纬向量有利) 负例采样准确率提高,速度会慢,不使用negative sampling的word2vec本身非常快,但是准确性并不高 · 欠采样频繁词:可以提高结 阅读全文
posted @ 2017-07-15 17:15 simple_wxl 阅读(6797) 评论(0) 推荐(0) 编辑
摘要:当多GPU树形拓扑构建完毕,数据预缓冲到GPU显存,开始进入多GPU并行训练。Caffe的Solver提供了两个用于多GPU训练的回调函数:on_start()和on_gradient_ready()。如图4-5所示,on_start函数用于将参数分发拷贝到每一个GPU中,on_gradeint_r 阅读全文
posted @ 2017-07-05 14:50 simple_wxl 阅读(557) 评论(0) 推荐(0) 编辑
摘要:最原始的是NNLM,然后对其改进,有了后面的层次softmax和skip gram 层次softmax:去掉了隐藏层,后面加了huffuman树,concat的映射层也变成了sum skip gram是和层次softmax反过来的,是用中间某个词,预测左右上下文 word2vec是一个无监督算法,f 阅读全文
posted @ 2017-07-01 23:30 simple_wxl 阅读(281) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示