10 2018 档案

摘要:1. 分词的基本原理 现代分词都是基于统计的分词,而统计的样本内容来自于一些标准的语料库。假如有一个句子:“小明来到荔湾区”,我们期望语料库统计后分词的结果是:"小明/来到/荔湾/区",而不是“小明/来到/荔/湾区”。那么如何做到这一点呢? 从统计的角度,我们期望"小明/来到/荔湾/区"这个分词后句 阅读全文
posted @ 2018-10-28 14:20 下路派出所 阅读(205) 评论(0) 推荐(0) 编辑
摘要:1.有DNN做的word2vec,取隐藏层到softmax层的权重为词向量,softmax层的叶子节点数为词汇表大小 2.霍夫曼树:左边走 sigmoid(当前节点的词向量*当前节点的参数) 右边走 1-sigmoid(当前节点的词向量*当前节点的参数),叶子节点为词汇表所有词,然后求根节点到叶子节 阅读全文
posted @ 2018-10-25 18:11 下路派出所 阅读(253) 评论(0) 推荐(0) 编辑
摘要:1.seq2seq:分为encoder和decoder a.在decoder中,第一时刻输入的是上encoder最后一时刻的状态,如果用了双向的rnn,那么一般使用逆序的最后一个时刻的输出(网上说实验结果比较好) b.每一时刻都有一个输出,即:[batch_size, decoder_output_ 阅读全文
posted @ 2018-10-21 23:51 下路派出所 阅读(957) 评论(0) 推荐(0) 编辑
摘要:1.基分类器的选择:传统GBDT以CART作为基分类器,XGBoost还支持线性分类器,这个时候XGBoost相当于带L1和L2正则化项的逻辑斯蒂回归(分类问题)或者线性回归(回归问题)。 2.二阶泰勒展开:传统GBDT在优化时只用到一阶导数信息;XGBoost则对代价函数进行了二阶泰勒展开,同时用 阅读全文
posted @ 2018-10-01 19:50 下路派出所 阅读(2292) 评论(0) 推荐(0) 编辑
摘要:相当于每次都是用2分类,然后不停的训练,最后把所有的弱分类器来进行汇总 Iris数据集 这是一个有6个样本的三分类问题。我们需要根据这个花的花萼长度,花萼宽度,花瓣长度,花瓣宽度来判断这个花属于山鸢尾,杂色鸢尾,还是维吉尼亚鸢尾。具体应用到gbdt多分类算法上面。我们用一个三维向量来标志样本的lab 阅读全文
posted @ 2018-10-01 16:12 下路派出所 阅读(1318) 评论(1) 推荐(0) 编辑

点击右上角即可分享
微信分享提示