摘要: 1.安装docker sudo apt-get install docker.io 2.获取ltp的docker容器 dockerfile文件在 https://github.com/HIT-SCIR/ltp/blob/master/Dockerfile 下面。获取docker配置文件后 docke 阅读全文
posted @ 2019-11-25 17:37 wwwwb 阅读(326) 评论(0) 推荐(0) 编辑
摘要: https://www.jianshu.com/p/9550cee26e61 中文预训练词向量: https://github.com/Embedding/Chinese-Word-Vectors 所有的词向量由 ngram2vec 工具包训练。ngram2vec 工具包是word2vec和 fas 阅读全文
posted @ 2019-11-21 23:06 wwwwb 阅读(144) 评论(0) 推荐(0) 编辑
摘要: re 正则 1.re.search: 会在给定字符串中寻找第一个匹配给定正则表达式的子字符串。 阅读全文
posted @ 2019-10-25 15:06 wwwwb 阅读(115) 评论(0) 推荐(0) 编辑
摘要: 功能 1):分词 jieba.cut方法接受两个输入参数: 1) 第一个参数为需要分词的字符串 2)cut_all参数用来控制是否采用全模式 jieba.cut_for_search方法接受一个参数:需要分词的字符串,该方法适合用于搜索引擎构建倒排索引的分词,粒度比较细 注意:待分词的字符串可以是g 阅读全文
posted @ 2019-10-22 21:31 wwwwb 阅读(411) 评论(0) 推荐(0) 编辑
摘要: 参考资料:https://zhuanlan.zhihu.com/p/33173246?utm_source=wechat_session&utm_medium=social&utm_oi=611573545537507328 一般使用bn的话,对于模型的初始化要求没那么高,但是最终的结果可能没那么好 阅读全文
posted @ 2019-10-17 22:38 wwwwb 阅读(597) 评论(0) 推荐(0) 编辑
摘要: 1.RBF径向基函数 本质上和RBF核函数的SVM很相似,使用径向基函数对数据重新构建,利用 Φ(||X- Xp||)来代替原始的数据向量表示,一共有P个中心,所以获得的新数据有P个维度,此时再对数据进行分类。输出等于W Φ(||X- Xp||),W为需要求解的权重。 数学上是可以对W求解求解的,但 阅读全文
posted @ 2019-10-17 22:03 wwwwb 阅读(6392) 评论(0) 推荐(0) 编辑
摘要: 1.Learning Deep Transformer Models for Machine Translation https://arxiv.org/pdf/1906.01787.pdf 主要说明为如何训练一个深层的transformer,问题在于深层的梯度消失问题,采用的方法是对前面所有层的输 阅读全文
posted @ 2019-10-17 18:45 wwwwb 阅读(225) 评论(0) 推荐(0) 编辑
摘要: numpy 1.产生随机矩阵:np.random.rand(2,3,5) 产生整形矩阵:np.random.randint(0,10,(4,3)) 正态分布:np.random.binomial(5, 0.5, size=(2,3)) 2.搜索最大数,np.max(a,axis=0) 搜索最大数位置 阅读全文
posted @ 2019-10-11 15:33 wwwwb 阅读(369) 评论(0) 推荐(0) 编辑
摘要: 1.从checkpoint中获取全部的变量名和变量值 tf.contrib.framework.list_variables(model_dir) tf.contrib.framework.load_variable(model_dir, var_name) 2.清除 tf.Session tf.r 阅读全文
posted @ 2019-09-27 11:46 wwwwb 阅读(186) 评论(0) 推荐(0) 编辑
摘要: 1.BLEU 主要任务是为了将候选的n-gram和target的n-gram相比较,匹配相似度(与位置无关) 基本做法:比较翻译结果中和参考的n-gram个数,直接相除,问题是长句子会得分更高,限制句子长度加入惩罚参数,同时对不同的目标任务对n-gram赋予不同的权重 2.attention 的细节 阅读全文
posted @ 2019-09-05 11:26 wwwwb 阅读(422) 评论(0) 推荐(0) 编辑