12 2018 档案

tensorflow 滑动平均使用和恢复
摘要：https://www.cnblogs.com/hrlnw/p/8067214.html 阅读全文
posted @ 2018-12-27 15:37 下路派出所 阅读(239) 评论(0) 推荐(0)
tf.data
摘要：以往的TensorFLow模型数据的导入方法可以分为两个主要方法，一种是使用feed_dict另外一种是使用TensorFlow中的Queues。前者使用起来比较灵活，可以利用Python处理各种输入数据，劣势也比较明显，就是程序运行效率较低；后面一种方法的效率较高，但是使用起来较为复杂，灵活性较差 阅读全文
posted @ 2018-12-24 17:27 下路派出所 阅读(559) 评论(0) 推荐(0)
tensorflow VocabularyProcessor
摘要：VocabularyProcessor：类似于keras里面的那个padding，将词映射到词向量词字典的id上 阅读全文
posted @ 2018-12-23 11:42 下路派出所 阅读(682) 评论(0) 推荐(0)
Transformer 论文阅读
摘要：直观理解与模型整体结构 先来看一个翻译的例子“I arrived at the bank after crossing the river” 这里面的bank指的是银行还是河岸呢，这就需要我们联系上下文，当我们看到river之后就应该知道这里bank很大概率指的是河岸。在RNN中我们就需要一步步的顺 阅读全文
posted @ 2018-12-19 12:00 下路派出所 阅读(622) 评论(0) 推荐(0)
fastText 安装
摘要：Windows： https://www.lfd.uci.edu/~gohlke/pythonlibs/#fasttext 下载需要的版本 然后：pip install 文件名 阅读全文
posted @ 2018-12-19 10:33 下路派出所 阅读(795) 评论(0) 推荐(0)
EM 算法
摘要：EM算法也称期望最大化（Expectation-Maximum,简称EM）算法，它是一个基础算法，是很多机器学习领域算法的基础，比如隐式马尔科夫算法（HMM）， LDA主题模型的变分推断等等 1. EM算法要解决的问题 我们经常会从样本观察数据中，找出样本的模型参数。 最常用的方法就是极大化模型分布 阅读全文
posted @ 2018-12-18 19:55 下路派出所 阅读(437) 评论(0) 推荐(0)
LDA Gibbs Smapling理解
摘要：即排除当前词的主题分配，根据其他词的主题分配和观察到的单词来计算当前词主题的概率公式 里面用到了伽马函数的性质 当Gibbs sampling 收敛后，我们需要根据最后文档集中所有单词的主题分配来计算和，作为我们估计出来的概率图模型中的隐含变量。每个文档上Topic的后验分布和每个Topic下的te 阅读全文
posted @ 2018-12-18 16:09 下路派出所 阅读(277) 评论(0) 推荐(0)
文本日期提取
摘要：#日期识别 # -*- coding: utf-8 -*- import re from datetime import datetime, timedelta from dateutil.parser import parse import jieba.posseg as psg UTIL_CN_NUM = { '零': 0, '一': 1, '二': 2, '两': 2, '三... 阅读全文
posted @ 2018-12-17 14:34 下路派出所 阅读(803) 评论(0) 推荐(0)
HMM分词实例
摘要：语料库地址： 链接：https://pan.baidu.com/s/1dozkaKD8yQdt51Z-R4ExHQ 提取码：f705 阅读全文
posted @ 2018-12-17 13:34 下路派出所 阅读(623) 评论(0) 推荐(0)
xgboost原理
摘要：XGBoost其实是由一群训练出来的CART回归树集成出来的模型。 目标 目标其实就是训练一群回归树，使这树群的预测值尽量接近真实值，并且有尽可能强大的泛化能力。来看看我们的优化函数： 优化函数 i表示的是第i个样本，前一项是表示的是预测误差。后一项表示的是树的复杂度的函数，值越小表示复杂度越低，泛 阅读全文
posted @ 2018-12-12 22:21 下路派出所 阅读(561) 评论(0) 推荐(0)
jieba分词加入特殊字符和空格
摘要：将自定义用户词典加入的词与词性中间的空格更改为@@ 1.原来：牵连关系 50 n 2.现在：牵连关系@@50@@n 更改jieba根目录下的__init__.py文件下代码: 1.原来：re_userdict = re.compile('^(.+?)( [0-9]+)?( [a-z]+)?$', r 阅读全文
posted @ 2018-12-10 17:46 下路派出所 阅读(3588) 评论(1) 推荐(1)
pandas 去除NAN
摘要：df = df.dropna(axis=0, how='any') 阅读全文
posted @ 2018-12-10 13:47 下路派出所 阅读(566) 评论(0) 推荐(0)
plt绘制 2维、3维散点图
摘要：# 3维import numpy as np import matplotlib.pyplot as plt from sklearn.datasets.samples_generator import make_classification from mpl_toolkits.mplot3d import Axes3D fig = plt.figure() ax = Axes3D(fig) ... 阅读全文
posted @ 2018-12-07 17:01 下路派出所 阅读(1944) 评论(0) 推荐(0)
马尔科夫网络和一阶马尔科夫链
摘要：1.马尔科夫网络指无向图 2.一阶马尔科夫链指有向图，这个时刻的状态只依赖前一个时刻 阅读全文
posted @ 2018-12-03 17:29 下路派出所 阅读(666) 评论(0) 推荐(0)
LR、HMM、CRF和MaxEnt区别
摘要：LR:Logistic 是 Softmax 的特殊形式，多以如果 Softmax 与 MaxEnt 是等价的，则 Logistic 与 MaxEnt 是等价的。 HMM模型： 将标注看作马尔可夫链，一阶马尔可夫链式针对相邻标注的关系进行建模，其中每个标记对应一个概率函数。HMM是一种生成模型，定义了 阅读全文
posted @ 2018-12-03 16:53 下路派出所 阅读(1596) 评论(0) 推荐(0)
LR问题集合
摘要：LR如何解决低维不可分 特征映射：通过特征变换的方式把低维空间转换到高维空间，而在低维空间不可分的数据，到高维空间中线性可分的几率会高一些。具体方法：核函数，如：高斯核，多项式核等等。 从图模型角度看LR LR模型可以看作是CRF模型的低配版，在完全不定义随机变量交互，只考虑P(Y|X)的情况下，得 阅读全文
posted @ 2018-12-02 11:57 下路派出所 阅读(276) 评论(0) 推荐(0)