会员
周边
众包
新闻
博问
闪存
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
弥漫的幻雪的博客
Powered by
博客园
博客园
|
首页
|
新随笔
|
联系
|
订阅
|
管理
上一页
1
2
3
4
5
下一页
2018年5月20日
L1正则
摘要: 一、L1正则会给参数带来什么影响 L1正则会产生稀疏解,可以根据在最优解处的二阶泰勒展开推导得到 二、对解决过拟合的影响 模型的偏差,是指经验风险,即拟合训练数据。模型的方差,是指结构风险,就是指参数是不是小
阅读全文
posted @ 2018-05-20 15:52 弥漫的幻雪
阅读(172)
评论(0)
推荐(0)
编辑
CNN----卷积为何能提取图像特征
摘要: 一、曲线过滤器 二、过滤器作用于图像 对于过滤器识别的特征,将计算得到很大的值 不符合过滤器的特征,将得到很小的值 三、高层特征 对原图进行的第一次卷积,经过池化以后得到的特征图,是特征激活图。第二层的卷积,就是被激活特征的组合
阅读全文
posted @ 2018-05-20 15:29 弥漫的幻雪
阅读(1497)
评论(0)
推荐(0)
编辑
2018年5月12日
词向量使用技巧
摘要: 一、微调 可以通过自己的数据,对预训练的词向量进行fine-tuning,可能会获得较大的提高 二、多通道 类似图像有RGB3通道,可以将word2vec、Glove等作为不同的通道,也可以将fine-tune过的词向量加入作为新的通道
阅读全文
posted @ 2018-05-12 21:10 弥漫的幻雪
阅读(242)
评论(0)
推荐(0)
编辑
词向量新进展
摘要: 包括清华大学提出的基于汉字的模型CWE,和阿里提出的基于汉字偏旁的模型cw2vec,在文本分类和实体识别上都有一定提升
阅读全文
posted @ 2018-05-12 19:40 弥漫的幻雪
阅读(119)
评论(0)
推荐(0)
编辑
GloVe----模型与损失函数
摘要: 一、模型输入输出 输入是2组词向量,中心词向量W和上下文词向量W波浪线,输出是Xij的对数值 二、模型设计思想 1.W和W波浪线实际上应该是平等的,因为1个词在某些样本中是中心词,而在别的样本中是上下文词,都是同一个词 2.i,j,k3个词的词向量,应该能决定这个ratio,因为ratio是有意义的
阅读全文
posted @ 2018-05-12 19:28 弥漫的幻雪
阅读(315)
评论(0)
推荐(0)
编辑
GloVe----共现矩阵与概率、概率比值
摘要: 一、共现矩阵 矩阵的行和列都是词典中的所有词,Xij的定义为,在所有词i的上下文中,Xj出现的次数。因此Xi定义为,所有的Xij之和,也就是词i出现的上下文中的词数总和,基本和词i的出现次数成正比。 二、概率 Pij定义为Xij/Xi,即词j在词i的上下文中出现的次数占词i总上下文次数的比值。 三、
阅读全文
posted @ 2018-05-12 19:12 弥漫的幻雪
阅读(826)
评论(0)
推荐(0)
编辑
word2vec----negative sampling
摘要: 一、模型 随机负采样方法,是后来对word2vec输出层做的一种改进,舍弃复杂的层次分类和huffman树 在已知词w上下文的情况下,对应的输出正样本就是w,负样本就是剩下的所有词,非常多,所以我们用某种方法,采样很小的部分,集合为NEG(w)。每个词u都有自己的辅助参数θ 我们希望最大化的函数为,
阅读全文
posted @ 2018-05-12 13:28 弥漫的幻雪
阅读(508)
评论(0)
推荐(0)
编辑
word2vec----hierarchical softmax
摘要: 一、输出层结构 注意到,huffman树的每一层,都有参数和激活函数sigmoid存在,实际上是一个神经网络。影响该节点的二分类走向。这和一般的多分类问题中,各种分类是同处于平等的最后一层,是不同的。 二、模型推导 我们重点关注输出层huffman树过程的模型推导。对于每个走到huffman树根节点
阅读全文
posted @ 2018-05-12 12:40 弥漫的幻雪
阅读(345)
评论(0)
推荐(0)
编辑
2018年5月11日
word2vec----huffman编码
摘要: 一、目的 词频越高的词,希望编码长度越短。 在huffman树中,叶子节点是各个词,叶子节点的权重是词频。每个词都有权重×距离根节点的长度,即词频*编码长度。Huffman树保证了上述所有词的上述乘积的和是最小的,即该编码方式的总代价是最小的。 二、huffman树的构造算法:这里略去,总之有确定的
阅读全文
posted @ 2018-05-11 13:27 弥漫的幻雪
阅读(676)
评论(0)
推荐(0)
编辑
2018年5月9日
Tf-Idf
摘要: 词频 (TF) 是一词语出现的次数除以该文件的总词语数。假如一篇文件的总词语数是100个,而词语“母牛”出现了3次,那么“母牛”一词在该文件中的词频就是3/100=0.03。 一个计算文件频率 (DF) 的方法是测定有多少份文件出现过“母牛”一词,然后除以文件集里包含的文件总数。所以,如果“母牛”一
阅读全文
posted @ 2018-05-09 17:25 弥漫的幻雪
阅读(121)
评论(0)
推荐(0)
编辑
上一页
1
2
3
4
5
下一页