随笔分类 -  深度学习

摘要:神经网络激活函数 激活函数 激活函数在神经元中非常重要的。为了增强网络的表示能力和学习能 力,激活函数需要具备以下几点性质: 1. 连续并可导(允许少数点上不可导)的非线性函数。可导的激活函数可以 直接利用数值优化的方法来学习网络参数。 2. 激活函数及其导函数要尽可能的简单,有利于提高网络计算效率 阅读全文
posted @ 2020-03-26 11:19 Christbao 阅读(726) 评论(0) 推荐(0) 编辑
摘要:条件随机场(Conditional Random Fields, 以下简称CRF)是给定一组输入序列条件下另一组输出序列的条件概率分布模型,在自然语言处理中得到了广泛应用。 HMM最大的缺点1》由于其输入独立性假设,导致不能考虑上下文特征,限制了特征的选择;2》在每一个节点都要进行归一化,所以只能找 阅读全文
posted @ 2020-01-14 19:37 Christbao 阅读(259) 评论(0) 推荐(0) 编辑
摘要:mecab(http://mecab.sourceforge.net/)是奈良先端科技大学开发的日文分词系统,基于CRF的分词原理,有c++实现,提供python、perl、ruby等接口 日文NLP中几个著名的开源系统,Juman,Chasen,Mecab,Mecab比较新,速度快。 命名实体识别 阅读全文
posted @ 2019-12-16 20:59 Christbao 阅读(861) 评论(0) 推荐(0) 编辑
摘要:word embedding Embedding就是用一个低维稠密的向量“表示”一个对象,这里所说的对象可以是一个词(Word2vec),也可以是一个物品(Item2vec),亦或是网络关系中的节点(Graph Embedding)。其中“表示”这个词意味着Embedding向量能够表达相应对象的某 阅读全文
posted @ 2019-12-11 14:06 Christbao 阅读(509) 评论(0) 推荐(0) 编辑
摘要:激活函数性质:为了增强网络的表示能力和学习能力 1、连续可导的非线性函数;2、函数简单,提高效率;3、导函数值域在一定区间。 神经网络是典型的分布式并行处理模型,神经元之间交互处理信息。 1》信息表示是分布式;2》记忆和知识存储在单元的连接上;3》通过逐步改变单元的连接强度来学习新知识 静态计算图和 阅读全文
posted @ 2019-12-11 14:03 Christbao 阅读(284) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示