会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
自然语言处理与信息检索
心若在,梦就在,燕雀安知鸿鹄之志哉!
博客园
首页
新随笔
联系
订阅
管理
2014年4月16日
lucene中文分词-SmartChineseAnalyzer
摘要: SmartChineseAnalyzer: 应用概率的知识,对中英文混合的文本进行分词操作,先将文本进行分句,再分别对每句话进行分词。 这个分词器是基于隐马尔科夫模型而设计的,并使用了大量的语料进行中文词频的统计,同时包含了来自ICTCLAS1.0的统计数据作为词典。
阅读全文
posted @ 2014-04-16 14:29 凤凰涅磐欲重生
阅读(929)
评论(0)
推荐(0)
编辑
公告