摘要：
前几天的召开的2019年大数据生态产业大会不知道大家关注到没有，看到消息是hanlp2.0版本发布了。不知道hanlp2.0版本又将带来哪些新的变化？准备近期看能够拿到一些hanlp2.0的资料，如果能顺利拿到的话，到时候分享给大家！今天分享这篇是关于将hanlp封装到web services服务中 阅读全文
posted @ 2019-08-09 09:39 左手中倒影 阅读(280) 评论(0) 推荐(0) 编辑
摘要：
本篇分享一个hanlp分词工具应用的案例，简单来说就是做一图库，让商家轻松方便的配置商品的图片，最好是可以一键完成配置的。 先看一下效果图吧： 商品单个推荐效果：匹配度高的放在最前面 这个想法很好，那怎么实现了。分析了一下解决方案步骤： 1、图库建设：至少要有图片吧，图片肯定要有关联的商品名称、商品 阅读全文
posted @ 2019-08-07 10:36 左手中倒影 阅读(427) 评论(0) 推荐(0) 编辑
摘要：
本篇文章将重点讲解HanLP的ViterbiSegment分词器类，而不涉及感知机和条件随机场分词器，也不涉及基于字的分词器。因为这些分词器都不是我们在实践中常用的，而且ViterbiSegment也是作者直接封装到HanLP类中的分词器，作者也推荐使用该分词器，同时文本分类包以及其他一些自然语言处理任务包中的分词器也都间接使用了ViterbiSegment分词器。 阅读全文
posted @ 2019-08-05 09:59 左手中倒影 阅读(649) 评论(0) 推荐(0) 编辑
摘要：
HanLP发射矩阵词典nr.txt中收录单字姓氏393个。袁义达在《中国的三大姓氏是如何统计出来的》文献中指出：当代中国100个常见姓氏中，集中了全国人口的87%，根据这一数据我们只保留nr.txt中的100个常见词语的姓氏角色，其他词语去掉其姓氏角色状态。过滤后，nr.txt中具有姓氏角色的单字共 阅读全文
posted @ 2019-08-02 09:37 左手中倒影 阅读(604) 评论(0) 推荐(0) 编辑
摘要：
HanLP收词特别是实体比较多，因此特别容易造成误识别。下边举几个地名误识别的例子，需要指出的是，后边的机构名识别也以地名识别为基础，因此，如果地名识别不准确，也会导致机构名识别不准确。 阅读全文
posted @ 2019-07-29 10:00 左手中倒影 阅读(425) 评论(0) 推荐(0) 编辑
摘要：
本篇接上一篇内容《HanLP-基于HMM-Viterbi的人名识别原理介绍》介绍一下层叠隐马的原理。 首先说一下上一篇介绍的人名识别效果对比： 1. 只有Jieba识别出的人名 准确率极低，基本为地名或复杂地名组成部分或复杂机构名组成部分。举例如下： [1] 战乱的阿富汗地区，枪支可随意买卖，AK4 阅读全文
posted @ 2019-07-26 09:23 左手中倒影 阅读(392) 评论(0) 推荐(0) 编辑
摘要：
Hanlp自然语言处理包中的基于HMM-Viterbi处理人名识别的内容大概在年初的有分享过这类的文章，时间稍微久了一点，有点忘记了。看了 baiziyu 分享的这篇比我之前分享的要简单明了的多。下面就把文章分享给大家交流学习之用，部分内容有做修改。 本文主要介绍一下HanLP是如何利用HMM来做人 阅读全文
posted @ 2019-07-24 09:53 左手中倒影 阅读(252) 评论(0) 推荐(0) 编辑
摘要：
文章整理自 baiziyu 的知乎专栏，感兴趣的朋友可以去关注下这位大神的专栏，很多关于自然语言处理的文章写的很不错。昨天看到他的分享的两篇关于朴素贝叶斯分类预测的文章，整理了一下分享给给大家，文章已做部分修改！ 朴素贝叶斯分类时，最好取对数变相乘为相加，防止预测结果溢出。可能出现的badcase就 阅读全文
posted @ 2019-07-22 09:39 左手中倒影 阅读(375) 评论(0) 推荐(0) 编辑
摘要：
HanLP收词特别是实体比较多，因此特别容易造成误识别。下边举几个地名误识别的例子，需要指出的是，后边的机构名识别也以地名识别为基础，因此，如果地名识别不准确，也会导致机构名识别不准确。 类型1 数字+地名 [1] 暗访哈尔滨网约车：下10单来7辆“黑车” 1辆套牌 [2] 房天下每日成交5月12日 阅读全文
posted @ 2019-07-19 10:01 左手中倒影 阅读(281) 评论(0) 推荐(0) 编辑