摘要：
聚类##### 今天说聚类，但是必须要先理解聚类和分类的区别，很多业务人员在日常分析时候不是很严谨，混为一谈，其实二者有本质的区别。 分类其实是从特定的数据中挖掘模式，作出判断的过程。比如Gmail邮箱里有垃圾邮件分类器，一开始的时候可能什么都不过滤，在日常使用过程中，我人工对于每一封邮件点选“垃圾 阅读全文
摘要：
一. 概述 首先需要先介绍一下无监督学习，所谓无监督学习，就是训练样本中的标记信息是未知的，目标是通过对无标记训练样本的学习来揭示数据的内在性质以及规律。通俗得说，就是根据数据的一些内在性质，找出其内在的规律。而这一类算法，应用最为广泛的就是“聚类”。 聚类算法可以对数据进行数据归约，即在尽可能保证 阅读全文
摘要：
在做文本分类聚类的任务时，常常需要从文本中提取特征，提取出对学习有价值的分类，而不是把所有的词都用上，那样会造成维度灾难。因此一些词对分类的作用不大，比如“的、是、在、了”等停用词。这里介绍三种常用的特征选择方法： 无监督方法： TF-IDF 感性认识：有很多不同的数学公式可以用来计算tf-idf。 阅读全文
摘要：
由于carrot2对中文的理解很不靠谱，所以参考了网络上的一些资料，现在贡献出来所有代码。 代码的思路就是找字或者词出现的频度，并进行打分，最后按照出现次数和重要性，找出重要的语汇。现在贴出来一些可用的代码。 ClusterBuilder.java /** * * @author * @versio 阅读全文
摘要：
本章主要的学习是中文分词 和两种统计词频(传统词频和TF-IDF算法 ) 的方法. 学习目的:通过N多的新闻标题 or 新闻摘要 or 新闻标签,生成基本的文本聚类,以便统计当天新闻的热点内容. 扩展:可以运用到文本分类 ,舆情分析 等. 基本的学习思路 1.准备文本 2.切词并统计词频 3.去掉极 阅读全文
摘要：
背景 前端高亮需要分词服务，nlp团队提供的分词服务需要跨域调用，而且后台数据索引使用的IK分词。综合评价，前端分词也需要基于IK分词器。IKAnalyzer服务已经停止更新，且对Lucene支持仅测试到4.x.x版本（6.x.x会出现异常），因此使用IK分词器时需要解决一些异常。 依赖 项目以及m 阅读全文
摘要：
简介 IK Analyzer是什么呢，一个很轻量的中文分词工具，是基于java开发的轻量级的中文分词工具包。它是以开源项目Luence为主体的，结合词典分词和文法分析算法的中文分词组件。IK有很多版本，在2012版本中，IK实现了简单的分词歧义排除算法。 我们为什么选择IK作为我们的分词工具呢，这里 阅读全文
摘要：
第一步：创建一个项目 第二步：在码云上新建一个项目。[注意把使用Readme复选框取消掉] 第三步：复制gitee地址 第四步：创建本地git仓库 第五步：选择自己需要上传到码云的项目名 第六步：提交代码到本地 项目右键git--add 第七步：提交到远程 项目右键git-- Commit Dire 阅读全文
摘要：
使用原因 对于我们经常换电脑来工作的人群，在公司工作完，回家里再用U盘或网盘复制/下载我们的代码，简直是一种折磨，一个项目中断后，时间久了再去想继续的时候，你会发现：到底哪个是最新版的？！U盘满了，这个文件夹到底能不能删除？但当你使用了git进行源码管理之后，这些问题完全就不必担心了。 当然我也是一 阅读全文