lomi

摘要： TF：term frequency ，词频 。指的是 term 出现的评率。词频和 2 个因数有关，在一个文档中出现这个词条次数越多，词频越高，文档总词条总数越多这个值被稀释。 所以 一般 TF = 词条在文档出现的次数 / 文档总词数。 IDF：倒排索引的频率。 log ( docment 数量/ 阅读全文

摘要： 一下代码实用 0.99.0 以后的版本。 旧版本的 例子： 关于HBase的过滤器 HBase为筛选数据提供了一组过滤器，通过这个过滤器可以在HBase中数据的多个维度（行、列、数据版本）上进行对数据的筛选操作，也就是说过滤器最终能够筛选的数据能够细化到具体的一个存储单元格上（由行键、列名、时间戳定 阅读全文

摘要： 原理： 对原始数据 生成有序的json 字符串，然后取 摘要，然后 对摘要 进项 分对称加密。（ 不对原数据加密是应为 原数据太大，加解密速度太慢，非对称加密都不 挺慢的。在摘要函数具有雪崩效应 ，原文发生点点的改变都会引起 摘要的剧烈变化 ） 注意事项：因为使用的 对json 排序。而不是 传统的 阅读全文

摘要： zookeeper是什么： zk 是 一个注册机，提供分布式锁。 zookerper可以做什么： 利用上面这两个特性。zookeeper 可以 为分布式提供 集群 的 一些管理 比如 高可用，名字服务等。 安装： 我安装的是 3.4.13 版本，可以去官网下载最新的版本。 1 下载： wget ht 阅读全文

摘要： hbase的 安装 本地安装： 1 解压文件夹。 2 修改 conf/hbase-site.xml ，配置 数据文件夹 <property> hbase的常见语法 1 创建表 ： create 'test', 'cf' 2 插入一行： （一次只能插入一列，如果有多列 反复用这个rowkey 插入） 阅读全文

摘要： 启动了 hiveserver2 以后才能使用 程序连接 。目前的 使用的 是 server2 版本。和以前的版本驱动包名不同： 备注：版本2 是 org.apache.hive.jdbc.HiveDriver 版本 1 是 ，org.apache.hadoop.hive.jdbc.HiveDrive 阅读全文

摘要： ik_smart：分词的时候只分一次，句子里面的每个字只会出现一次。 比如：中华人民共和国国歌 入上图，分成：中华人民共和国 国歌 2 部分。每个字都自出现了一次。（我指的每一个位置 的子。 2个国 位置不同，是2 个字） ik_max_word：句子的字可以反复出现。 只要在词库里面出现过的 就拆 阅读全文

摘要： 查看 apache2 的配置位置： whereis apache2 我的在：/etc/apache2 sites-available 文件夹下面放的就是 虚拟站点的配置文件： 随便复制一个改改： cp ebgback.conf test.conf 修改端口和 文件目录 然后 apache2 就可以了 阅读全文

摘要： 错误异常：According to MySQL 5.5.45+, 5.6.26+ and 5.7.6+ requirements SSL connection must be established by default if explicit option isn't set. For compl 阅读全文

摘要： 本例子统计 用空格分开的单词出现数量（ 这个Main.mian 启动方式是hadoop 2.0 的写法。1.0 不一样 ） 目录结构： 使用的 maven ： 下面是maven 依赖。 Main.java: WordMap.java WordReduce.java content.txt 是 要上传 阅读全文