摘要: 集采单词 处理单词(按空格拆分) 对单词计数 联合运行 阅读全文
posted @ 2017-12-13 20:43 ccdh 阅读(261) 评论(0) 推荐(0) 编辑
摘要: zookeeper详细介绍http://www.cnblogs.com/sunddenly/p/4033574.html hadoop利用zookeeper实现ha高可用https://www.cnblogs.com/zhzhang/p/6714739.html zookeeper详细介绍http: 阅读全文
posted @ 2017-12-06 18:07 ccdh 阅读(607) 评论(0) 推荐(0) 编辑
摘要: package com.neworigin.HBaseMR; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.Cell; import org.apache.hadoop.hbase.CellUtil; import org.apac... 阅读全文
posted @ 2017-12-04 17:51 ccdh 阅读(441) 评论(0) 推荐(0) 编辑
摘要: 创建maven工程,修改jdk pom文件里添加需要的jar包 dependencies> <dependency> <groupId>jdk.tools</groupId> <artifactId>jdk.tools</artifactId> <version>1.8</version> <sco 阅读全文
posted @ 2017-12-04 17:49 ccdh 阅读(209) 评论(0) 推荐(0) 编辑
摘要: HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统 HBASE的目标是存储并处理大型的数据,更具体来说是仅需使用普通的硬件配置,就能够处理由成千上万的行和列所组成的大型数据。 HBASE利用Hadoop HDFS作为其文件存储系统 HBASE同样利用Hadoop MapReduce来处 阅读全文
posted @ 2017-11-30 18:42 ccdh 阅读(282) 评论(0) 推荐(0) 编辑
摘要: hbase的安装 ①cp /mnt/hgfs/xiazai/hbase-1.2.5-bin.tar.gz /data tar -xzvf hbase-1.2.5-bin.tar.gz ②环境 sudo nano /etc/environment HBASE_HOME=/data/hbase-1.2. 阅读全文
posted @ 2017-11-30 18:40 ccdh 阅读(194) 评论(0) 推荐(0) 编辑
摘要: ①新建maven项目,加载依赖包 在pom.xml中添加 <dependency> <groupId>jdk.tools</groupId> <artifactId>jdk.tools</artifactId> <version>1.8</version> <scope>system</scope> 阅读全文
posted @ 2017-11-29 20:42 ccdh 阅读(4434) 评论(0) 推荐(1) 编辑
摘要: 正则表达式模式: 正则表达式的例子 字符串开头、结尾、边界匹配 the 任何包含有the的字符 \bthe 任何以the开头的字符 \bthe\b 仅匹配单词the \Bthe 任何包含the,但不以the开头的字符 创建字符类[] b[ae]t bat,bet [ac][ef] ae,af,ce, 阅读全文
posted @ 2017-11-16 20:24 ccdh 阅读(239) 评论(0) 推荐(0) 编辑
摘要: 输入格式 1、输入分片与记录 2、文件输入 3、文本输入 4、二进制输入 5、多文件输入 6、数据库格式输入 详细的介绍:https://blog.csdn.net/py_123456/article/details/79766573 1、输入分片与记录 1、JobClient通过指定的输入文件的格 阅读全文
posted @ 2017-11-14 13:19 ccdh 阅读(1335) 评论(0) 推荐(0) 编辑
摘要: hadoop中的输入输出数据类型: BooleanWritable:标准布尔型数值 ByteWritable:单字节数值 DoubleWritable:双字节数值 FloatWritable:浮点数 常用的: IntWritable:整型数 LongWritable:长整型数 Text:使用UTF8 阅读全文
posted @ 2017-11-14 11:03 ccdh 阅读(477) 评论(0) 推荐(0) 编辑