上一页 1 2 3 4 5 6 7 8 9 10 ··· 14 下一页
2020年6月13日
HBase Shell操作 DML语言
摘要： 1 put插入数据 put 'bigdata:stu','1001','info1:name','zhangsan' put 'bigdata:stu','1001','info1:sex','male' put 'bigdata:stu','1001','info2:addr','shanghai 阅读全文
posted @ 2020-06-13 10:49 地中有山 阅读(260) 评论(0) 推荐(0) 编辑
HBase Shell操作 DDL语言
摘要： 1 查看所有表 list 2 创建表 create 'student','info' create 'stu','info1','info2' 创建表时指定列族的最大版本（hbase物理存储几个版本）create 'bigdata:stu2',{NAME=>'info',VERSIONS=>3} 3 阅读全文
posted @ 2020-06-13 10:42 地中有山 阅读(196) 评论(0) 推荐(0) 编辑
HBase 数据模型和架构
摘要： 一 数据模型 逻辑上，HBase 的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。但从 HBase 的底层物理存储结构（K-V）来看，HBase 更像是一个 multi-dimensional map。 1）NameSpace命名空间，类似于关系型数据库的DatabBase概念，每个命 阅读全文
posted @ 2020-06-13 10:33 地中有山 阅读(311) 评论(0) 推荐(0) 编辑
2020年6月11日
Flume 自定义Sink
摘要： 自定义sink类，并将相关工程打包放在flume的lib目录下 public class MySink extends AbstractSink implements Configurable { private static final Logger logger = LoggerFactory. 阅读全文
posted @ 2020-06-11 16:30 地中有山 阅读(512) 评论(0) 推荐(0) 编辑
Flume 自定义Source
摘要： 自定义source类，并将相关工程打包放在flume的lib目录下 public class MySource extends AbstractSource implements Configurable, PollableSource { //全局变量，仅做演示，无实际意义 private Str 阅读全文
posted @ 2020-06-11 16:27 地中有山 阅读(881) 评论(0) 推荐(0) 编辑
2020年6月9日
Flume 聚合
摘要： 需求：hadoop102 上的 Flume-1 监控文件/opt/module/data/group.log，hadoop103 上的 Flume-2 监控某一个端口的数据流，Flume-1 与 Flume-2 将数据发送给 hadoop104 上的 Flume-3，Flume-3 将最终数据打印到 阅读全文
posted @ 2020-06-09 18:17 地中有山 阅读(225) 评论(0) 推荐(0) 编辑
2020年6月8日
Flume SinkProcessor
摘要： SinkProcessor共 有 三 种 类 型 ， 分 别 是DefaultSinkProcessor 、LoadBalancingSinkProcessor 和 FailoverSinkProcessor。DefaultSinkProcessor 对 应 的 是 单 个 的 Sink ， Loa 阅读全文
posted @ 2020-06-08 18:08 地中有山 阅读(527) 评论(0) 推荐(0) 编辑
Flume ChannelSelector （包括自定义flume拦截器）
摘要： ChannelSelector 的作用就是选出 Event 将要被发往哪个 Channel。其共有两种类型，分别是 Replicating（复制）和 Multiplexing（多路复用）。ReplicatingSelector 会将同一个 Event 发往所有的 Channel，Multiplexi 阅读全文
posted @ 2020-06-08 16:06 地中有山 阅读(774) 评论(0) 推荐(0) 编辑
2020年6月5日
Flume 案例演示
摘要： 一 NetCat Source NetCat Source：采集端口数据 创建配置文件netcat-flume-logger.conf # 给三大组件取名 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # 配置 NetCat Source a1.sou 阅读全文
posted @ 2020-06-05 16:16 地中有山 阅读(206) 评论(0) 推荐(0) 编辑
2020年6月2日
各种版本 WordCount
摘要： 1 hadoop的MapReduce版 ①mapper类 //KEYIN 输入数据的key //VALUEIN 输入数据的value //KEYOUT 输出数据的key //VALUEOUT 输出数据的value public class WordCountMapper extends Mapper 阅读全文
posted @ 2020-06-02 15:14 地中有山 阅读(262) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 8 9 10 ··· 14 下一页