上一页 1 2 3 4 5 6 7 8 9 10 ··· 26 下一页
摘要: package cn.bigdata.kafka; import java.util.HashMap; import java.util.Map; import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.Producer; import org.apach... 阅读全文
posted @ 2016-11-17 16:23 天之涯0204 阅读(2153) 评论(0) 推荐(0) 编辑
摘要: public class KafkaConsumer { public static void main(String[] args) { Properties props = new Properties(); props.put("zookeeper.connect", "m6:2181,m7:2181,m8:2181"); props.put("group.id", "... 阅读全文
posted @ 2016-11-17 15:59 天之涯0204 阅读(4991) 评论(0) 推荐(0) 编辑
摘要: 1、创建topic --create 执行创建指令--zookeeper 指定连接zookeeper的地址--replication-factor 副本因子--partitions 分区数--topic test topic的名称 2、查看topic 3、向topic发送消息 --broker-li 阅读全文
posted @ 2016-11-17 15:38 天之涯0204 阅读(397) 评论(0) 推荐(0) 编辑
摘要: kafka集群官网地址:http://kafka.apache.org/quickstart 整体结构图如下: 1、m2机器上解压kafka 2、进入config目录,修改server.properties文件,主要修改broker.id,每台机器应该保证不一样,修改zookeeper.connec 阅读全文
posted @ 2016-11-17 15:11 天之涯0204 阅读(412) 评论(0) 推荐(0) 编辑
摘要: Storm的程序叫做Topology,类似MapReduce job 一个Topolog应该有Spout,代表数据源,和若干个bolt 首先写一个Spout 写一个字符串大写的bolt 写一个输出到文件的bolt 打成jar包,比如为 storm.jar stormoutput目录应该存在,不然看不 阅读全文
posted @ 2016-11-11 15:34 天之涯0204 阅读(233) 评论(0) 推荐(0) 编辑
摘要: 官方安装地址 http://storm.apache.org/releases/1.0.2/Setting-up-a-Storm-cluster.html storm集群的三个角色 Nimbus:负责资源分配和任务调度。 Supervisor:负责接受nimbus分配的任务,启动和停止属于自己管理的 阅读全文
posted @ 2016-11-10 15:46 天之涯0204 阅读(145) 评论(0) 推荐(0) 编辑
摘要: public class Demo { private Configuration conf; private Connection conn; @Before public void prepare() throws Exception { conf = HBaseConfiguration.create(); conf.set("hbase.zookeeper.quoru... 阅读全文
posted @ 2016-11-09 17:48 天之涯0204 阅读(165) 评论(0) 推荐(0) 编辑
摘要: 配置参数:-DHADOOP_USER_NAME=hadoop 阅读全文
posted @ 2016-11-07 17:35 天之涯0204 阅读(222) 评论(0) 推荐(0) 编辑
摘要: 进入命令行 ./hbase shell 查看HBase shell帮助 help 查看命令帮助 直接输入命令回撤 创建命名空间 create_namespace 'ns1' 查看命名空间 list_namespace 切换命名空间 alter_namespace 'ns1' 列出命名空间下的表 li 阅读全文
posted @ 2016-11-07 11:27 天之涯0204 阅读(463) 评论(0) 推荐(0) 编辑
摘要: hbase简介 什么是hbase HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBASE的目标是存储并处理大型的数据,更具体来说是仅需使用普通的硬件配置,就能够处理由成千上万的行和列所组成的大型数据。 阅读全文
posted @ 2016-11-04 17:18 天之涯0204 阅读(403) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 8 9 10 ··· 26 下一页