11 2016 档案

spark的安装
摘要：官方安装地址：http://spark.apache.org/docs/latest/spark-standalone.html 1、下载，根据hadoop和spark的兼容性，下载spark版本，由于本地安装的hadoop是2.6，因此，下载的spark版本是spark-1.6.3-bin-had 阅读全文
posted @ 2016-11-22 14:56 天之涯0204 阅读(253) 评论(0) 推荐(0)
sqoop
摘要：官网 http://sqoop.apache.org/ 简介 Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中 阅读全文
posted @ 2016-11-21 17:19 天之涯0204 阅读(453) 评论(0) 推荐(0)
flume
摘要：flume官网 http://flume.apache.org/ 安装 1、下载flume安装包apache-flume-1.6.0-bin.tar.gz 2、解压apache-flume-1.6.0-bin.tar.gz 3、重命名 4、配置操作系统环境变量 5、修改flume-env.sh中JA 阅读全文
posted @ 2016-11-21 15:09 天之涯0204 阅读(315) 评论(0) 推荐(0)
storm kafka整合
摘要：public class KafkaTopo { public static void main(String[] args) { String zkRoot = "/kafka-storm"; String spoutId = "KafkaSpout"; BrokerHosts brokerHosts = new ZkHosts("m2:2181,m7:2181,m8:218... 阅读全文
posted @ 2016-11-17 18:35 天之涯0204 阅读(330) 评论(0) 推荐(0)
kafka 生产者java编码
摘要：package cn.bigdata.kafka; import java.util.HashMap; import java.util.Map; import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.Producer; import org.apach... 阅读全文
posted @ 2016-11-17 16:23 天之涯0204 阅读(2174) 评论(0) 推荐(0)
kafka java代码实现消费者
摘要：public class KafkaConsumer { public static void main(String[] args) { Properties props = new Properties(); props.put("zookeeper.connect", "m6:2181,m7:2181,m8:2181"); props.put("group.id", "... 阅读全文
posted @ 2016-11-17 15:59 天之涯0204 阅读(5014) 评论(0) 推荐(0)
kafka 命令行操作
摘要：1、创建topic --create 执行创建指令--zookeeper 指定连接zookeeper的地址--replication-factor 副本因子--partitions 分区数--topic test topic的名称 2、查看topic 3、向topic发送消息 --broker-li 阅读全文
posted @ 2016-11-17 15:38 天之涯0204 阅读(415) 评论(0) 推荐(0)
kafka 安装
摘要：kafka集群官网地址：http://kafka.apache.org/quickstart 整体结构图如下： 1、m2机器上解压kafka 2、进入config目录，修改server.properties文件，主要修改broker.id，每台机器应该保证不一样，修改zookeeper.connec 阅读全文
posted @ 2016-11-17 15:11 天之涯0204 阅读(427) 评论(0) 推荐(0)
storm 随机发送字符串
摘要：Storm的程序叫做Topology,类似MapReduce job 一个Topolog应该有Spout，代表数据源，和若干个bolt 首先写一个Spout 写一个字符串大写的bolt 写一个输出到文件的bolt 打成jar包，比如为 storm.jar stormoutput目录应该存在，不然看不 阅读全文
posted @ 2016-11-11 15:34 天之涯0204 阅读(244) 评论(0) 推荐(0)
storm安装
摘要：官方安装地址 http://storm.apache.org/releases/1.0.2/Setting-up-a-Storm-cluster.html storm集群的三个角色 Nimbus：负责资源分配和任务调度。 Supervisor：负责接受nimbus分配的任务，启动和停止属于自己管理的 阅读全文
posted @ 2016-11-10 15:46 天之涯0204 阅读(157) 评论(0) 推荐(0)
hbase基本操作
摘要：public class Demo { private Configuration conf; private Connection conn; @Before public void prepare() throws Exception { conf = HBaseConfiguration.create(); conf.set("hbase.zookeeper.quoru... 阅读全文
posted @ 2016-11-09 17:48 天之涯0204 阅读(171) 评论(0) 推荐(0)
hadoop 文件系统API操作
摘要：配置参数：-DHADOOP_USER_NAME=hadoop 阅读全文
posted @ 2016-11-07 17:35 天之涯0204 阅读(232) 评论(0) 推荐(0)
HBase shell
摘要：进入命令行 ./hbase shell 查看HBase shell帮助 help 查看命令帮助 直接输入命令回撤 创建命名空间 create_namespace 'ns1' 查看命名空间 list_namespace 切换命名空间 alter_namespace 'ns1' 列出命名空间下的表 li 阅读全文
posted @ 2016-11-07 11:27 天之涯0204 阅读(478) 评论(0) 推荐(0)
HBase环境搭建
摘要：hbase简介 什么是hbase HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBASE的目标是存储并处理大型的数据，更具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成的大型数据。 阅读全文
posted @ 2016-11-04 17:18 天之涯0204 阅读(425) 评论(0) 推荐(0)
hive 的mysql配置
摘要：hive默认使用的是Derby数据库，Derby是一个嵌入式数据库，数据库一般创建在运行hive命令的目录，如果切换目录运行，则找不到数据库 hive mysql配置： 官网地址：https://cwiki.apache.org/confluence/display/Hive/AdminManual 阅读全文
posted @ 2016-11-02 18:16 天之涯0204 阅读(323) 评论(0) 推荐(0)
mysql centeros 安装
摘要：http://www.cnblogs.com/xiaoluo501395377/archive/2013/04/07/3003278.html linux mysql允许远程连接 1、登录数据库：mysql -u root -p 2、使用数据库：use mysql; 3、更新user表：update 阅读全文
posted @ 2016-11-02 16:50 天之涯0204 阅读(203) 评论(0) 推荐(0)