随笔分类 - 分布式框架

摘要：package com.gm.hive.SparkHive;import java.text.SimpleDateFormat;import java.util.Arrays;import java.util.Collection;import java.util.D... 阅读全文

posted @ 2018-05-08 16:04 疯狂的小萝卜头阅读(1722) 评论(0) 推荐(0) 编辑

摘要：package com.gm.hive.SparkHive;import java.util.Arrays;import java.util.Collection;import java.util.HashMap;import java.util.List;impor... 阅读全文

posted @ 2018-05-07 14:42 疯狂的小萝卜头阅读(1048) 评论(0) 推荐(0) 编辑

摘要：前言已完成安装Apache Hive，具体安装步骤请参照，Linux基于Hadoop2.8.0集群安装配置Hive2.1.1及基础操作补充说明Hive中metastore（元数据存储）的三种方式：内嵌Derby方式Local方式Remote方式[一]、内嵌Derby方... 阅读全文

posted @ 2018-05-05 13:15 疯狂的小萝卜头阅读(4618) 评论(0) 推荐(0) 编辑

摘要：package com.test;import java.util.*;import org.apache.spark.SparkConf;import org.apache.spark.TaskContext;import org.apache.spark.api.... 阅读全文

posted @ 2018-05-03 16:39 疯狂的小萝卜头阅读(1501) 评论(0) 推荐(0) 编辑

摘要：前言安装Apache Hive前提是要先安装hadoop集群，并且hive只需要在hadoop的namenode节点集群里安装即可，安装前需保证Hadoop已启（动文中用到了hadoop的hdfs命令）。关于如何安装Hadoop集群请参照：CentOS7搭建Hadoo... 阅读全文

posted @ 2018-05-03 16:32 疯狂的小萝卜头阅读(803) 评论(0) 推荐(0) 编辑

摘要：前提安装Kafka前需要先安装zookeeper集群，集体安装方法请参照我的另一篇文档Storm安装下载 wget https://mirrors.tuna.tsinghua.edu.cn/apache/storm/apache-storm-1.1.0/apache-... 阅读全文

posted @ 2018-04-25 17:45 疯狂的小萝卜头阅读(422) 评论(0) 推荐(0) 编辑

摘要：问题描述： kafka是之前早就搭建好的，新建的storm集群要消费kafka的主题，由于kafka中已经记录了很多消息，storm消费时从最开始消费问题解决：下面是摘自官网的一段话：How KafkaSpout stores offsets of a Kafk... 阅读全文

posted @ 2018-04-25 17:01 疯狂的小萝卜头阅读(2250) 评论(0) 推荐(0) 编辑

疯狂的小萝卜头