2018年7月23日
IDEA安装
摘要： Spark通常采用Scala语言进行开发，而IDEA是最佳的Scala语言开发环境 1.https://www.jetbrains.com/idea/download/#section=linux下载ideaIC-2018.1.6.tar.gz然后复制到Master下的/home/jun下并解压，执 阅读全文
posted @ 2018-07-23 22:17 BigJunOba 阅读(295) 评论(0) 推荐(0) 编辑
Spark集群安装与配置
摘要： 一、Scala安装 1.https://www.scala-lang.org/download/2.11.12.html下载并复制到/home/jun下解压 2.启动Scala并使用Scala Shell 3.将Scala安装包复制到slave节点 二、Spark集群的安装与配置 采用Hadoop 阅读全文
posted @ 2018-07-23 21:33 BigJunOba 阅读(365) 评论(0) 推荐(0) 编辑
Kafka集群的安装和部署
摘要： 一、Kafka的下载与解压 http://kafka.apache.org/downloads.html下载kafka_2.11-1.1.1.tgz.gz并解压到/home/jun下 二、配置Kafka集群 1.在Master节点上的配置 配置server.properties （1）在Server 阅读全文
posted @ 2018-07-23 18:01 BigJunOba 阅读(1170) 评论(0) 推荐(0) 编辑
Sqoop的安装和验证
摘要： Sqoop是一个用来完成Hadoop和关系型数据库中的数据相互转移的工具，它可以将关系型数据库中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。 Kafka是一个开源的分布式消息订阅系统 一、Sqoop的安装 1.http://www-eu.apache.org/d 阅读全文
posted @ 2018-07-23 16:10 BigJunOba 阅读(1404) 评论(0) 推荐(0) 编辑
Zookeeper与HBase的安装
摘要： 一、Zookeeper的安装 1.http://www-us.apache.org/dist/zookeeper/stable/下载Zookeeper安装包，并将zookeeper-3.4.12.tar.gz复制到/home/jun下并解压 2.使用gedit编辑zoo.cfg配置文件 将下面的配置 阅读全文
posted @ 2018-07-23 11:42 BigJunOba 阅读(1887) 评论(0) 推荐(0) 编辑