2017年4月17日
spark学习笔记-spark集群搭建（7）
摘要： 安装spark包 修改spark-env.sh文件 修改slaves文件 spark1 spark2 spark3 安装spark集群 在另外两个节点进行一模一样的配置，使用scp将spark和.bashrc拷贝到spark2和spark3即可。 启动spark集群 阅读全文
posted @ 2017-04-17 00:29 java一生 阅读(394) 评论(0) 推荐(0) 编辑
spark学习笔记-kafka集群搭建(6)
摘要： 安装scala 2.11.4 安装Kafka包 搭建kafka集群 1、按照上述步骤在spark2和spark3分别安装kafka。用scp把kafka拷贝到spark2和spark3行即可。 2、唯一区别的，就是server.properties中的broker.id，要设置为1和2 启动kafk 阅读全文
posted @ 2017-04-17 00:26 java一生 阅读(926) 评论(0) 推荐(0) 编辑
spar学习笔记-安装ZooKeeper包（5）
摘要： 安装ZooKeeper包 配置zoo.cfg 设置zk节点标识 搭建zk集群 1、在另外两个节点上按照上述步骤配置ZooKeeper，使用scp将zk和.bashrc拷贝到spark2和spark3上即可。 2、唯一的区别是spark2和spark3的标识号分别设置为1和2。 启动ZooKeeper 阅读全文
posted @ 2017-04-17 00:23 java一生 阅读(358) 评论(0) 推荐(0) 编辑
spark学习笔记-hive0.13搭建（4）
摘要： 安装hive包 1、将apache-hive-0.13.1-bin.tar.gz使用WinSCP上传到spark1的/usr/local目录下。 2、解压缩hive安装包：tar -zxvf apache-hive-0.13.1-bin.tar.gz。 3、重命名hive目录：mv apache-h 阅读全文
posted @ 2017-04-17 00:20 java一生 阅读(202) 评论(0) 推荐(0) 编辑