大数据框架环境安装与配置05--HBase
摘要：首先设置Zookeeper和HBase的环境变量，见第一篇文章。 1设置Zookeeper 1.1 修改 conf/zoo.cfg 文件 在master、slave1、slave2这三台机器上，分别输入如下命令： cd /usr/local/hadoop-2.9.2/zookeeper/conf v
阅读全文
posted @
2020-08-31 11:43
Sempron2800+
阅读(187)
推荐(0) 编辑
大数据框架环境安装与配置04--Hive
摘要：Hive相关环境变量的设置，看第一篇文章。 Hive部署在三台服务器中的主节点master机器上。 1准备MySQL数据库 部署Hive需要一台MySQL数据库，在本文中，所使用的MySQL数据库没有安装在master主机上，而是另外一台具有公网IP的主机作为独立的MySQL服务器。 先在这MySQ
阅读全文
posted @
2020-08-31 11:08
Sempron2800+
阅读(197)
推荐(0) 编辑
大数据框架环境安装与配置03--Spark
摘要：在第一篇文章已经设置好了Scala的环境变量，本文直接说Spark的配置。 1 修改三台机器的 conf/slaves 文件 输入如下命令： cd /usr/local/hadoop-2.9.2/spark-2.1.1-bin-hadoop2.7/conf vim slaves 打开slaves文件
阅读全文
posted @
2020-08-31 10:43
Sempron2800+
阅读(210)
推荐(0) 编辑
大数据框架环境安装与配置02--Hadoop
摘要：在上一篇文章，介绍了服务器的基本配置，本文将介绍Hadoop的设置。（JDK也已经下载并解压到对应目录，环境变量也已经设置过了，本文不再赘述。） 1创建用于存储数据的目录 在三台机器上分别执行如下命令: mkdir /data/hadoop mkdir /data/hadoop/hdfs mkdir
阅读全文
posted @
2020-08-31 10:17
Sempron2800+
阅读(154)
推荐(0) 编辑
大数据框架环境安装与配置01--服务器基本设置
摘要：1服务器环境介绍 在腾讯云购买了三台服务器，三台机器是由三个微信账号单独购买的（为了省钱），因此内网地址互相不能连通，这也为后面的配置增加了一些麻烦。 如果看到后续的一些文章中，在配置三台机器时，有的使用内网ip，有的使用公网ip，有的使用0.0.0.0作为主机ip，就是为了解决这个问题。 但是我认
阅读全文
posted @
2020-08-31 09:37
Sempron2800+
阅读(422)
推荐(0) 编辑
