hadoop集群hive 的安装
1.MySQL的安装
node2:
yum -y install epel-release
yum install -y wget
wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm
rpm -ivh mysql57-community-release-el7-8.noarch.rpm
ls /etc/yum.repos.d/
yum install -y mysql-community-server
安装失败,需要公钥则输入下面命令用mardb进行替代
rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022
yum -y install mysql-community-server
重载配置文件
systemctl daemon-reload
启动mysql服务
systemctl start mysqld
设置开机自启
systemctl enable mysqld
获取初始密码
grep password /var/log/mysqld.log
登陆MySQL
mysql -uroot -p
更改数据库安全策略
密码强度设置为低级
set global validate_password_policy=0;
设置密码长度(最低)
set global validate_password_length=4;
修改本地密码
set password=password('123456');
退出
exit
利用修改的密码,登陆数据库
mysql -uroot -p123456
创建用户
create user 'root'@'%' identified by '123456';
允许远程登陆
grant all privileges on *.* to 'root'@'%' with grant option;
刷新权限
flush privileges;
退出
\q
2.HIVE的安装
node1
在master节点创建hive的安装目录
mkdir -p /usr/hive
解压hive
tar -zxvf /opt/bigbata/apache-hive-2.3.9-bin.tar.gz -C /usr/hive/
给node1节点创建hive文件夹
scp -r /usr/hive/apache-hive-2.3.9-bin root@node1:/usr/hive/
修改环境变量
vi /etc/profile
在文件最后添加
export HIVE_HOME=/usr/hive/apache-hive-2.3.9-bin
export PATH=$PATH:$HIVE_HOME/bin
重载环境变量
source /etc/profile
将上传到master节点的mysql的jar包传送到node1中
scp /opt/bigbata/mysql-connector-java-5.1.20-bin.jar root@node1:/usr/hive/lib
在node1上配置环境变量
vi /etc/profile
在文件最后添加
export HIVE_HOME=/usr/hive
export PATH=$PATH:$HIVE_HOME/bin
重载环境变量
source /etc/profile
修改配置文件
进入到hive的配置目录中
cd /usr/hive/conf
修改配置文件env.sh
cp hive-env.sh.template hive-env.sh
vi hive-env.sh
添加
HADOOP_HOME=/usr/local/hadoop
修改配置文件hive-site.xml
cp hive-default.xml.template hive-site.xml
vi hive-site.xml
添加在字段<configuration>
的首行中
<configuration>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive_remote/warehouse</value>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://node2:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>
<property>
<name>datanucleus.schema.autoCreateAll</name>
<value>true</value>
</property>
</configuration>
保存,退出
master节点操作
将hive的客户端的jar包复制到hadoop中
cp /usr/hive/apache-hive-2.3.9-bin/lib/jline-2.12.jar /usr/local/hadoop/share/hadoop/yarn/lib
修改master的hive-site.xml文件
cd /usr/hive/apache-hive-2.3.9-bin/conf/
cp hive-default.xml.template hive-site.xml
vi hive-site.xml
添加在字段<configuration>
的首行中
<configuration>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>
<property>
<name>hive.metastore.local</name>
<value>false</value>
</property>
<property>
<name>hive.metastore.uris</name>
<value>thrift://node1:9083</value>
</property>
</configuration>
保存,退出
启动hive
node1:
启动hive服务端程序(任何地方都行,配置过环境变量;简易在此目录/usr/hive下)
hive --service metastore
nohup hive --service metastore & (挂载到后台)
master:
启动客户端(任何地方都行,配置过环境变量)
hive
nohup hive & (挂载到后台)
验证hive
输入hive shell
进入hive
在hive内输入show databases;
在mysql中查看数据库列表,就会发现出现了hive数据库
输入jps
查看进程,就会看到有"RunJar"
感谢大家的支持,关注,评论,点赞!