docker快速搭建hive环境

一、安装docker

二、安装docker-compose

两种最新的docker安装方式

1.从github上下载docker-compose二进制文件安装
1.1下载最新版的docker-compose文件
sudo curl -L https://github.com/docker/compose/releases/download/1.16.1/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose

注:遇到问题:curl: (35) TCP connection reset by peer

答:因网络波动等问题,多次执行安装命令即可


若是github访问太慢,可以用daocloud下载

sudo curl -L https://get.daocloud.io/docker/compose/releases/download/1.25.1/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose


1.2添加可执行权限
sudo chmod +x /usr/local/bin/docker-compose


1.3测试安装结果
$ docker-compose --version

 

 

 

2.pip安装
sudo pip install docker-compose

三、安装git & 配置github

yum -y install git

注:报/var/run/yum.pid 已被锁定,,PID 为 XXX 的另一个程序正在运行

 答:直接在终端运行 rm -f /var/run/yum.pid 将该文件删除,然后再次运行yum。

 

配置github的话,比较常规的操作,可以参考https://www.cnblogs.com/smartwen666/p/7891108.html这篇文章。

 

四、部署Hive

用的是大佬写好的docker-hive。

上链接:https://github.com/big-data-europe/docker-hive

可以根据README.md中的介绍,来进行部署、测试。

 

依次执行以下命令

git clone git@github.com:big-data-europe/docker-hive.git

 

 

# 注:本文所有docker-compose都是在docker-hive目录下执行的

cd docker-hive

 

 

# 这步在后台起一个hive,元数据库用的是postgresql

# 会费一点时间,需要耐心等待

docker-compose up -d

 

等上面命令运行完成后,可以执行docker-compose ps命令查看正在运行的镜像。

 

 

 

五、使用Hive命令行

依次执行以下步骤

# 进入bash

docker-compose exec hive-server bash

 

# 使用beeline客户端连接

/opt/hive/bin/beeline -u jdbc:hive2://localhost:10000

 

# 执行SQL。这两句是可以直接执行的,镜像带了example文件

CREATE TABLE pokes (foo INT, bar STRING);

LOAD DATA LOCAL INPATH '/opt/hive/examples/files/kv1.txt' OVERWRITE INTO TABLE pokes;

 

 

# 查询

select * from pokes;

 

 

 

 

5.1安装vi、lrzsz

准备sql表数据时,发现这个docker image默认没有安装vi,就自己安一个吧。

apt-get install vim

 

# lrzsz是一个上传下载文件的工作,也安装一下

apt-get install lrzsz

 

5.2关闭相关命令

# 关闭hive相关服务

docker-compose kill

 

# 关闭docker

systemctl stop docker

 

# 跑路

init 0

 

参考链接

清华镜像站安装docker:https://mirror.tuna.tsinghua.edu.cn/help/docker-ce/

Centos7下安装Docker:https://blog.csdn.net/u014069688/article/details/100532774

Docker Compose教程:https://www.runoob.com/docker/docker-compose.html

Docker Compose详解:https://www.jianshu.com/p/658911a8cff3

配置docker国内镜像源:https://www.cnblogs.com/reasonzzy/p/11127359.html

git配置连接github:https://www.cnblogs.com/smartwen666/p/7891108.html

docker-hive github:https://github.com/big-data-europe/docker-hive

 

posted @ 2022-05-04 18:48  坤妹家萌萌哒萌新  阅读(1364)  评论(0编辑  收藏  举报