docker快速搭建hive环境

一、安装docker

二、安装docker-compose

两种最新的docker安装方式

1.从github上下载docker-compose二进制文件安装
1.1下载最新版的docker-compose文件
sudo curl -L https://github.com/docker/compose/releases/download/1.16.1/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose

注：遇到问题：curl: (35) TCP connection reset by peer

答：因网络波动等问题，多次执行安装命令即可

若是github访问太慢，可以用daocloud下载

sudo curl -L https://get.daocloud.io/docker/compose/releases/download/1.25.1/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose

1.2添加可执行权限
sudo chmod +x /usr/local/bin/docker-compose

1.3测试安装结果
$ docker-compose --version

 

 

 

2.pip安装
sudo pip install docker-compose

三、安装git & 配置github

yum -y install git

注：报/var/run/yum.pid 已被锁定，，PID 为 XXX 的另一个程序正在运行

 答：直接在终端运行 rm -f /var/run/yum.pid 将该文件删除，然后再次运行yum。

 

配置github的话，比较常规的操作，可以参考https://www.cnblogs.com/smartwen666/p/7891108.html这篇文章。

 

四、部署Hive

用的是大佬写好的docker-hive。

上链接：https://github.com/big-data-europe/docker-hive

可以根据README.md中的介绍，来进行部署、测试。

 

依次执行以下命令

git clone git@github.com:big-data-europe/docker-hive.git

 

 

# 注：本文所有docker-compose都是在docker-hive目录下执行的

cd docker-hive

 

 

# 这步在后台起一个hive，元数据库用的是postgresql

# 会费一点时间，需要耐心等待

docker-compose up -d

 

等上面命令运行完成后，可以执行docker-compose ps命令查看正在运行的镜像。

 

 

 

五、使用Hive命令行

依次执行以下步骤

# 进入bash

docker-compose exec hive-server bash

 

# 使用beeline客户端连接

/opt/hive/bin/beeline -u jdbc:hive2://localhost:10000

 

# 执行SQL。这两句是可以直接执行的，镜像带了example文件

CREATE TABLE pokes (foo INT, bar STRING);

LOAD DATA LOCAL INPATH '/opt/hive/examples/files/kv1.txt' OVERWRITE INTO TABLE pokes;

 

 

# 查询

select * from pokes;

 

 

 

 

5.1安装vi、lrzsz

准备sql表数据时，发现这个docker image默认没有安装vi，就自己安一个吧。

apt-get install vim

 

# lrzsz是一个上传下载文件的工作，也安装一下

apt-get install lrzsz

 

5.2关闭相关命令

# 关闭hive相关服务

docker-compose kill

 

# 关闭docker

systemctl stop docker

 

# 跑路

init 0

 

参考链接

清华镜像站安装docker：https://mirror.tuna.tsinghua.edu.cn/help/docker-ce/

Centos7下安装Docker：https://blog.csdn.net/u014069688/article/details/100532774

Docker Compose教程：https://www.runoob.com/docker/docker-compose.html

Docker Compose详解：https://www.jianshu.com/p/658911a8cff3

配置docker国内镜像源：https://www.cnblogs.com/reasonzzy/p/11127359.html

git配置连接github：https://www.cnblogs.com/smartwen666/p/7891108.html

docker-hive github：https://github.com/big-data-europe/docker-hive