2022年3月1日
Azkaban的启动服务
摘要： 先启动exec server，再启动web server 1. 启动exec server（机器sam02与sam03都需启动） 1.1 找到脚本start-exec.sh所在目录(在azkaban的bin目录下) 1.2 执行脚本start-exec.sh [root@sam02 bin]# ./ 阅读全文
posted @ 2022-03-01 17:06 递茶大户 阅读(425) 评论(0) 推荐(0) 编辑
Azkaban的下载与安装
摘要： 1. Azkaban的下载 2.解压得到安装包 3. mysql中配置Azkaban的元数据库 3.1 解压azkaban-db-0.1.0-SNAPSHOT.tar.gz [root@sam01 azkaban3.57.0]# tar -zxvf azkaban-db-0.1.0-SNAPSHOT 阅读全文
posted @ 2022-03-01 16:46 递茶大户 阅读(1157) 评论(0) 推荐(0) 编辑
2022年2月27日
Hive安装与部署
摘要： ##1.下载hive http://apache.org/dist/hive/ 官网 https://mirrors.tuna.tsinghua.edu.cn/apache/hive/ 清华镜像 选择带有bin.tar的 ##2.将安装包进行解压 ##3. 配置环境变量 export HIVE_HO 阅读全文
posted @ 2022-02-27 12:13 递茶大户 阅读(90) 评论(0) 推荐(0) 编辑
Hive远程模式
摘要： 前提：hive的本地模式与内嵌模式都已经完成 ##1. 集群主机Hadoop的core-site.xml文件添加以下内容 <property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> </property> <propert 阅读全文
posted @ 2022-02-27 10:54 递茶大户 阅读(382) 评论(0) 推荐(0) 编辑
2022年2月26日
Hive连接本地mysql数据库
摘要： 前提：Hive已安装，mysql已安装，且都已经配置好环境变量 ##1. 配置hive的hive-site.xml文件 ###1.1 配置mysql的连接字符串 <!--配置mysql的连接字符串--> <property> <name>javax.jdo.option.ConnectionURL< 阅读全文
posted @ 2022-02-26 23:51 递茶大户 阅读(1069) 评论(0) 推荐(0) 编辑
Hive本地跨机连接mysql出现com.mysql.jdbc.exceptions.jdbc4.CommunicationsException : Communications link failure
摘要： ##环境： ###主机sam02安装hive,主机sam03安装mysql 当主机sam02用hive尝试连接主机sam03的客户端mysql时，出现以下错误 [root@sam02 conf]# schematool --initSchema -dbType mysql which: no hba 阅读全文
posted @ 2022-02-26 22:45 递茶大户 阅读(890) 评论(0) 推荐(0) 编辑
CentOS7 安装mysql以及登录
摘要： 准备工作：已下载mysql安装包 ##1. 检查是否安装Centos7自带的数据库mariadb [root@sam03 ~]# rpm -qa | grep mariadb ##2. 卸载mariadb [root@sam03 ~]# rpm -e mariadb-libs-5.5.64-1.el 阅读全文
posted @ 2022-02-26 14:40 递茶大户 阅读(864) 评论(0) 推荐(0) 编辑
2022年2月25日
使用Flume http进行数据采集
摘要： ##1. 编写Flume http配置文件 [root@sam01 scripts]# vim collect-app-http.conf # filename: collect-app-http.conf # 定义一个名字为 b1001 的agent # 定义channel b1001.chann 阅读全文
posted @ 2022-02-25 22:53 递茶大户 阅读(715) 评论(0) 推荐(0) 编辑
使用Flume agent进行数据采集
摘要： ###前提：已经安装Flume ##1. 编写Flume agent配置文件 [root@sam01 scripts]# vim collect-app-agent.conf # filename: collect-app-agent.conf # 定义一个名字为 a1001 的agent # 定义 阅读全文
posted @ 2022-02-25 20:57 递茶大户 阅读(225) 评论(0) 推荐(0) 编辑
2022年2月24日
frp内网穿透
摘要： #前提：一台云服务器，客户端可连接外网 ##1. 下载frp文件到自定文件夹，我放在/opt/frp/下 Linux上下载：frp_0.29.1_linux_amd64.tar.gz Windows：frp_0.29.0_windows_amd64.zip Linux上可用命令下载 wget htt 阅读全文
posted @ 2022-02-24 22:34 递茶大户 阅读(42) 评论(0) 推荐(0) 编辑