随笔分类 - Hadoop
摘要：启动Hive之前要先启动hdfs与yarn
阅读全文
摘要：终端执行systemctl start supervisord,遇到错误 Error: Another program is already listening on a port that one of our HTTP servers is configured to use. Shut thi
阅读全文
摘要：1. 在${AZKABAN_HOME}/bin目录下启动azkaban 2. 查看log文件webServerLog_xxxxxx.out 在log文件中找不到钉钉机器人的相关服务 3. 解决方法 3.1 在${AZKABAN_HOME}目录下启动azkaban 3.2 查看log文件webServ
阅读全文
摘要：1. Hive初始化mysql数据库 [root@sam02 hive1.2]# schematool -initSchema -dbType mysql 2. 出错 Metastore connection URL: jdbc:mysql://sam03:3306/hive1?createData
阅读全文
摘要：环境：hive2.1.1 1.Azkaban通过hive连接mysql，出现以下错误 WARNING: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using
阅读全文
摘要：#beeline通过hive连接mysql，建表的错误 1. 终端输入 beeline -u jdbc:hive2://sam02:10000 -n root 2. 输入以下建表语句 CREATE EXTERNAL TABLE if not exists news ( project string,
阅读全文
摘要：先启动exec server，再启动web server 1. 启动exec server（机器sam02与sam03都需启动） 1.1 找到脚本start-exec.sh所在目录(在azkaban的bin目录下) 1.2 执行脚本start-exec.sh [root@sam02 bin]# ./
阅读全文
摘要：##1.下载hive http://apache.org/dist/hive/ 官网 https://mirrors.tuna.tsinghua.edu.cn/apache/hive/ 清华镜像 选择带有bin.tar的 ##2.将安装包进行解压 ##3. 配置环境变量 export HIVE_HO
阅读全文
摘要：前提：hive的本地模式与内嵌模式都已经完成 ##1. 集群主机Hadoop的core-site.xml文件添加以下内容 <property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> </property> <propert
阅读全文
摘要：前提：Hive已安装，mysql已安装，且都已经配置好环境变量 ##1. 配置hive的hive-site.xml文件 ###1.1 配置mysql的连接字符串 <!--配置mysql的连接字符串--> <property> <name>javax.jdo.option.ConnectionURL<
阅读全文
摘要：##环境： ###主机sam02安装hive,主机sam03安装mysql 当主机sam02用hive尝试连接主机sam03的客户端mysql时，出现以下错误 [root@sam02 conf]# schematool --initSchema -dbType mysql which: no hba
阅读全文
摘要：准备工作：已下载mysql安装包 ##1. 检查是否安装Centos7自带的数据库mariadb [root@sam03 ~]# rpm -qa | grep mariadb ##2. 卸载mariadb [root@sam03 ~]# rpm -e mariadb-libs-5.5.64-1.el
阅读全文
摘要：##1. 编写Flume http配置文件 [root@sam01 scripts]# vim collect-app-http.conf # filename: collect-app-http.conf # 定义一个名字为 b1001 的agent # 定义channel b1001.chann
阅读全文
摘要：###前提：已经安装Flume ##1. 编写Flume agent配置文件 [root@sam01 scripts]# vim collect-app-agent.conf # filename: collect-app-agent.conf # 定义一个名字为 a1001 的agent # 定义
阅读全文
摘要：#前提：一台云服务器，客户端可连接外网 ##1. 下载frp文件到自定文件夹，我放在/opt/frp/下 Linux上下载：frp_0.29.1_linux_amd64.tar.gz Windows：frp_0.29.0_windows_amd64.zip Linux上可用命令下载 wget htt
阅读全文
摘要：#1. 关闭yarn服务进程 [root@sam01 ~]# stop-yarn.sh #2. 进入Hadoop配置文件目录 [root@sam01 ~]# cd /usr/local/hadoop/etc/hadoop/ #3. 修改yarn-site.xml文件,添加以下内容 <!-- 开启日志
阅读全文
摘要：#1. hdfs上的问题，则查看对应的日志 less 或 tail -1000 $HADOOP_HOME/logs/hadoop-{user.name}-{jobname}-{hostname}.log #2. yarn上的问题 less 或 tail -1000 $HADOOP_HOME/logs
阅读全文
摘要：#进入zookeeper的bin目录 cd /usr/local/zookeeper/bin ##1. 启动客户端，连接本地服务进程 [root@sam01 bin]# zkCli.sh ###1.1 输入quit退出进程 ##2. 连接集群中sam02的服务进程 [root@sam01 bin]#
阅读全文
摘要：当使用命令行start-dfs.sh开启hdfs守护进程时，secondaryNamenode打开不了，卡顿在 Starting namenodes on [sam01] sam01: starting namenode, logging to /usr/local/hadoop/logs/hado
阅读全文
摘要：##1. 把网络配置改为NAT模式 ##2. 通过Mac终端输入指令 cd /Library/Preferences/VMware\ Fusion/vmnet8 ##3. 通过终端输入指令打开nat.conf文件，查看网关 cat nat.conf ##4. 查看静态IP地址范围 cat dhcpd
阅读全文
