02 2022 档案
摘要：##1.下载hive http://apache.org/dist/hive/ 官网 https://mirrors.tuna.tsinghua.edu.cn/apache/hive/ 清华镜像 选择带有bin.tar的 ##2.将安装包进行解压 ##3. 配置环境变量 export HIVE_HO
阅读全文
摘要：前提：hive的本地模式与内嵌模式都已经完成 ##1. 集群主机Hadoop的core-site.xml文件添加以下内容 <property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> </property> <propert
阅读全文
摘要：前提：Hive已安装，mysql已安装，且都已经配置好环境变量 ##1. 配置hive的hive-site.xml文件 ###1.1 配置mysql的连接字符串 <!--配置mysql的连接字符串--> <property> <name>javax.jdo.option.ConnectionURL<
阅读全文
摘要：##环境： ###主机sam02安装hive,主机sam03安装mysql 当主机sam02用hive尝试连接主机sam03的客户端mysql时，出现以下错误 [root@sam02 conf]# schematool --initSchema -dbType mysql which: no hba
阅读全文
摘要：准备工作：已下载mysql安装包 ##1. 检查是否安装Centos7自带的数据库mariadb [root@sam03 ~]# rpm -qa | grep mariadb ##2. 卸载mariadb [root@sam03 ~]# rpm -e mariadb-libs-5.5.64-1.el
阅读全文
摘要：##1. 编写Flume http配置文件 [root@sam01 scripts]# vim collect-app-http.conf # filename: collect-app-http.conf # 定义一个名字为 b1001 的agent # 定义channel b1001.chann
阅读全文
摘要：###前提：已经安装Flume ##1. 编写Flume agent配置文件 [root@sam01 scripts]# vim collect-app-agent.conf # filename: collect-app-agent.conf # 定义一个名字为 a1001 的agent # 定义
阅读全文
摘要：#前提：一台云服务器，客户端可连接外网 ##1. 下载frp文件到自定文件夹，我放在/opt/frp/下 Linux上下载：frp_0.29.1_linux_amd64.tar.gz Windows：frp_0.29.0_windows_amd64.zip Linux上可用命令下载 wget htt
阅读全文
摘要：##前提：远程服务器关闭防火墙 #1. 本地配置.ssh/config文件 Host sam_mac //可自行定义 HostName 172.22.192.106 //远程服务器ip地址 User sam //远程服务器主机名 #2. 本地打开终端，输入以下命令 PS C:\Users\45378
阅读全文
摘要：#1. 关闭yarn服务进程 [root@sam01 ~]# stop-yarn.sh #2. 进入Hadoop配置文件目录 [root@sam01 ~]# cd /usr/local/hadoop/etc/hadoop/ #3. 修改yarn-site.xml文件,添加以下内容 <!-- 开启日志
阅读全文
摘要：#1. hdfs上的问题，则查看对应的日志 less 或 tail -1000 $HADOOP_HOME/logs/hadoop-{user.name}-{jobname}-{hostname}.log #2. yarn上的问题 less 或 tail -1000 $HADOOP_HOME/logs
阅读全文
摘要：#进入zookeeper的bin目录 cd /usr/local/zookeeper/bin ##1. 启动客户端，连接本地服务进程 [root@sam01 bin]# zkCli.sh ###1.1 输入quit退出进程 ##2. 连接集群中sam02的服务进程 [root@sam01 bin]#
阅读全文
摘要：当使用命令行start-dfs.sh开启hdfs守护进程时，secondaryNamenode打开不了，卡顿在 Starting namenodes on [sam01] sam01: starting namenode, logging to /usr/local/hadoop/logs/hado
阅读全文
摘要：##1. 把网络配置改为NAT模式 ##2. 通过Mac终端输入指令 cd /Library/Preferences/VMware\ Fusion/vmnet8 ##3. 通过终端输入指令打开nat.conf文件，查看网关 cat nat.conf ##4. 查看静态IP地址范围 cat dhcpd
阅读全文
摘要：##1. 在编译vmware-install.pl文件的时候遇到以下问题 -bash: ./vmware-install.pl:/usr/bin/perl:bad interpreter:No such file or directory ###1.1 缺少perl,进行安装 yum install
阅读全文
摘要：#1. 添加用户sam02 ##1.1 输入指令 useradd sam02 #2. 设置用户密码 ##2.1 输入指令 passwd sam02
阅读全文
摘要：#1. 下载zookeeper http://archive.apache.org/dist/zookeeper/ #2. 将下载好的安装包解压至/usr/local/ tar -zxvf zookeeper-3.4.10.tar.gz -C /usr/local/ #3. 更名(方便配置及使用)
阅读全文
摘要：#启动hdfs集群 #访问HDFS的命令 ##1. 创建目录 hdfs dfs -mkdir (-p) /目录 hdfs dfs -mkdir /data hdfs dfs -mkdir -p /a/b/c/d/e/f/g ##2. 上传指令 ###格式：hdfs dfs -put /本地文件 /分
阅读全文
摘要：#为了确保NAT模式，需要配置静态IP ##1. 打开虚拟机->编辑->虚拟网络编辑器 ##2.选择NAT模式->NAT设置，从NAT设置可以查看虚拟机的子网IP、子网掩码和网关 ##3.打开网络配置文件ifcfg-ens33 vim /etc/sysconfig/network-scripts/i
阅读全文
摘要：#1. 输入以下指令 hostnamectl set-hostname sam01 #2. 或者打开主机名文件进行修改 vim /etc/hostname
阅读全文
摘要：#1.格式化集群 hdfs namenode -format ##1.1格式化集群后将会在Hadoop目录下生成一个tmp文件夹 #2.启动集群 ##2.2启动集群 ###2.2.1 在启动集群之前，首先输入jps指令，查看进程 ###2.2.2 启动hdfs的脚本 ####hadoop-daemo
阅读全文
摘要：#选取机器sam01作为主节点，并进行分布式文件的配置 ##1.进入Hadoop配置文件路径/usr/local/hadoop/etc/hadoop(这里我把Hadoop安装在/usr/local目录下) ##2.配置core-site.xml文件 <configuration> <!-- hdfs
阅读全文
摘要：#1. 将Hadoop安装包解压至/usr/local tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local/ #2. 进入/usr/local目录，将hadoop文件名改为hadoop（方便配置环境变量） mv hadoop-2.7.6/ hadoop #3. 打
阅读全文
摘要：选择集群中的一台机器作为时间服务器，这里选择机器sam01 安装ntp yum install ntp -y 查看ntp状态,可看到服务处于关闭状态 systemctl status ntpd 配置ntp.conf文件信息 vim /etc/ntp.conf 开启ntp服务 systemctl st
阅读全文
摘要：#主机sam01配置好的文件分发给另外两台主机sam02和sam03 配置文件/etc/hosts,添加三台机器的ip与hostname的映射 192.168.88.129 sam01 192.168.88.130 sam02 192.168.88.132 sam03 文件分发 scp /etc/h
阅读全文
摘要：在免密登录设置之前，主机之间互相登录需要密码，如图 生成公私钥,并一路回车 ssh-keygen -t rsa 把各自的公钥发送给其余主机 ssh-copy-id sam02 公钥发送完毕后，主机之间互相登录不再需要密码 ssh sam02
阅读全文
摘要：关闭防火墙 systemctl stop firewalld 关闭防火墙开机自启动 systemctl disable firewalld 关闭安全机制，将selinux设置为disabled vi /etc/selinux/config 验证防火墙是否关闭 systemctl status fir
阅读全文
摘要：一般在配置JDK之前要卸载CentOS自带的openjdk,接下来演示如何卸载自带的openjdk 进入root模式 查看jdk是否已经安装jdk rpm -qa | grep jdk 3. 卸载openjdk yum -y remove copy-jdk-configs.noarch 至此，Cen
阅读全文
摘要：CentOS设置共享文件夹 设置共享文件夹 点击虚拟机->设置 2. 打开虚拟机设置->选项->共享文件夹->总是启用->添加 3. 点击下一步创建主机路径并命名 4. 启用此共享 5. 此时弹窗出现提示，无法更新运行时文件夹共享状态，是因为还没有在虚拟机中安装VMWare Tool 安装VMWar
阅读全文
