|NO.Z.00004|——————————|^^ 部署 ^^|——|Hadoop&Impala.V04|——|Impala.v04|环境部署.v02|

一、短路读取配置步骤

### --- 创建短路读取本地中转站
~~~     DataNode启动失败有可能是该文件夹权限问题。
~~~     所有节点创建一下目录

[root@linux121 ~]# mkdir -p /var/lib/hadoop-hdfs

### --- 修改hdfs-site.xml

[root@linux121 ~]# vim /opt/yanqi/servers/hadoop-2.9.2/etc/hadoop/hdfs-site.xml
<!--添加如下内容 -->
<!--打开短路读取开关 -->
<!-- 打开短路读取开关 -->
<property>
    <name>dfs.client.read.shortcircuit</name>
    <value>true</value>
</property>

<!-- 这是一个UNIX域套接字的路径，将用于DataNode和本地HDFS客户机之间的通信  -->
<property>
    <name>dfs.domain.socket.path</name>
    <value>/var/lib/hadoop-hdfs/dn_socket</value>
</property>

<!-- block存储元数据信息开发开关 -->
<property>
    <name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
    <value>true</value>
</property>

<property>
    <name>dfs.client.file-block-storage-locations.timeout</name>
    <value>30000</value>
</property>

### --- 分发到其它节点

[root@linux121 ~]# rsync-script /opt/yanqi/servers/hadoop-2.9.2/etc/hadoop/hdfs-site.xml

### --- 分发到集群其它节点。重启Hadoop集群。
~~~     # 停⽌止集群

[root@linux121 ~]# stop-dfs.sh
[root@linux123 ~]# start-dfs.sh

~~~     # 启动集群

[root@linux121 ~]# stop-yarn.sh
[root@linux123 ~]# start-yarn.sh

二、Impala具体配置

### --- 引⽤HDFS，Hive配置

~~~     使⽤用Yum⽅式安装impala默认的Impala配置⽂件目录为 /etc/impala/conf，
~~~     Impala的使⽤要依赖Hadoop，Hive框架，所以需要把Hdfs,Hive的配置文件告知Impala。

### --- 所有节点执行以下命令把Hdfs，Hive的配置⽂件软链接到/etc/impala/conf下
~~~     注：所有节点都要执⾏此命令！

ln -s /opt/yanqi/servers/hadoop-2.9.2/etc/hadoop/core-site.xml /etc/impala/conf/core-site.xml 
ln -s /opt/yanqi/servers/hadoop-2.9.2/etc/hadoop/hdfs-site.xml /etc/impala/conf/hdfs-site.xml
ln -s /opt/yanqi/servers/hive-2.3.7/conf/hive-site.xml /etc/impala/conf/hive-site.xml

### --- Impala⾃身配置
~~~     # 所有节点更改Impala默认配置文件以及添加mysql的驱动包

[root@localhost ~]# vim /etc/default/impala
<!--更新如下内容 -->
IMPALA_CATALOG_SERVICE_HOST=linux123
IMPALA_STATE_STORE_HOST=linux123

### --- 所有节点创建mysql的驱动包的软链接
~~~     # 创建节点

[root@localhost ~]# mkdir -p /usr/share/java
[root@localhost ~]# ln -s /opt/yanqi/servers/hive-2.3.7/lib/mysql-connector-java-5.1.46.jar  /usr/share/java/mysql-connector-java.jar

### --- 修改bigtop的java_home路径
~~~     注意：Apache Bigtop 是一个针对基础设施工程师和数据科学家的开源项目，
~~~     旨在全面打包、测试和配置领先的开源⼤数据组件/项目。Impala项目中使用到了此软件。

~~~     # 所有节点
[root@localhost ~]# vim /etc/default/bigtop-utils
export JAVA_HOME=/opt/yanqi/servers/jdk1.8.0_231

### --- 启动Impala

~~~     # linux123启动如下⻆色
[root@linux123 ~]# systemctl start impala-state-store
[root@linux123 ~]# systemctl start impala-catalog
[root@linux123 ~]# systemctl start impala-server

~~~     # 其余节点启动如下⻆色：linux121 linux122
[root@linux121 ~]# systemctl start impala-server

### --- 验证Impala启动结果

[root@linux123 ~]# ps -ef | grep impala
impala    20335      /usr/lib/impala/sbin/statestored -log_dir=/var/log/impala -state_store_port=24000
impala    20422      /usr/lib/impala/sbin/catalogd -log_dir=/var/log/impala
impala    20537      /usr/lib/impala/sbin/impalad -log_dir=/var/log/impala -catalog_service_host=linux123 -state_store_port=24000 -use_statestore -state_store_hos

 
[root@linux122 ~]# ps -ef | grep impala
impala     9320     /usr/lib/impala/sbin/impalad -log_dir=/var/log/impala -catalog_service_host=linux123 


[root@linux121 ~]# ps -ef | grep impala
impala    10702      /usr/lib/impala/sbin/impalad -log_dir=/var/log/impala -catalog_service_host=linux123

### --- 浏览器Web界面验证

~~~     访问impalad的管理界面：http://linux123:25000/
~~~     访问statestored的管理界面：http://linux123:25010/

三、Impalad管理界面

四、Statestore管理界面

### --- 注意：

~~~     启动之后所有关于Impala的日志默认都在/var/log/impala 这个路径下，
~~~     Linux123机器上面应该有三个进程，Linux121与Linux122机器上⾯面只有一个进程，
~~~     如果进程个数不对，去对应目录下查看报错日志

五、消除Impala影响

### --- 消除Impala影响

~~~     由于使用Yum命令安装Impala，我们选择使用yum自动进行Impala依赖的安装和处理，
~~~     所以本次安装默认会把Impala依赖的所有框架都会安装，⽐如Hadoop,Hive,Mysql等，
~~~     为了保证我们⾃己安装的Hadoop等使⽤正常我们需要删除掉Impala默认安装的其它框架

[root@linux123 ~]# which hadoop
/usr/bin/hadoop
[root@linux123 ~]# which hive
/usr/bin/hive

~~~     # 使⽤which命令 查找hadoop,hive等会发现，命令文件是/usr/bin/hadoop ⽽非我们⾃己安装的路径，需要把这些删除掉,所有节点都要执行

[root@localhost ~]#  rm -rf /usr/bin/hadoop
[root@localhost ~]#  rm -rf /usr/bin/hdfs
[root@localhost ~]#  rm -rf /usr/bin/hive
[root@localhost ~]#  rm -rf /usr/bin/beeline
[root@localhost ~]#  rm -rf /usr/bin/hiveserver2

~~~     # 重新生效环境变量

[root@localhost ~]#   source /etc/profile

附录一：

### --- 报错现象：

~~~     jps 时出现没有名字的进程 或者process information unavailable

### --- 解决方案：

[root@localhost ~]#  rm -rf /tmp/hsperfdata_*

Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart

——W.S.Landor