CDH| 组件的安装-HDFS的配置 | Flume| Kafka|
一. HDFS的参数配着
1. 修改HDFS的权限检查配置
关闭HDFS中的权限检查：dfs.permissions。
2. 配置Hadoop支持LZO
点击主机，在下拉菜单中点击Parcel
点击配置
找到远程Parcel存储库URL，点击最后一栏的加号，增加一栏，输入
http://archive.cloudera.com/gplextras/parcels/latest/，之后点击保存更改
返回Parcel列表，可以看到多出了LZO，选择下载，下载完成后选择分配，分配完成后选择激活。
安装完LZO后，打开HDFS配置，找到“压缩编码解码器”一栏，点击加号，添加com.hadoop.compression.lzo.LzopCodec后保存更改
打开YARN配置，找到MR 应用程序 Classpath，添加/opt/cloudera/parcels/HADOOP_LZO/lib/hadoop/lib/hadoop-lzo-cdh4-0.4.15-gplextras.jar
更新过期配置，重启进程
3. 配置NameNode HA
1）进入HDFS页面点击启用High Availability
2）命名
3）分配角色
4）审核更改
5）等待启动服务
二. Flume安装
1. 日志采集Flume安装
三. Kafka安装
可以选择在线安装和离线包安装，在线安装下载时间较长，离线包安装时间较短。这里我们为了节省时间，选择离线安装。
方式一直接点击下载，但是版本问题
方式二：
方式三：离线安装
csd包: http://archive.cloudera.com/csds/kafka/
parcel包: http://archive.cloudera.com/kafka/parcels/3.0.0/
1）在hadoop101上创建/opt/cloudera/csd目录
[root@hadoop101 parcel-repo]# mkdir -p /opt/cloudera/csd
2）上传KAFKA-1.2.0.jar到/opt/cloudera/csd目录，并修改所有者和所有者的组
[root@hadoop101 cloudera]# chown cloudera-scm:cloudera-scm /opt/cloudera/csd/ -R
3）上传KAFKA-4.0.0-1.4.0.0.p0.1-el6.parcel、KAFKA-4.0.0-1.4.0.0.p0.1-el6.parcel.sha1到
/opt/cloudera/parcel-repo目录，并修改KAFKA-4.0.0-1.4.0.0.p0.1-el6.parcel.sha1名称为KAFKA-4.0.0-1.4.0.0.p0.1-el6.parcel.sha
[root@hadoop101 cloudera]# ll
总用量 16
drwxr-xr-x 2 root root 4096 4月 5 20:24 csd
drwxr-xr-x 2 root root 4096 4月 5 19:39 parcel-cache
drwxr-xr-x 2 cloudera-scm cloudera-scm 4096 4月 5 19:38 parcel-repo
drwxr-xr-x 5 cloudera-scm cloudera-scm 4096 4月 5 19:39 parcels
[root@hadoop101 cloudera]# cd csd/
[root@hadoop101 csd]# ll
总用量 0
[root@hadoop101 csd]# ll
总用量 8
-rw-r--r-- 1 root root 5670 4月 5 20:26 KAFKA-1.2.0.jar
[root@hadoop101 csd]# chown cloudera-scm:cloudera-scm /opt/cloudera/csd/ -R
[root@hadoop101 csd]# ll
总用量 8
-rw-r--r-- 1 cloudera-scm cloudera-scm 5670 4月 5 20:26 KAFKA-1.2.0.jar
4）ClouderManager中选择Parcel->检查Parcel->Kafka点击分配->激活
5）ClouderManager中选择Parcel->检查Parcel->Kafka点击分配->激活
[root@hadoop101 parcel-repo]# ll
总用量 1647188
-rw-r--r-- 1 root root 1620405492 4月 5 18:14 CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel
-rw-r--r-- 1 root root 41 4月 5 18:14 CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha
-rw-r----- 1 root root 61986 4月 5 18:16 CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.torrent //代表已经激活
-rw-r----- 1 root root 140552 4月 5 19:38 HADOOP_LZO-0.4.15-1.gplextras.p0.123-el6.parcel
-rw-r----- 1 root root 41 4月 5 19:38 HADOOP_LZO-0.4.15-1.gplextras.p0.123-el6.parcel.sha
-rw-r----- 1 root root 188 4月 5 19:38 HADOOP_LZO-0.4.15-1.gplextras.p0.123-el6.parcel.torrent
-rw-r--r-- 1 root root 66008160 4月 5 20:34 KAFKA-3.0.0-1.3.0.0.p0.40-el6.parcel
-rw-r--r-- 1 root root 41 4月 5 20:34 KAFKA-3.0.0-1.3.0.0.p0.40-el6.parcel.sha1
-rw-r--r-- 1 root root 72312 4月 5 18:13 manifest.json
[root@hadoop101 parcel-repo]# mv /opt/cloudera/parcel-repo/KAFKA-3.0.0-1.3.0.0.p0.40-el6.parcel.sha1 KAFKA-3.0.0-1.3.0.0.p0.40-el6.parcel.sha
//所有框架都要这样改名
Kafka安装
回到首页，点击添加服务
修改Kafka的堆大小为256M
Sqoop的安装
验证是否按照成功 [hdfs@hadoop104 ~]$ sqoop-list-databases --connect jdbc:mysql://hadoop104:3306 --username root -P Warning: /opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/bin/../lib/sqoop/../accumulo does not exist! Accumulo imports will fail. Please set $ACCUMULO_HOME to the root of your Accumulo installation. 19/08/21 16:29:45 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6-cdh5.12.1 Enter password: 19/08/21 16:29:49 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset. information_schema cm hive hue mysql oozie performance_schema test
CDH5.12.1安装Spark2.1
在CDH5.12.1集群中，默认安装的spark是1.6版本，这里需要将其升级为spark2.1版本。经查阅官方文档，发现spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。
Cloudera发布Apache Spark 2概述(可以在这里面找到安装方法和parcel包的仓库)
cloudera的官网可以下载相关的parcel 的离线安装包：https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html
Cloudera Manager及5.12.0版本的介绍：https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_parcels.html#cmug_topic_7_11_5__section
升级过程
1 安装准备
1）所需软件：http://archive.cloudera.com/spark2/csd/
2）Parcels 包的下载地址：http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera1/
2 安装过程
1）创建csd目录
mkdir -p /opt/cloudera/csd/
2）上传文件SPARK2_ON_YARN-2.1.0.cloudera1.jar 到 /opt/cloudera/csd/下面
3）上传文件SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904-el6.parcel和SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904-el6.parcel.sha1 到/opt/cloudera/parcel-repo/
4）修改所属用户及用户组：
chown -R cloudera-scm:cloudera-scm /opt/cloudera
5）将SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904-el6.parcel.sha1重命名为SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904-el6.parcel.sha
mv SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904-el6.parcel.sha1 SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904-el6.parcel.sha
