CCA认证介绍

　　　　　　　　　　　　　　　　CCA认证介绍　　

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　　作者：尹正杰

版权声明：原创作品，谢绝转载！否则将追究法律责任。

 

 

 

一.CCA认证介绍

1>.CCA概述

　　Cloudera Certified Associate（CCA认证）是Cloudera面向初中级Hadoop技术人员推出的认证考试。由于Cloudera的Hadoop发行版是目前使用最广泛的版本，Cloudera的认证也因此被广泛承认。能够获得这类证书的技术人员求职，企业投标等都是有重要作用的。

2>. CCA认证的方向

CCA Spark and Hadoop Developer：
　　学会使用Apache Spark和其他Cloudera企业级工具，实现对大户数据的集成，转换，处理。

CCA Data Analyst：
　　学会对原始数据进行加载，转换，清洗，建模，从而定义数据间的关系并抽取出有意义的结果。

CCA Administrator：
　　学会针对部署Cloudera Hadoop发行版的企业进行核心系统和集群运维的技能。

3>.CCP概述

    CCA上一级的考试称为Cloudera Gertified Professional(CCP),只有一门考试CCP Data Engineer，这门考试需要综合CCA三个方向（运维，开发，分析）的技能，侧重于对整体系统和数据流的开发，相当于数据架构师的能力。

 

二.CCAA考试简介（CCA Administrator）

1>.CCAA考试概述

　　Cloudera 官方连接可参考：
　　　　https://www.cloudera.com/about/training/certification/cca-admin.html
　　　　https://www.cloudera.com/about/training/certification/cca-spark.html
　　　　https://www.cloudera.com/about/training/courses/data-analyst-training.html


　　如下图所示，CCAA考试（编号CCA131）有以下注意事项：
　　　　远程在线考试（对网速和地点有要求）
　　　　考试限时120分钟（对于比较熟练的运维人员来说足够）
　　　　有8-12个（通常都是10个）需要动手操作的问题（Cloudera 企业版集群已经部署好，因此不需要部署集群，但我们集群部署中用到的很多CM操作都是会考到的）
　　　　考试通过成绩为70%（每一题指挥检查你答案正确或错误，不存在的部分正确的判断标准，因此你必须至少答对7题）
　　　　考试语言为英语（建议CM界面使用英文，免得考试的时候手生。）
　　　　考试费用为295美元（只接受信用卡支付，挂掉重考需要新交费）

2>.CCAA和旧版CCAH（Cloudera Certified Administration Hadoop） 对比

　　CCAA和旧版CCAH（Cloudera Certified Administration Hadoop）考试有以下区别
　　　　CCAH考试全部为单选或多选题，只考Hadoop标准组件(HDFS,MapReduce，YARN,Hive，Impala。HBase)的基本概念和配置参数，不涉及Cloudera企业版的特性和CM的操作，因此对小白来说比较有利。
　　　　CCAA考试全部为实操题，大约一半使用命令行操作，一半使用CM操作，因此会涉及Cloudera企业版的特性和CM的操作。这种考法增加了小白通过的难度，对有实践经验的人比较有利。

3>.CCAA考试流程

从Cloudera官网的入口进入报名界面并交费，如果没有Cloudera账号会让你注册，使用支付美元支付的信用卡付费。（CCAA官方付费地址：https://university.cloudera.com/content/CCA131）

预约考试时间。

按照Cloudera的考试大纲进行复习。

按照考试说明，提前登陆考试网站，进行网速测试（至少需要20M宽带，需要摄像头可以看到你，Cloudera官方的人可以通过观察你考试时的视频，比如考试时是否作弊之类的）和人工安全监测（检查你的考试环境是否合规，电脑上是否有不合适的进程）。

仔细阅读考试说明，按照要求答题（考试时一些帮助文档时可以打开的。但无法访问其他网站和聊天工具）。

全部答完后提交，马上可以看到考试结果。电子版证书一两天后会发到注册邮箱。

 

三.CCAA考试大纲解读

　　所有考试点在该Cloudera官网上都有罗列，CCAA官方考试大纲：https://www.cloudera.com/about/training/certification/cca-admin.html

　　但具体对应哪个官方文档的恩日哦那个，需要自行查找。比较有用的文档有：
　　　　Cloudera 官方文档：https://www.cloudera.com/documentation.html（我们可以选择你需要查看的版本）
　　　　hadoop2.6.0官方文档：http://hadoop.apache.org/docs/r2.6.0/index.html
　　　　hadoop3.0.0官方文档：http://hadoop.apache.org/docs/r3.0.0/index.html

1>.Install

Demonstrate an understanding of the installation process for Cloudera Manager, CDH, and the ecosystem projects.
　　(1)Set up a local CDH repository
　　(2)Perform OS-level configuration for Hadoop installation
　　(3)Install Cloudera Manager server and agents
　　(4)Install CDH using Cloudera Manager
　　(5)Add a new node to an existing cluster
　　(6)Add a service using Cloudera Manager

Cloudera 安装指南参考文档：https://www.cloudera.com/documentation/enterprise/5-16-x/topics/installation.html

2>.Configure

Perform basic and advanced configuration needed to effectively administer a Hadoop cluster
　　(1)Configure a service using Cloudera Manager
　　(2)Create an HDFS user's home directory
　　(3)Configure NameNode HA
　　(4)Configure ResourceManager HA
　　(5)Configure proxy for Hiveserver2/Impala

Cloudera官方参考文档：
　　https://www.cloudera.com/documentation/enterprise/5-16-x/topics/cm_configuration.html
　　https://www.cloudera.com/documentation/enterprise/5-16-x/topics/admin_ha.html
　　https://www.cloudera.com/documentation/enterprise/5-16-x/topics/admin_ha_hiveserver2.html
　　https://www.cloudera.com/documentation/enterprise/5-16-x/topics/impala_proxy.html

3>.Manage

Maintain and modify the cluster to support day-to-day operations in the enterprise
　　(1)Rebalance the cluster
　　(2)Set up alerting for excessive disk fill
　　(3)Define and install a rack topology script
　　(4)Install new type of I/O compression library in cluster
　　(5)Revise YARN resource assignment based on user feedback
　　(6)Commission/decommission a node

Cloudera官方参考文档：
　　https://www.cloudera.com/documentation/enterprise/5-16-x/topics/admin_dn_storage_balancing.html
　　https://www.cloudera.com/documentation/enterprise/5-16-x/topics/cm_dg_monitoring_settings.html
　　https://www.cloudera.com/documentation/enterprise/5-16-x/topics/cm_mc_specify_rack.html
　　https://www.cloudera.com/documentation/enterprise/5-16-x/topics/admin_data_compression_performance.html　　
　　https://www.cloudera.com/documentation/enterprise/5-16-x/topics/cdh_ig_yarn_tuning.html　　
　　https://www.cloudera.com/documentation/enterprise/5-16-x/topics/cm_mc_managing_hosts.html

4>.Secure

Enable relevant services and configure the cluster to meet goals defined by security policy; demonstrate knowledge of basic security practices
　　(1)Configure HDFS ACLs
　　(2)Install and configure Sentry
　　(3)Configure Hue user authorization and authentication
　　(4)Enable/configure log and query redaction
　　(5)Create encrypted zones in HDFS

Cloudera官方参考文档：
　　https://www.cloudera.com/documentation/enterprise/5-16-x/topics/cdh_sg_hdfs_ext_acls.html
　　https://www.cloudera.com/documentation/enterprise/5-16-x/topics/sg_sentry_overview.html
　　https://www.cloudera.com/documentation/enterprise/5-16-x/topics/hue_sec_0.html
　　https://www.cloudera.com/documentation/enterprise/5-16-x/topics/sg_redaction.html
　　https://www.cloudera.com/documentation/enterprise/5-16-x/topics/cdh_sg_hdfs_encryption.html

5>.Test

Benchmark the cluster operational metrics, test system configuration for operation and efficiency
　　(1)Execute file system commands via HTTPFS
　　(2)Efficiently copy data within a cluster/between clusters
　　(3)Create/restore a snapshot of an HDFS directory
　　(4)Get/set ACLs for a file or directory structure
　　(5)Benchmark the cluster (I/O, CPU, network)

Cloudera官方参考文档：
　　https://archive.cloudera.com/cdh5/cdh/5/hadoop/hadoop-hdfs-httpfs/index.html
　　https://www.cloudera.com/documentation/enterprise/5-16-x/topics/cdh_admin_distcp_cdh5.html
　　https://www.cloudera.com/documentation/enterprise/5-16-x/topics/cm_bdr_managing_hdfs_snapshots.html
　　https://www.cloudera.com/documentation/enterprise/5-16-x/topics/cdh_sg_hdfs_ext_acls.html
　　https://www.cloudera.com/documentation/enterprise/5-16-x/topics/admin_performance.html

6>.Troubleshoot

Demonstrate ability to find the root cause of a problem, optimize inefficient execution, and resolve resource contention scenarios
　　(1)Resolve errors/warnings in Cloudera Manager
　　(2)Resolve performance problems/errors in cluster operation
　　(3)Determine reason for application failure
　　(4)Configure the Fair Scheduler to resolve application delays

Cloudera官方参考文档：
　　https://www.cloudera.com/documentation/enterprise/5-16-x/topics/cm_dg_about.html
　　https://www.cloudera.com/documentation/enterprise/5-16-x/topics/admin_performance.html
　　https://www.cloudera.com/documentation/enterprise/5-16-x/topics/cm_mc_yarn_service.html