大数据初级工程师职业能力要求
1. 大数据开发要求
1.1 具备开展大数据应用开发环境安装与部署的能力
-
能够安装主流操作系统；
-
操作系统基础知识及常用操作命令。
1.2 具备数据采集与清洗的能力
-
能够安装部署并运行主流大数据平台；
-
使用数据采集工具对多源异构数据进行采集；
-
数据清洗工具对数据进行抽取、转换和加载。
1.3 具备数据存储、计算与交换的能力
-
能够将采集的数据按业务需求进行存储；
-
能够使用主流分布式工具对数据进行计算；
-
将大数据平台中的数据同多种数据库进行交换。
2. 大数据运维要求
2.1 具备平台基础设施管理的能力
-
能够掌握分片、主从、管理节点、工作节点等集群基础知识；
-
能够搭建大数据集群的硬件环境，包括服务器、网络设备等；
-
能够安装大数据的基础软件，包括操作系统、大数据平台等；
-
能够对数据集群中的网络环境、软硬件环境参数进行配置。
2. 2 具备平台基础服务管理的能力
-
能够安装大数据自动化运维、监控、故障处理工具软件；
-
能够使用集群监控工具，监控大数据平台运行情况并进行日常巡检；
-
能够通过监控平台的警告及日志信息，进行故障识别及软硬件修复。
3 数据分析要求
3.1 具备需求分析及数据提取的能力
-
能够通过客户调研访谈等方式确定业务需求；
-
能够根据需求，利用数据提取工具获取适当的数据。
3. 2 具备数据处理及可视化展示的能力
-
能够按照最终输出报告的要求对现有数据进行处理；
-
使用数据可视化工具，选择适当的统计分析方法对数据进行可视化展示，并形成报告；
-
清晰的在报告中体现出数据结果。
4 大数据治理要求
应具备数据安全治理的能力包括但不限于以下要求：
-
能够了解数据安全相关政策法规、标准规范；
-
能够了解数据加解密、4A系统、DLP （数据防泄漏）、数据脱敏、数字水印等数据治理内容，以及数据安全审计技术:包括日志审计、网络流量分析；
-
能够了解大数据安全运营的主要内容，如数据分级管理、数据输出安全审核、数据平台权限管理及优化等；
-
能够了解数据安全的主要风险与防护手段以及密码学技术体系知识。
