大数据高级工程师职业能力要求
1. 架构设计要求
1.1 具备数据架构设计的能力
-
能根据业务需求及数据资源设计数据模型与接口，并完成总体架构设计；
-
能够开发核心技术框架，并根据业务及技术需求制定开发规范；
-
能够进行核心业务/系统架构的规划、设计、构建；对资源进行合理分配和利用，在质量、性能和效率方面达到平衡；
-
能够根据业务、技术、运维报告的结果调整优化现有系统及应用架构；
-
能够指导维护或运维大型线上系统，设计及搭建监控系统；
-
对系统稳定性、可用性进行评估并提出优化方案。
1.2 具备技术管理和培训的能力
-
能够对数据采集、清洗、存储等相关流程制定规范；
-
能够对大数据项目的全生命周期，包括设计、开发、测试、部署和交付等进行指导；
-
能够根据团队情况制定培训计划，从技术、业务、方法论等角度对初中级技术人员进行指导。
2 数据挖掘要求
2.1 具备模型构建与算法设计的能力
-
能够深入理解主流机器学习、深度学习等算法及模型原理，并应用于实际生产系统；
-
能够基于数据及业务需求设计高性能、可扩展的技术方案；
-
能够实现主流算法，选择最佳数据项进行模型构建及算法设计；
-
能够对所构建模型及算法进行评估，提出针对性改进方案；
-
能够根据挖掘结果总结数据价值，预测业务走向，提出模型应用、指导业务发展。
2.2 具备数据项目管理的能力
-
能够有效沟通并确定建模目标、建模需求；
-
能够根据数据生命周期梳理业务关键点，明确关键环节产出；根据资源、人员对大数据项目进度与质量进行管理；
-
能够独立或带领团队实现关键算法创新；
-
能够从数据和算法的角度下把握项目走向及资源分配。
2.3 技术管理和培训的能力
-
能够根据项目需求对模型选型、数据项选取、数据准备、特征工程及模型验证等进行实现及管理；
-
能够根据团队情况制定培训计划，从技术、业务、方法论等角度对初中级技术人员进行指导。
3. 数据分析要求
3.1 具备问题转化、分解与分析的能力
-
能够从项目/业务需求中提取关键信息并转化为数据问题，形成可执行的目标；
-
能够根据对业务的理解识别和预测风险；
-
能够根据数据问题制定合适的分析思路并指导完成分析过程；
-
能够使用适当的挖掘工具提升分析效率。
3.2 具备数据可视化展示及业务指导的能力
-
能够根据产出结果选择合适的可视化形式，梳理可视化结果逻辑并选择合理的展示指标；
-
能够输出具有业内高水准的技术文献、规范、报告或行业方案；
-
能够根据业务需求指导建模；
-
能够通过分析结果产出行动指导建议。
3.3 具备技术管理和培训的能力
能够根据团队情况制定培训计划，从技术、业务、方法论等角度对初中级技术人员进行指导。
4 大数据治理要求
4.1 具备数据安全治理的能力
-
能够熟练掌握并灵活运用数据安全体系的技术方向、实现思路、产品架构、功能设计等，针对用户具体应用场景，能够建设数据安全管控和审计体系，包括数据安全架构、流程制度及技术工具，执行数据安全策略的落实，包括数据分类分级、元数据管理、数据加密、数据脱敏、数据调用审计等；
-
能够负责数据安全事件的风险预警、溯源、协同、跟踪、改进优化及事后评估；
-
能够负责数据安全咨询服务的项目管理和具体落地执行工作，编写项目用户的管理制度规范等交付文档，参与部分数据安全国标行标的编写；
-
能够识别用户的数据安全风险，分析风险影响，设计制定并实施基于风险的数据安全治理架构、方针策略、制度规范及标准流程等；并结合用户实际情况提供有效的数据安全管理解决方案，提升用户的数据安全管控能力及成熟度，具备数据安全风险管理能力；
-
能够结合国内与国际个人信息保护与隐私监管体系，行业最佳实践，例如等保2.0数据合规、欧盟GDPR,《网络安全法》、《个人信息安全规范》、云安全、大数据安全等，进行对标解读，提出相应合规要求并跟踪落实，确保用户数据安全的合规性；
-
能够建设数据安全运营体系，包括数据安全使用指导、数据安全风险发现的整改落地推进、日常安全事件响应、问题咨询与方案支持、数据安全意识提升与培训等。
4.2 具备隐私保护治理的能力
-
能够结合国内与国际个人信息保护与隐私监管体系、行业最佳实践，例如等保2.0数据合规、欧盟GDPR,《网络安全法》、《个人信息安全规范》等，健全隐私保护体系，包括隐私保护技术方案、流程制度等；
-
能够跟踪、分析国内外隐私保护的法律法规、行业动态、典型案例等，并可面向不同用户开展对标评估，提出有效解决方案并推动实施；
-
能够对用户内涉及个人数据处理的业务实施隐私合规评审，把控业务的隐私合规风险。
4.3 具备合规与审计的能力
-
能够为用户设计并建设数据安全与隐私合规体系，组织实施用户的合规认证与运营，包括等保认证、ISO认证、金融安全认证等。以满足监管要求，并符合行业实践标准；
-
能够实施数据安全与隐私保护审计，通过季度、年度、不定期审计等，评估数据安全与隐私保护的落地成熟度，识别风险并推动整改；
-
能够培训和推广数据安全与隐私保护策略、流程、方案，从技术、业务、方法论等角度对初中级技术人员进行指导。
