数据职能划分 数据类岗位分类
互联网公司数据职能的划分:
1,数据开发工程师: 概念比较宽泛,比较老式,类似 data engineer 概念。在大数据技术之前广泛使用。
2,数仓工程师: 概念比较老式,在大数据时代之前,侧重 数据仓库建设,OLAP 数据模型,数据导入 ,ETL ,模型设计,指标产出等方面开发。
3,ETL 工程师: 和数仓工程师概念比较靠近,在数据模型开发的业务前端,涉及 数据导入,数据清洗,加载到数仓内。
4,大数据工程师:进入大数据时代后,新的岗位名词。因为进入大数据时代后,启用了一批全新的IT技术栈(相比于以前的mysql,oracle, greenpalm)
涉及 大数据处理的全套技术组件,比如数据采集,传输,数仓组件,大数据计算引擎等等。岗位名词侧重了 大数据新的技术方向的技术开发层面。
但是公司一般都要求具有数据模型建模设计方面知识。相比之前的数据开发,技术难度增加很多。比如 一些数据开发过程从 sql 语言转到 java / scala/ python 等。
5,数据工程师:类似数据开发工程师。比较宽泛,不限定 大数据 或是 小数据。不侧重数据模型设计或者 技术栈理论。
6,Hadoop 工程师: 一般指 熟悉 hadoop 技术生态开发的工程师。 Hadoop已经成为了大数据技术的代名词。概念类似 ‘大数据工程师’
7,数据挖掘工程师: 老式概念。指熟悉机器学习,深度学习等统计学习算法等方面知识,对数据进行高级分析,比如预测分析, 相关分析,回归分析等方面。
8,NLP工程师 / 视频/图片分析工程师 : 特指对一些非结构化数据应用 机器学习,深度学习算法进行分析的工程师。 宽泛说法是 ‘人工智能工程师’
9,数据分析师 data analysis:从数仓拿到提炼好的数据,业务分析模型开发,分析报告呈现
10,数据架构师 data architecture:主要为后端应用规划数据库,业务表ER模型设计,数据库部署,为后端人员讲解库表使用。
11,后端开发人员 backend enginner:使用数仓和数据架构师设计的库表数据,并在应用开发过程中,做一些数据简单处理。
12,数据运维 DBA: 数据库MySQL/oracle hive/ hadoop 安装 部署,优化,维护, 为业务应用库,数仓库的运维,也可以单独划分出 ’大数据运维工程师‘
13,数据产品经理 data PM: 数据指标定义,数据页面原型设计。