[职业发展]总述:对数据行业及职业的理解【待续】
1 前言
时间总是这么快,毕业已两年有余了,正是第三个年头。
毕业那一年,栀子花香,衰喜交合。幸运的是,毕业设计与答辩之际幸运地遇到了人生中最重要的伴侣;误打误撞在最后一次考试机会里过了CET六级;根据毕业论文的思路,提交了又打回来,提交了又打回来,跌跌撞撞、历时2年整、最终还是在2021年通过了的一篇发明专利(hard级别最高的专利);把大学四年攒下的自信几乎快被消耗殆尽的驾照终于拿下;学会做饭(给爱人吃~);不幸的也很多,头铁二战考研,再次名落孙山————数学一直成为那个命门,政治倒是出奇的好(84分,这分数可能在当时省内也是top级别了吧...)。就这样,2019年到2020年的年初就没了。
毕业第二年,考研失利,慌忙择业,初入职场。考研失利是意料之中的事,你复xi的怎么样,你发挥得怎么样,其实是门儿清的,所以,当时考完就估计到了要死在数学手上。找工作的事儿,却拖到了二月末才开始,复xi了将jin一个月才开始投简历。此时,已经是四月上旬了,导致失去了很多去优质IT企业的良机,又加上不想和媳妇儿异地便留在了成都,没有选择去IT的殿堂级城市北京。最终,误打误撞进了现在这家ToB的大数据公司,从事着数据中心的数据仓库、数据管理与治理的业务。对目前的公司和业务,算是比较喜欢的。
工作的这一年,做过项目金额规模不等(50万-500万)的数据仓库
或交付运维
的活儿(40%)、做过数据管理与治理
平台软件的订制开发(20%)、也长期和各种项目的bug/漏洞
做斗争(25%)、顺便偶尔兼职做做项目经理
(15%),以推进部分项目的工作进度。经历了这一年,脑子里装了很多东西,对项目管理/软件工程、数据仓库/数据治理、大数据生态/各类数据库(Hive/Oracle/MySQL/ElasticSearch/Redis等)、系统运维、Web Server(Nginx/Tomcat/Apche)、debug和软件开发有了更深的了解。诚然,了解越多,也就发现自己越无知,越需要学的内容就多,迫切地需要挤出时间去做想要做的事儿、想要学的知识。而另一方面,由于数据项目确实是有很多累活脏活需要干,ToB型项目很多乱七八糟的事情(涉及:项目过程管理[立项、调研、系统设计、开发/实施、系统测试、初验/终验、审计合规{流程、资料/凭据、安全}等]、沟通协调、定需求、打漏洞、做开发、汇报等),每天都会抛进我的待办列表中,时常加班是必不可少了。
2 问题: "大数据" 究竟是有意义的/重大社会价值的?还是某些利益集团的炒作?
我的答案是:
1 大数据
是具有重大社会价值
的,在个人层面、组织单位层面、行业层面、国家层面。例如,在个人或组织层面的医疗健康、金融风控、教育升级、环保治理等诸多领域。
2 但是现在在摸索的过程中,根据数据能力成熟度模型来讲,因在技术体系、理论体系及方法论、数据工程实施建设、数据项目管理等方面在不同建设运营单位、或团队、或顶层决策者之间分布不均衡,故而客观存在很多数据项目花了很多钱但是没有真正发挥出大数据应有的作用。这不是大数据无意义,是人和组织的认识问题、实践经验问题。
3 补充一个讲座视频,正好亦可回答此问题。尤其是刚进入数据行业的新人来说,会更易于理解我上面所提出的论点。
参考文献
十三五规划中,将大数据提升到国家战略高度。
一个政府,它采集、存储、分析数据的能力,实际上是一个政府的一个核心战略能力。
大数据5V特征中最重要一点的是【价值】大。
2006年,德国世界杯上,在8进4的一场比赛中,德国队与阿根廷队狭路相逢,全场比赛打成平局,进入点球大赛。那时,德国的守门员叫莱曼,他在阿根廷队射出的4个点球中,前4个就扑住了2个,所以,最后德国队4比2获得胜利。
事后,莱曼给记者们展示了一张小纸条,这张纸条是在参加比赛前,他的守门员教练科普*,当时用酒店的一个便签,给他写下了阿根廷队最有可能罚点球,不管是比赛过程中还是点球大赛中的7个人,他们要射门的方法和位置。
比如说,他判断*鲁斯,他是不助跑的,而且一定会射向右下角。
前四个出场的都在这清单的7个人之中,判断完全准确。莱曼扑住了其中的2个点球。
那整个守门员教练,在给出这个便签的时候,他用没用数据?他用了,他用了阿根廷队所有可能射点球的这些球星。他以前在国家队和俱乐部队比赛中的所有数据,但是这个数据量非常小。
因为一个特别厉害的球星,也不可能一年射几十个点球,绝大部分人一年也就一两个点球。
这么小的数据,却发挥了这么大的作用,且不说这场比赛本身价值多大,光是这个便条,最后拍卖了100万欧元。
———— 周涛
3 问题: 概念辨析? 云计算 | 大数据 | 数据分析/商业智能 | 数据挖掘(机器学习/机器学习) | 数据仓库 | 数据治理 | 数据中心 | 数据中台 VS 数据平台 VS 大数据平台 | 智慧城市 | 数字化转型
4 问题:大数据生态 / 大数据技术栈
4.0 硬件及操作系统层
CPU架构:
参见: [Linux]CPU架构/指令集:RISC / CISC | arm | amd | X86/i386 | aarch64 - 博客园
OS、Database:
参见:[Linux]Linux发展历程 - 博客园
4.1 数据采集与预处理层
Flume、、Sqoop、Kettle
- 工具
- Flume(日志)
- Sqoop(关系型数据库 ←→ HDFS/Hive)
- EsLogstashKibana(日志)
- Kettle / Informatica / Datastage / Datax / Apache Nifi / Apache StreamSets / Datapipeline /
- Spark Streaming(毫秒级) / Flink(微秒级)
- 自动化
- 自动化脚本语言: Linux Shell / Python / ...
- 工作流/作业调度系统:
- 单机调度: Crontab / Quartz / ...
- 分布式调度: xxl-job / elastic-job(基于Quartz,from 当当) / Apache DolphinScheduler / Apache Airflow / oozie / azkaban / chronos / zeus / SchedulerX(阿里) / TBSchedule(阿里)/ ...
- 资源调度系统: Yarn / Mesos / Omega / Borg / 伏羲(阿里) / Gaia(腾讯) / Normandy(百度)
- [数据库级 | 数据库中间件] canal / ...
- [商业化软件|订制/自研软件] 数据填报系统 / 数据交换共享系统 / ...
- 数据库采集
- RDBMS
- MPP
- 大数据Hadoop
- NoSQL: MongoDB/RabbitMQ/Kafka(日志数据等)/Redis/HBase/ ...
- 文件数据采集 U 网络数据采集
- 结构化数据采集: json、excel、xml、等
- 非结构化数据采集: 图片、文本/文档(日志数据等)、视频、音频等
4.2 数据缓冲层
Kafka、RocketMQ、Hbase、Elasticsearch、Redis
4.3 数据存储层
- 数据库存储
- RDBMS: Oracle/PostgreSQL/MySQL/DM/ ...
- MPP: Greeplum/GaussDB/GBase/ ...
- 大数据 Hadoop: Hive /
- NoSQL: MongoDB / Elasticsearch / Redis / HBase/ ...
- MQ:Kafka/RocketMQ/RabbitMQ/...
- 文件数据存储
- 文本: Elasticsearch / MgongoDB
- 文件: FastDFS / Hadoop HDFS / (S)FTP
4.4 数据处理层
MapReduce、Hive、Spark、Flink、Storm
- 离线计算:Hadoop MapReduce、Tez、Spark
- 流式、实时计算:Storm、Spark Streaming、Flink、S4、Heron
- 查询分析层:Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid
4.5 数据管理与治理层:业务数据化,数据资产化,资产服务化
组织架构
管理制度: 流程、规范
方法论
数据能力成熟度模型
数据仓库建设理论 / 数据管理与治理理论
工具/平台
数据存储 /
数据平台(数据接入、数据开发、数据交换 | 流程编排、调度、监控 | 元数据、模型、标准、质量、资产管理、安全、分析/挖掘、可视化/报表/共享/...)
...
- 元数据管理
- 元数据采集
- 元数据地图
- 元数据检索
- 血缘关系
- 关联关系
- 数据模型管理
- 数据资产管理
- 数据资源
- 接入资源(业务系统>数据库>表)
- 数据中心资源(数仓分层分域>表)
- 资源目录(业务主题域>表)
- 数据驾驶舱
- 数据生命周期管理(识别、计划、获取/产生、加工/清洗、存储、共享、维护:监控、预警、应用、消亡:清理/迁移 等)
- 数据资源
- 数据标准管理
- 数据质量管控
- 数据安全管控
- 数据服务管理(数据服务化,面向应用)
- 任务调度中心
- 作业调度编排
- ...
7.6 数据应用层
-
应用-智能挖掘层:
- 机器学习: SVM、PageRank、K-Means、KNN等
- 应用场景:推荐系统、广告营销、风险管控、用户画像等
-
应用-展现分析层:
- 可视化技术:Jquery、Echarts、EasyUI、Three.js
- 可视化软件:Tableu、FineBI/FineReport、SDC UE
5 职业发展:Java软件开发工程师(To 软件架构师) VS 数据开发工程师(To 数据架构师)
在没日没夜的学习技术、学习行业业务(数据仓库/ETL、数据治理、大数据Hadoop生态) 和 经历的工作任务的过程中,逐渐有了一定的对这个数据行业和岗位的认识。
5.1 简述
- 学好一门技术的3个阶段:
- 第一阶段:会用,大部分都会达到。也是新手变老手的必经之路。
- 第二阶段:会想,在使用的过程中呢,会思考遇到的问题,会独立查找资料解答心中的疑惑,这个过程是一个不断认证的的过程,时间会比较久,大部分人,会卡在第二阶段外面。
- 第三阶段:会玩,等你真正熟悉某一门技术时,你学会的不仅是技术本身,还有内在的技术原理以及设计思路,这时候你可以参与开源技术、回馈开源社区,贡献自己的一份力量。
以上三个阶段,第一个阶段很容易,第二个阶段需要自己额外的时间去思考,反问自己、别人的设计方案,不以完成任务为目的。第三个阶段,需要的综合能力就更多了,计算机嘛,绝对不是一招一式就能讲明白的。
- 对职业规划、对数据行业的核心认识:
0. 职业规划(中长期/3-5年目标)的重要性——————赶路不忘星空,抬头不迷失方向。
1. 坚信(IT行业下的)数据行业是当下的朝阳行业;数据正在成为生产要素,我们正在经历这个时代大浪潮中。
2. 因为深信、因为热爱,所以将致力于坚持深耕于数据行业这片热土。
- 职业规划的初步设想:
1. 工作1-2年: 技术型开发
JVM
基本开发框架: SSM / Spring Boot / Spring Cloud / MyBatis(Plus) / 工程通用脚手架 /
架构:
高性能/高并发:
各组件的性能极限及优化 /
并发/多线程编程 /
Nginx(静态资源/动静分离/前后端分离、正向代理、反向代理、负载均衡)
数据库扩容/分库分表[垂直拆分|水平拆分]、
CAP理论: 一致性(Consistency)| 可用性(Availability)| 分区容错性(Partition tolerance)
高可用:Keepalived(MySQL/Nginx+Keepalived)
事务一致性
多副本一致性
微服务架构
分布式架构:锁、事务、消息、缓存、文件系统、搜索、任务调度
CASE工具: Jenkins / Git/SVN / 禅道 / ...
软件过程
Devops
敏捷开发
软件项目管理
...
2. 工作3-5年: 数据开发
5.2 技术型开发
5.3 数据型开发
数据型开发岗位的分类
0. (开源)基础组件Contributor
优化或自研开源组件的开发者。
一般在中大型互联网公司、开源社区、国产化基础软件公司。
数据库及数据中间件的开发者居多,例如: HBase、Tendis、TiDB、PostgrelSQL、达梦数据库、南大通用数据库等...
1. 基础平台开发岗
Java 为主。主要做统一数据开发平台、大数据源码级别扩展优化、提供提升开发效率的工具、元数据管理、数据质量管理等。
技能要求:Java,Zookeeper,Hadoop,Hive,Spark,Kafka、ES等。
2. 数据应用产品开发岗
服务端 Java 为主,全部容器化管理服务。主要是数据报表平台、数据分析平台等。
3. 数据仓库开发岗
如果数据开发平台比较完善,一般以 sql 为主,不管是离线计算,还是实时计算,都只需要在数据开发平台上提交 sql 任务即可。更专注数据模型的建设,能够快速实现用户的数据分析需求。
如果平台不够完善,实时计算可能还是需要写代码,scala 为主。
技能要求:数据建模、数据管理与治理、报表开发、理解业务。
4. 数据分析岗
sql为主。分析数据趋势,挖掘潜在价值。
要求:数据分析技能➕Hadoop➕Hive➕部分Java
5. 数据挖掘(算法)岗
语言: Scala,Python,R。
理论:概率论与数理统计学、机器学习等
————————————————————
高阶: 数据架构师
数仓工程师
- 工作范畴
数据资产开发:
流程: 数据接入 ----> 数据建模+数据开发 ----> 数据服务
1数据探查 1数据标准梳理 1服务需求调研(业务数据需求/数据安全)
2数据同步(ETL) 2数据需求调研 2(数据建模+数据开发 / 数据资源盘点)
3数据对账 3数据模型建模(对标) 3数据服务开发
4数据任务开发(ETL) 4服务管理
工具: 离线开发 | 实时开发 | 算法开发 | 数据服务 | 运维管控 |
1任务管理
2任务监控
3资源监控
数据资产治理:
数据标准
数据模型
数据仓库:数据探查与调研/数据资源盘点、数据接入采集、(采集)数据对账、血缘关系维护、
数据治理:元数据管理、数据资源盘点、数据模型管理、
- 子工种:
ETL工程师:数据采集与接入、
数据开发工程师:数据标准梳理、分层分域设计、数据模型建模(落地标准)、血缘关系维护、仓内大数据ETL任务开发、数据服务对接与开发
数据质量工程师:标准落地到质量设计、质量需求调研与梳理、质量任务的设计、质量报告的分析与汇报、质量问题工单的跟踪闭环
- 工作范畴
数据分析工程师/BI工程师
数据挖掘工程师
数据(平台)架构师
数据运营工程师
数据产品经理
6 对数据产品的理解?
Q1:公有化部署 VS 公有云 | 私有化部署 VS 私有云 | 混合部署 VS 混合云?
Q2:为什么大部分数据产品都是私有化部署?
神策、四方伟业、...
0 数据的特性: 对数据安全(网络传输、数据存储、个人隐私等)要求较高,法律法规也越来越完善和严格
1 基于数据的特性,客户(企业、涉密单位、政府单位)不想、不能、不敢将自身的(敏感)数据外放在公有云服务器、搞纯公有化的部署。
Q3:[数据工程/数据治理与管理/数据仓库/数据库/数据分析]数据工程的学习资源?
数据中台/数据仓库的产品型解决方案
百度智能云的数据中台解决方案
Y 书籍/政策
书籍
大数据
最初的推动公司: IBM、麦肯锡 等
[1] 维*托•迈尔•舍恩伯格:
最早洞见大数据时代发展趋势的数据科学家之一
[2] 周涛:
周涛团队长期从事大数据核心关键技术的研发及产业实践工作,在数据安全、数据挖掘、数据可视化等方面拥有原创性的关键技术。
周涛作为创始人或联合创始人,创立了成都数之联科技、成都数聚城堡(Data Castle)、成都数联铭品、成都数联医信、北京百分点科技、国信优易、仟跃数据等知名大数据企业,
目前其作为实际控制人的企业全职员工在全球超过2000人,总市值超过100亿人民币。
这些企业在金融大数据、医疗健康大数据、教育大数据、工业制造大数据等方面形成了若干有重要行业影响力的产品和解决方案,
在利用大数据打击非法集资、发现医保骗费、建设食药安监精准风控体系和重点人员数据监控方面取得了显著的成绩,
分别向***总理、刘延东副总理、汪洋副总理和孟建柱书记进行过专题汇报,并获得高度肯定。
数据仓库
- 《数据仓库工具箱(第3版)——维度建模权威指南》 7.5(第3版)/8.4(第2版)- Ralph Kimball/2015.1
- 《数据仓库》 7.3 - William H.Inmon/2006.8
- 《数据仓库生命周期工具箱》 9.1 - Kimball/2009.9
- 《数据仓库设计》 - Imhoff,C./2004.12
数据管理与治理 / 数字化转型
国内
- 《大数据之路》 - Alibaba-数据技术及产品部/2017.7
- 《华为数据之道》 - Huawei/2020.11
- 《工业企业数字化转型之道》 - 工业大数据应用技术国家工程实验室/2020.11
- 《数据中台:让数据用起来》 7.3 - 数澜科技.付登坡/2020.1
- 《数据驱动:从方法到实践》 - 神策.桑文峰/2018.3
国外
政策
- 2011 "大数据中心战略" - 韩国
- 2012.3 《大数据的研究和发展计划》 - 美国(奥巴马政府)
- 2013 《英国数据能力发展战略规划》 - 英国
- 2013 《创建最尖端IT国家宣言》 - 日本
- 2015.8 《促进大数据发展行动纲要》 - 中国/国务院
- 2019.9 《工业大数据发展指导意见(征求意见稿)》 - 中国/工信部
提出推动5G、NB-IoT等技术在工业场景中的应用,推进IPv6规模部署,改造升级工业企业内外网络。
支持企业建设工业大数据集成平台和大数据中心。指导建设国家工业互联网大数据中心,鼓励企业、研究机构等主体积极参与区块链、安全多方计算等数据流通关键技术攻关和测试验证,降低工业大数据流通的风险。
面向能源化工、航空航天、建筑钢铁、家电、纺织服装、食品追溯等新一代信息技术与制造业融合发展的重点产业和领域,发挥政策导向作用,支持培育一批市场份额大、服务能力*、专业化和集成化水平高的【工业大数据解决方案供应商】。
- 201706 《中华人民共和国网络安全法》
- 201912 《信息安全技术 网络安全等级保护基本要求》 → GB/T 22239-2019 【等保2.0】
- 202109 《中华人民共和国数据安全法》
M 企业/机构
机构/协会
会议
数据挖掘领域的主要会议
一流的:
数据库三大顶级会议SIGMOD,VLDB,ICDE
数据挖掘KDD
机器学习ICML
信息检索的SIGIR
数据库的理论会议PODS
二流的:
EDBT,ICDT,CIKM,SDM,ICDM,PKDD
ECML(欧洲的机器学习会议)
DaWaK | International Conference on Big Data Analytics and Knowledge Discovery/国际数据仓库和知识发现会议
一年一度的 DaWaK 会议是一个面向广义上的大数据分析领域的研究人员、从业人员和开发人员的高质量论坛。目的是探索、传播和交流
通过科学和行业对话了解该领域的知识。会议涵盖了DaWaK研究和实践的方方面面,包括数据湖(无模式存储库)、数据库设计(数据仓库设计、ER建模)、大数据管理(表+文本+文件)、查询语言(SQL及更高版本) 、并行系统技术(Spark、MapReduce、HDFS)、理论基础和应用、文本和数据挖掘技术以及深度学习。会议将汇集来自全球数据库系统、云计算、编程语言和数据科学界的活跃研究人员。
主要主题包括:
- 扩展数据仓库和大数据的理论模型
- 并行处理
- 并行 DBMS 技术
- 无模式数据存储库
- 建模不同的大数据源(例如文本)
- 大数据的概念模型基础
- 查询语言
- 查询处理和优化
- 大数据智能语义
- 数据仓库,数据湖
- 大数据存储和索引
- 大数据分析:算法,技术和系统
- 大数据质量和来源控制
- 大数据框架的元数据
- 大数据和 NoSQL DBMS 中的多存储和多存储
- 分布式系统架构
- 大数据的云基础设施
- 使用 MapReduce、Spark 和相关系统的可扩展性和并行化
- 图分析
- 可视化
- 大数据搜索和发现
- 移动应用程序的大数据管理
- 非结构化、半结构化和结构化数据的
分析 - 时间、空间、时空和移动数据的
分析 - 数据流和传感器数据的分析
- 实时/正确时间和基于事件的分析
-分析中的隐私和安全
- 大数据应用程序部署
- 预处理和数据清理
- 数据仓库、OLAP 多维数据集和数据挖掘的集成
- 分析工作流
- 文本挖掘到大数据的新应用
- 深度学习应用程序
-数据科学产品
ACM SIGMOD
ACM数据管理特别兴趣小组关注数据库管理系统和数据管理技术的原则、技术和应用。
我们的成员包括软件开发人员、学术和工业研究人员、从业者、用户和学生。
SIGMOD主办一年一度的SIGMOD/PODS会议,这是该领域最重要和最具选择性的会议之一。
VLDB | The International Journal on Very Large Data Bases
本期刊代表VLDB基金会出版,包含学术贡献,研究信息系统架构,技术进步对信息系统的影响,以及新的数据库应用的发展。
《VLDB杂志》除定期刊外,还出版若干特刊。每卷有一期(通常是第三期)专门讨论前一年VLDB会议的选定论文。其他特别问题着重于编辑和编辑委员会认为对数据库界具有重要意义的资料,包括:
保护隐私数据管理
数据库和信息检索的集成
生命科学的数据管理、分析和挖掘
数据流处理
XML数据管理
电子商务
数据库和网络
多媒体数据库
代表VLDB基金会出版
检查信息系统架构,技术进步对信息系统的影响,和新的数据库应用的发展
每年一期包括VLDB年会的论文
关注数据库社区中重要的问题
ICDE | The annual IEEE International Conference on Data Engineering (ICDE)
一年一度的IEEE国际数据工程会议(ICDE)是IEEE的旗舰会议,讨论设计、构建、管理和评估先进数据密集型系统和应用方面的研究问题。
三十多年来,IEEE ICDE一直是研究人员、实践者、开发人员和用户探索前沿思想并交流技术、工具和经验的领先论坛。
由于2019冠状病毒病(COVID-19)大流行和旅行限制,第37版IEEE ICDE将转变为一个完全虚拟的活动,
为社区提供一个交互式数字论坛,以进行教育交流、科学新闻和最新最佳做法,
同时保护安全、健康、以及所有国会参与者的福祉。
- 2022 ICDE: https://icde2022.ieeecomputer.my/
我们诚邀以下领域的原创研究投稿:
基准测试、性能建模和调优
众包
数据挖掘和知识发现
数据模型,语义,查询语言
数据流系统和传感器网络
数据可视化和交互式数据探索
数据库安全、隐私和信任
用于机器学习的数据库技术
分布式、并行和P2P数据管理
图表、网络和半结构化数据
信息集成与数据质量(数据源、清理、管理;数据集成、元数据管理和互操作性)
数据库系统的机器学习
现代硬件和内存数据库系统
查询处理、索引和优化
空间数据库和时间数据库
文本,半结构化数据,IR,图像和多媒体数据库
不确定、概率和近似数据库
非常大的数据科学应用/管道
工作流程,科学数据管理
我们也欢迎任何可能跨越领域边界或指向数据库研究社区感兴趣的其他新方向的原创贡献。
DNBC | CCF 中国数据库学术会议
CCF 中国数据库学术会议是由数据库专业委员会举办的中国数据库领域的 最高学术会议,每年举行一次,始于 1977 年。
自 1999 年数据库专委会成立以来, 数据库专委会继承中国数据库多年来形成的优良传统,
致力于办好这一传统的数 据库盛会,为中国大陆、香港、台湾、澳门和海外华裔数据库研究者、开发者和 用户提供一个大中华数据库论坛,
交流有关数据库研究与应用的成果和经验,探讨数据库领域所面临的关键性挑战问题和研究方向,至今已成功举办 36 届。
本届大会将主要关注数据库技术所面临的新的挑战问题和研究方向,着力反 映我国数据库技术研究的最新进展,为数据库研究人员以及数据库开发和应用企 业搭建交流平台。
大会期间将设立多个论坛,并继续开设“系统演示”主题、“研 究生学术辅导”研讨班等。届时还将邀请国内外数据库领域著名专家到会作专题 报告。我们诚征数据管理及其应用领域的论文、专题讨论与系统演示报告等。
征文范围
数据库实现新技术 | 云计算中的数据管理 | Web 数据管理 |
---|---|---|
查询处理与查询优化 | 数据流管理 | XML 和半结构化数据 |
数据仓库和 OLAP | 近似和非确定性数据库 | 内容与知识管理 |
数据挖掘和知识发现 | RDF 及图数据管理 | 数据集成和迁移 |
嵌入与移动数据库 | 并行和分布数据库系统 | 特定领域的数据库系统 |
数据库自管理 | 智能用户接口技术 | 空间、时态及时空数据库 |
多媒体数据库 | 数据隐私和安全 | 信息检索与数据库 |
物联网数据管理 | 数据库系统性能评测 | 新硬件下的数据管理 |
社交网络、推荐系统、在 线广告 | 机器学习与数据库 | 智能数据分析 |
数据科学与工程 | 大数据管理与分析 | 区块链技术 |
数字中国建设峰会
主办单位:国家互联网信息办公室、国家发展和改革委员会、工业和信息化部、国务院国有资产监督管理委员会、福建省人民政府
承办单位:福建省数字福建建设领导小组办公室、福建省互联网信息办公室、福州市人民政府
基本情况:
第四届数字中国建设峰会将于2021年4月25日—26日在福建省福州市举行。
本届峰会以“激发数据要素新动能,开启数字中国新征程”为主题,定位为我国信息化发展政策发布平台、数字中国建设最新成果展示平台、电子政务和数字经济理论经验和实践交流平台、汇聚全球力量助推数字中国和数字丝路建设的合作平台。
企业数据世界大会
可能已停办
全球数字经济产业大会
大会以“聚焦数字经济,赋能未来生活”为主题,汇集大数据、云计算、人工智能、物联网、5G通信等新一代信息技术,全面展示信息安全、数字新基建、数字化转型、工业互联网、智慧社会等产业领域的前沿技术应用解决方案及前瞻产品展示,充分展示数字经济领域国内外最新技术、产品、服务和商业模式,打造世界顶尖的数字经济合作交流的服务平台。
- 大会目的
(1)数字技术驱动全球经济发展,助推城市和产业数字化转型,为全球社会发展问题提供解决方案
(2)聚全球顶尖企业,展示前瞻信息通信技术和消费电子产品,创造商机,促进数字经济发展
(3)集数字经济专家、企业高管、市场分析师、科研学者等,解析宏观市场状况,引领产业发展
(4)助招商引资,拉动市场资本投资,带动创新创业和人才就业,提升企业品牌形象,助力企业拓展市场渠道,扩大企业获取市场资本机会
- 大会规划
【数字新基建】:以新一代信息通信技术为基础,以数字化技术和互联网理念为驱动的数字化基础设施,主要包括5G基站建设、特高压、城际轨道交通、新能源汽车充电桩、工业互联网、大数据中心、人工智能等;
【智慧城市】:以新基建为基础,包括“城市规划和管理”、“城市安全和应急”等,为城市打造顶层生态设计的城市智能体解决方案;
【数字政府】:以新一代信息技术为支撑,重塑政务信息化架构,进一步优化调整,全面提升政府职能,包括智慧政务、智慧税务、智慧工商、智能办公、智能监管、智能决策等智能化服务平台;
【数字生活】:智慧民生、智慧社区、智能家居、消费电子、生活类apps应用等;
【数字出行】:涵盖智慧交通、智慧旅游、智能汽车、自动驾驶、定位技术等;
【数字健康/智慧医疗】:数字医疗设备、医疗设备的网络化、信息医疗管理平台、个性化医疗服务、医疗大数据、医学影像、精准医疗、移动医疗、智慧医院等;
【数字商业】:提供企业数字化转型、智慧金融、智慧运维、信息化运营管理、数字化营销解决方案、新零售等;
【智能制造】:工业互联网、智能设计、智能装配、智能制造、工业机器人、数字交付、工业软件、工业管理平台系统、智慧仓储、智慧物流、智能工厂等;
【数字园区】:智慧园区、智能建筑、智慧物业、绿色节能管理、园区应急管理、数字供应链、数字云平台等;
- 展会亮点
(1)特邀全球数字经济领域大咖:包括图灵奖获得者、中外院士、青年领军专家,以及全球科技巨头CEO剖析数字经济产业,深度解读产业链上下游前瞻议题、分享国际权威资讯和观点,布局行业大市场。
(2)聚焦大湾区,品牌名企百花齐放:聚集人工智能、大数据、云计算、5G、物联网、工业互联网、智慧城市、智能机器人等热门领域应用的前沿技术及顶尖新品展示。为粤港澳大湾区打造世界顶尖的数字经济合作交流的平台。
(3)数字经济行业领域优秀奖项:让创新产品、服务与解决方案得到国家专家院士的权威咨询意见和认可。
(4)数字经济产业与技术创新大赛:智慧创新,孵化未来,打造粤港澳大湾区最具商业价值的科技创新大赛,邀请国内外行业专家、知名风投机构代表莅临指导。
(5)数字经济高新技术成果转化展示:优秀项目及科技成果的大学院校、研究院、创客,校企合作成果的展示;多场科技成果转化研讨会、科技成果转化推介路演会现场交流。
2021中国智能制造数字化转型峰会
OFweek 2021(第六届)物联网与人工智能产业大会
中国5G时代信息产业发展论坛
2021中国数字政府发展高峰论坛
企业
日前,“2021中国大数据企业50*”在第六届大数据产业生态大会上正式揭晓。
其中,华为、腾讯、阿里、中兴、小米分别位列榜单前五。
评选结合企业研发投入力度、创新能力、产品及方案成熟度、投资及发展潜力等多个维度,设置评价指标体系,覆盖中国大数据产业生态链上的细分领域,并对大数据全产业链进行产业结构分析,梳理各领域大数据龙头企业。
通过调研评选出的“中国大数据企业50*”作为大数据产业发展的领军企业,将成为中国数字经济国家战略建设的中坚力量。
-
1 华为技术有限公司
-
2 腾讯
-
3 阿里巴巴
-
4 中兴通讯
-
5 小米集团
-
6 百度集团
-
7 广联达科技
-
9 联想集团
-
10 中科曙光
-
11 超图集团
-
12 太极计算机股份
-
13 上海晶赞融宣科技
-
14 成都四方伟业股份
-
16 金电联行
-
19 荣联科技集团股份有限公司
-
20 北京久其软件股份有限公司
-
22 绿盟科技集团股份有限公司
-
23 上海普元软件股份有限公司
-
...
-
...
X 参考文献
- 数据治理、共享交换、数据仓库、数据中心的关系 - CSDN
- 【中国正在说】20200228周涛:大数据时代的中国前景 - Bilibili
- 仟跃数据CEO 周涛以及团队介绍 - IT168.com
- 2021中国大数据企业50* - 中国大数据产业生态联盟/2021(第六届)中国大数据产业生态大会/Weixin/数据观/
- 我想问一下大数据开发在公司是不是每天写sql,要写几年,会转别的吗? - Zhihu
- 数据挖掘领域的主要会议 - itpub
Y 推荐阅读
big data(机器运算的大数据) & thick data(人类洞察出的厚数据)
大数据开发,有4个阶段:
1.数据采集【原始数据】
2.数据汇聚【经过清洗合并的可用数据】
3.数据转换和映射【经过分类,提取的专项主题数据】
4.数据应用 【提供api 智能系统 应用系统等】
本文链接: https://www.cnblogs.com/johnnyzen
关于博文:评论和私信会在第一时间回复,或直接私信我。
版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!
日常交流:大数据与软件开发-QQ交流群: 774386015 【入群二维码】参见左下角。您的支持、鼓励是博主技术写作的重要动力!