大数据的简介
大数据的定义
大数据是指无法在一定时间范围内用常规软件工具无法捕捉、管理和处理的数据集合，是需要处理模式才能具有更强的决策力、洞察发现力、和流程优化能力的海量、高增长率和多样化的信息资产。
大数据的特点
大数据的特点可以用 IBM 曾经提出的 “5V” 来描述，如下：
大量 Volume
采集、存储和计算的数据量都非常大。 计算机存储单位一般用B，KB，MB，GB，TB，PB，EB，ZB，YB，BB、NB、DB来表示，
它们之间的关系是
1GB = 1024 MB 1TB = 1024 GB 1PB = 1024 TB 1EB = 1024 PB 1ZB = 1024 EB 1YB = 1024 ZB 1BB = 1024 YB 1NB = 1024 BB 1DB = 1024 NB
以PB为例，PB级数据量有多大？是怎样的一个概念？
假如手机播放MP3的速度为平均每分钟1MB，而1首歌曲的平均时长为4分钟，那么1PB存量 的歌曲可以连续播放2000年。 1PB 也相当于50%的全美学术研究图书馆藏书咨询内容。 （1）1986年，全球只有0.02EB也就是约21000TB的数据量 （2）2007年，全球就是280EB也就是约300000000TB的数据量，翻了14000倍 （3）近些年，由于移动互联网及物联网的出现，各种终端设备的接入，各种业务形式的普 及，平均每40个月，全球的数据量就会翻倍！2012年，每天会产生2.5EB的数据量 （4）基于IDC的报告预测，从2013年到2020年，全球数据量会从4.4ZB猛增到44ZB！而到了 2025年，全球会有163ZB的数据量！ 全球的数据量已经大到爆了！而传统的关系型数据库根本处理不了如此海量的数据！
高速 Velocity
在大数据时代，数据的创建、存储、分析都要求被高速处理，比如电商网站的个性化推荐尽 可能要求实时完成推荐，这也是大数据区别于传统数据挖掘的显著特征。
多样 Variety
数据形式和来源多样化。包括结构化、半结构化和非结构化数据，具体表现为网络日志、音 频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。
真实 Veracity
确保数据的真实性，才能保证数据分析的正确性
低价值 Value
数据价值密度相对较低，或者说是浪里淘沙却又弥足珍贵。互联网发展催生了大量数据，信息海量，但价值密度较低，如何结合业务逻辑并通过强大的机器算法来挖掘数据价值，是大数据时 代需要解决的问题，也是一个有难度的课题。
大数据的应用场景
随着大数据的发展，大数据技术已经广泛应用在众多行业，比如仓储物流、电商零售、汽车、电 信、生物医学、人工智能、智慧城市等等领域，包括在疫情防控战中，大数据技术也发挥了重要的作用。
仓储物流
大数据技术驱动了仓储物流领域的智能化发展，以苏宁为例，苏宁物流可在全国的各级仓库间实现 智能分仓、就近备货和预测式调拨，实现”客户需要的商品就在离客户近的配送中心“。
电商零售
零售业 ” 啤酒+纸尿裤 “ 案例
京东个性推荐
” 双11购物节 “ 实时销售额大屏
汽车
利用了大数据和物联网技术的无人驾驶汽车，在不远的未来将走入我们的日常生活
电信
移动联通根据用户年龄、职业、消费情况，分析统计哪种套餐适合哪类人群，对市场人群精 准定制。
生物医学
大数据可以帮助我们实现流行病预测、智慧医疗、健康管理，同时还可以帮助我们解读 DNA，了解更多的生命奥秘。比如影像大数据支撑下的早期肺癌支撑平台，基于大量病例数据样 本，制定早期肺癌高危人群预警指标。
人工智能
柯洁vsAlphago
智慧城市
大数据有效支撑智慧城市发展，成为城市的”数据大脑“。比如，在智慧城市建设上，杭州始终走在 全国前列。如覆盖面广的移动支付、新颖的在线医疗模式、创新的物流运输模式，都受到较大关 注。2016年，杭州被《中国新型智慧城市》白皮书评为“中国智慧的城市”。
大数据的价值，远远不止于此，大数据对各行各业的渗透，大大推动了社会生产和生活，未来必将 产生重大而深远的影响。
大数据的发展及职业趋势
大数据发展趋势
1）2015年党的十八届五中全会提出“实施国家大数据战略”，国务院印发《促进大数据发展行动纲 要》，大数据技术和应用处于创新突破期，国内市场需求处于爆发期，我国大数据产业面临重要的发展 机遇。
2）2017年十九大报告明确 "推动互联网、大数据、人工智能和实体经济深度融合"。
3）2020年全国政协十三届三次会议新闻发布会上，更进一步强调：大数据、人工智能、5G是引领 未来发展的战略性技术。
显然，发展大数据是我国的战略性决策，前景自然不言而喻。
另外
4）2017年北京大学、中国人民大学、北京邮电大学等25所高校成功申请开设大数据课程
5）大数据属于高新技术，大牛少，升职竞争小
6）2020年5月6日，人力资源和社会保障部发布《新职业—大数据工程技术人员就业景气现状分析 报告》，报告显示：预计2020年中国大数据行业人才需求规模将达210万，2025年前大数据人才需求仍 将保持30%~40%的增速，需求总量在2000万人左右
7）在北京大数据开发工程师的平均薪水已经超越 1.5w 直逼2w，而且目前还保持强劲的发展势头
大数据职业发展路线
目前大数据高、中、低三个档次的人才都很缺。 现在我们谈大数据，就像当年谈电商一样，未来 前景已经很明确，接下来就是优胜劣汰，竞争上岗。不想当架构师的程序员不是好架构师！但是，大数 据发展到现阶段，涉及大数据相关的职业岗位也越来越精细。
从职业发展来看，由大数据开发、挖掘、算法、到架构。从级别来看，从工程师、高级工程师，再 到架构师，甚至到科学家。而且，契合不同的行业领域，又有专属于这些行业的岗位衍生，如涉及金融 领域的数据分析师等。大数据的相关工作岗位有很多，有数据分析师、数据挖掘工程师、大数据开发工 程师、大数据产品经理、可视化工程师、爬虫工程师、大数据运营经理、大数据架构师、数据科学家等等。
从事岗位：ETL工程师（数据清洗），数据仓库工程师，实时流处理工程师，用户画像工程师，数据挖掘，算法 工程师，推荐系统工程。
