大数据使用及现状调研报告
大数据使用及现状调研报告
大数据，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据特征分析 大数据，不仅有“大”这个特点，除此之外，它还有很多其他特色。在这方面，业界各个厂商都有自己独特的见解，但是总体而言，可以用“4V+1C”来概括，“4V+1C分别代表了Variety（多样化）、Volume（海量）、Velocity（快速）、Vitality（灵活）以及Complexity（复杂）这五个单词。
Variety（多样化）
大数据一般包括以事务为代表的结构化数据、以网页为代表的半结构化数据和以视频和语音信息为代表的非结构化等多类数据，并且它们的处理和分析方式区别很大。
与大数据现象有关的数据量为尝试处理它的数据中心带来了新的挑战：它多样的种类。随着传感器、智能设备以及社交协作技术的激增，企业中的数据也变得更加复杂，因为它不仅包含传统的关系型数据，还包含来自网页、互联网日志文件（包括单击流数据）、搜索索引、社交媒体论坛、电子邮件、文档、主动和被动系统的传感器数据等原始、半结构化和非结构化数据。简言之，种类表示所有的数据类型。
Volume（海量）
如今存储的数据数量正在急剧增长，毫无疑问我们正深陷在数据之中。我们存储所有事物：环境数据、财务数据、医疗数据、监控数据等。有关数据量的对话已从TB级别转向PB级别，并且不可避免地会转向ZB级。现在经常听到一些企业使用存储集群来保存数PB的数据。随着可供企业使用的数据量不断增长，可处理、理解和分析的数据比例却不断下降。
通过各种智能设备产生了大量的数据，PB级别可谓是常态，一些客户每天处理的数据量都在几十GB、几百GB左右，估计国内大型互联网企业每天的数据量已经接近TB级别。
Velocity（快速）
大数据要求快速处理，因为有些数据存在时效性。比如电商的数据，假如今天数据的分析结果要等到明天才能得到，那么将会使电商很难做类似补货这样的决策，从而导致这些数据失去了分析的意义。
就像我们收集和存储的数据量和种类发生了变化一样，生成和需要处理数据的速度也在变化。不要将速度的概念限定为与数据存储库相关的增长速率，应动态地将此定义应用到数据——数据流动的速度。有效处理大数据需要在数据变化的过程中对它的数量和种类执行分析，而不只是在它静止后执行分析。
Vitality（灵活）
在互联网时代，和以往相比，企业的业务需求更新的频率加快了很多，那么相关大数据的分析和处理模型必须快速地适应新的业务需求。
Complexity（复杂）
虽然传统的BI已经很复杂了，但是由于前面4个V的存在，使得针对大数据的处理和分析更艰巨，并且过去那套基于关系型数据库的BI开始有点不合时宜了，同时也需要根据不同的业务场景，采取不同的处理方式和工具。
大数据行业发展现状
1、一些数据的记录是以模拟形式存在，或者以数据形式存在，但是存贮在本地，不是公开数据资源，没有开放给互联网用户，例如音乐、照片、视频、监控录像等影音资料。现在这些数据不但数据量巨大，并且共享到了互联网上，面对所有互联网用户，其数量之大是前所未有。
2、移动互联网出现后，移动设备的很多传感器收集了大量的用户点击行为数据，已知IPHONE有3个传感器，三星有6个传感器。它们每天产生了大量的点击数据，这些数据被某些公司所有拥有，形成用户大量行为数据。
3、电子地图如高德、百度、Google地图出现后，其产生了大量的数据流数据，这些数据不同于传统数据，传统数据代表一个属性或一个度量值，但是这些地图产生的流数据代表着一种行为、一种习惯，这些流数据经频率分析后会产生巨大的商业价值。基于地图产生的数据流是一种新型的数据类型，在过去是不存在的。
4、进入了社交网络的年代后，互联网行为主要由用户参与创造，大量的互联网用户创造出海量的社交行为数据，这些数据是过去未曾出现的。其揭示了人们行为特点和生活习惯。
5、电商户崛起产来了大量网上交易数据，包含支付数据，查询行为，物流运输、购买喜好，点击顺序，评价行为等，其是信息流和资金流数据。
6、传统的互联网入口转向搜索引擎之后，用户的搜索行为和提问行为聚集了海量数据。单位存储价格的下降也为存储这些数据提供了经济上的可能。我们所指的大数据不同与过去传统的数据，其产生方式、存储载体、访问方式、表现形式、来源特点等都同传统数据不同。大数据更接近于某个群体行为数据，它是全面的数据、准确的数据、有价值的数据。
中国的大数据之路任重而道远
中国目前的大数据应用环境和技术相对于美国而言，在整体技术水平、应用环境、国民意识、商业环境、技术厂商、技术平台上面相差超过5年左右。在大数据应用的国家战略层面落后的也较多。2012年3月，美国奥巴马政府宣布推出“大数据的研究和发展计划”。该计划涉及美国国家科学基金、美国国家卫生研究院、美国能源部、美国国防部、美国国防部高级研究计划局、美国地质勘探局等6个联邦政府部门，承诺将投资两亿多美元，大力推动和改善与大数据相关的收集、组织和分析工具及技术，以推进从大量的、复杂的数据集合中获取知识和洞见的能力。美国奥巴马政府宣布投资大数据领域，是大数据从商业行为上升到国家战略的分水岭，表明大数据正式提升到战略层面，大数据在经济社会各个层面、各个领域都开始受到重视。
2014年从“两会”的提案、议案看，很多人建议将大数据业务上升为国家战略，互联网领军人物李彦宏在政协记者会上表示，政府应该把更多和人民生活有关的数据资料，公开地放到网络上；雷军则直接建议将大数据纳入国家战略，推动大数据切实地被用起来；科大讯飞刘庆峰建议国家建设声纹数据库进行大数据反恐。张近东、马化腾、杨元庆的提案也与数据应用有着紧密联系。但是在中国大数据国家战略和大数据产业发展发面还没有一个清晰的蓝图。最后总结一下，大数据时代将会给人类社会带来巨大变化。它是一个好的工具，就像计算机一样，帮助人们提升社会生产效率，了解事物真相，认识客观规律，同时加快进入智慧社会。
全球大数据产业发展规模
2014年，全球大数据解决方案不断成熟，各领域大数据应用全面展开，为大数据发展带来强劲动力。2014年全球大数据市场规模达到285亿美元，同比增长53.2%。大数据逐渐成为全球IT支出新的增长点。
2014年数据中心系统支出达1430亿美元，比2013年增长2.3%。大数据对全球IT开支的直接或间接推动将达2320亿美元，预计到2018年这一数据将增长3倍。
中投顾问发布的《2016-2020年中国大数据行业投资分析及前景预测报告》从市场结构分析，2014年，全球大数据市场结构从垄断竞争向完全竞争格局演化。企业数量迅速增多，产品和服务的差异度增大，技术门槛逐步降低，市场竞争越发激烈。在全球大数据市场中，行业解决方案、计算分析服务、存储服务、数据库服务和大数据应用为市场份额排名最靠前的细分市场，分别占据35.4%、17.3%、14.7%、12.5%和7.9%的市场份额。云服务的市场份额为6.3%，基础软件占据3.8%的市场份额，网络服务仅占据了2%的市场份额。
我国大数据产业发展提速
1、基础设施建设率先起步
大数据产业“十三五”发展规划已经在2016发布。这是实施国家大数据战略的又一政策举措。
大数据将是新的生产要素。政策助推知识开始，云计算、大数据、人工智能是大数据这场“新工业革命”的重要推手。其中，数据是重要资源。在此背景下，众多互联网科技企业以及传统生产企业都在积极布局大数据产业。
统计数据显示，2015年国内大数据产业市场规模已达1105.6亿元，较2014年增长44.15%。其中，大数据基础设施建设、大数据软件和大数据应用分别占比64.53%、25.47%和10%。目前已有42家计算机行业上市公司披露了2016年上半年报业绩预告，平均增速中位数为15%。从细分领域看，大数据与人工智能子板块平均增速中位数为65%。
随着大数据产业的快速发展，受益顺序为基础设施建设率先起步，并带来数据分析、数据源、数据安全环节的发展。在基础设施方面，数据中心、服务器等领域近年来快速增长。其中，中科曙光、浪潮信息等公司服务器业务收入增长明显。随着基础设施逐渐完善，数据分析成为了可能。数据分析服务在整体产业收入的占比也代表着大数据市场发展的成熟度。中投顾问发布的《2016-2020年中国大数据行业投资分析及前景预测报告》指出，当前数据分析服务在国内大数据产业中的占比仍保持较低水平，为24%水平。这和全球市场的数据分析服务占50%比例存在明显差异，国内市场发展整体滞后于全球市场，拥有较大的空间。
2、多个领域应用正在兴起
国内数据应用正在兴起，尤其是在金融、电信、政务、医疗、能源等行业已经起步，并逐步向其他行业扩展。以金融领域为例，蚂蚁金服推出了芝麻信用，其芝麻分来自淘宝、支付宝的数据占30-40%。通过综合考虑个人用户的信用历史、行为偏好、履约能力、身份特质、人脉关系等信息，直接与其信用挂钩，构筑信用消费生态。在电信领域，大数据的作用明显。传统通信业务下滑，电信运营商急需寻找下一个红利通道。数据经营转型已成为运营商的共识。在大数据业务运营上，电信运营商将以“授权开放+合作共赢”模式为主，合作伙伴可能获得60%收益分成。东方国信、初灵信息、亨通光电、烽火通信等与电信运营商关系紧密，拥有大数据全产业链布局和技术领先的公司具有先发优势。
目前，相关大数据公司正在积极布局大数据产业。以智库2861举例来说，每日数据采集以峰值状态两万个爬虫7*24小时运行，经过云端运行的海量模型和算法进行清洗，达到去伪存真的效果，从而挖掘出可用的结构化数据，建立数据模型；且这些模型可以不断自我完善和学习，根据用户的实际需求给出不同的策略分析建议，从而用于政企法人决策辅助或决策分析，构建全新“大数据+政企治理”的新生态。
大数据技术应用前景展望
1、数据的资源化
在大数据技术中蕴含着丰富的数据信息资源，它们的科学有效应用能够切实为企业带来巨大的经济产值，产生更多经济收益。因此，要利用好信息资源就要进一步开放研究大数据技术。信息资源的有效应用离不开先进的数据技术和信息化思维，网络技术人员应当将传统信息资源开发管理方法与大数据技术有机地结合起来，通过将不同数据集进行重组和整合，发挥就数据集所不具有的新功能，从而为企业创造出更多的价值。而掌握了数据资源处理技术的企业，在未来还能够通过将数据使用权进行出租或者转让等方式获取巨大的经济收益。
2、科技的交叉融合
大数据技术的发展不仅能够将网络计算中心、移动网络技术和物联网、云计算等新型尖端网络技术充分地融合成一体，促进不同科学技术的交叉融合，同时还能够促进多学科的交叉融合，充分发挥出交叉学科和边缘学科在新时代的新功能与效用。大数据技术的长足进步与发展既要求工程技术人员要立足于信息科学，通过对大数据技术中的信息获取、储存、处理等各方面的具体技术进行创新发展，也要将大数据技术与企业管理手段结合起来，从企业经营管理的角度研究分析现代化企业在生产经营管理活动中大数据技术的参与度及其可能带来的影响。在一些需要处理和应用到大量数据的信息部门，企业一方面要着力提高大数据技术的应用水平，另一方面要及时引起跨学科人才，充分发挥多科学与交叉性学科在本部门中的参与度。
3、以人为本的大数据技术发展趋势
科学技术的使用主体归根结底是人，虽然在大数据技术支撑的网络信息环境下，信息数据的及时流通与整合能够满足人类生产生活的所有信息需求，能够为人的科学决策提供有效指导，但大数据技术终究无法代替人脑，这就要求大数据技术在发展过程中要坚持以人为本的基本原则，重视人的地位，将人的生产活动与网络大数据虚拟关系结合起来，在密切人与人之间的交流的同时，充分发挥每一个独立个体的个性和特长。
