第一章 大数据概述 第一次作业

1.为什么产生大数据技术？

答：首先信息化经历了三次浪潮，经过了三次浪潮，互联网、云计算等技术迅速发展，这样的信息科技为大数据时代的到来提供了技术支持，其中有不断增加存储容量的设备、处理能力大幅度提升的CPU和不断增加的网络带宽等。其次，数据产生方式的变革也促成了大数据时代的到来，最初的运营式系统阶段中，人类最早开始管理和使用数据，但是只有在企业的业务产生时，才会有相关的记录数据生成，这也导致了在当时能够产生的数据是极其少量的。自从互联网问世，用户可以对数据进行DIY，用户原创内容开始大量出现，即进入了用户原创内容阶段，这让数据的传播更加广泛和快捷。到现在随着物联网的快速发展，数据产生的方式进入了感知式系统阶段，在该阶段数据可以通过湿度传感器、温度传感器等物联网设备产生比前两次阶段更加大量的数据。在科技迅速发展的物联网时代中，大数据时代也来临了。

2.为什么要学习大数据技术？

答：大数据对科学研究、思维方式和社会发展都具有总要而深远的影响，大数据是全样而非抽样的、是效率而非绝对精确的、是相关而非因果的，大数据决策正在演变成为一种新的决策方式、大数据应用促进信息技术与各行各业的深度融合、大数据开发并推动了新的技术和新的应用不断出现。同时，大数据对就业市场和人才培养也有一定的影响。大数据技术的应用也极其广泛，在不同领域中都起着至关重要的作用。因此才有了大数据是新的“石油”的说法，学习大数据技术在当今社会极为重要。

3.简述大数据、云计算、物联网、区块链和人工智能的概念和相互关系。

 答：大数据是物联网和云计算发展到一定阶段的必然结果，物联网为大数据提供了大部分的数据来源，而云计算则为大数据提供了支撑平台。大数据又是人工智能的重要基础，人工智能需要通过大数据完成学习和决策的过程。从整个智能系统的体系结构来看，物联网是触角，云计算是支撑平台，大数据提供数据分析，人工智能完成最终的决策。区块链技术未来与大数据技术的结合应用将会带来一系列重要的改变，区块链技术本身就是一种数据存储方式，而且区块链存取的数据具有较强的安全性和防篡改特性，大数据与区块链的结合还能解决数据价值化过程中的“确权”问题和流通问题，可以说未来大数据与区块链的结合将更加紧密。

4.用图表和简单的文字简要描述大数据的发展前景和就业趋势，并谈谈你的看法。

 答：大数据贯穿着我们的生活，它无时无刻不在我们身边，正因为其使用范围和作用范围宽广，因此大数据拥有着一条很大的大数据产业链，大数据产业是指一切支撑大数据组织管理和价值发现相关的企业经济活动的集合，大数据的发展前景有无限的可能，就业趋势会呈现出一大批的人才参与并进入到大数据技术的行业当中，而且大数据行业应用广泛，大数据职业的相关人才匮乏，人才缺口非常大。

5.大数据可能带来什么样的问题？如何应对这些隐患？

 答：

(一)大数据会导致遭受异常流量攻击

大数据所存储的数据非常巨大，往往采用分布式的方式进行存储，而正是由于这种存储方式，存储的路径视图相对清晰，而数据量过大，导致数据保护，相对简单，黑客较为轻易利用相关漏洞，实施不法操作，造成安全问题。由于大数据环境下终端用户非常多，且受众类型较多，对客户身份的认证环节需要耗费大量处理能力。由于APT攻击具有很强的针对性，且攻击时间长，一旦攻击成功，大数据分析平台输出的最终数据均会被获取，容易造成的较大的信息安全隐患。

(二)大数据会导致信息泄露风险

大数据平台的信息泄露风险在对大数据进行数据采集和信息挖掘的时候，要注重用户隐私数据的安全问题，在不泄露用户隐私数据的前提下进行数据挖掘。需要考虑的是在分布计算的信息传输和数据交换时保证各个存储点内的用户隐私数据不被非法泄露和使用是当前大数据背景下信息安全的主要问题。同时，当前的大数据数据量并不是固定的，而是在应用过程中动态增加的，但是，传统的数据隐私保护技术大多是针对静态数据的，所以，如何有效地应对大数据动态数据属性和表现形式的数据隐私保护也是要注重的安全问题。最后，大数据的数据远比传统数据复杂，现有的敏感数据的隐私保护是否能够满足大数据复杂的数据信息也是应该考虑的安全问题。

如何应对？

一是提高安全意识，及时出台相关政策。在国家层面，应加快大数据产业引导政策的出台。大数据技术领域的竞争，事关国家安全和未来。我国目前已经在物联网“十二五”规划上把信息处理技术作为4项关键技术创新工程之一提出来，但还没有大数据方面的专门规划和政策支持。将大数据上升为国家战略，加强顶层设计和政策支持，是大数据时代的客观要求。

二是提高安全防护能力，保障网络信息安全。随着数据收集范围的扩大和数量的增加，在线数据越来越多，黑客、间谍的犯罪动机也比以往任何时候都来得强烈。如今他们的组织性更强、更加专业，作案工具也更加强大，作案手段更是层出不穷。所以在大数据时代，网络的安全防护可以说是至关重要。如今，各个企业都有自己的安全防护软件来防止病毒、木马等恶意软件的侵害。而要在一个大型网络中的存储中扫描一个恶意软件可能需要几天的时间。大数据时代，数据量将以几何速度增长，到那时现在的安全防护软件将不能满足需要。因此，在大数据时代真正到来之前，应该为建立大数据安全环境未雨绸缪。

三是加强云计算安全研究，保障云安全。目前来看，各行各业陆续采用和实施了云服务等新技术，但是对于使用云服务可能带来的风险估计不足。云端的大数据对于黑客们来说是个极具吸引力的获取信息的目标。然而，数据的搜集、存储、访问、传输必不可少地需要借助移动设备，所以大数据时代的来临也带动了移动设备的猛增。这就对各行业制定安全正确的云计算采购策略提出了更高的要求。

四是积极探索，加大个人隐私保护力度。在大数据时代巨大商业价值背后，隐私安全问题更令人担忧。目前，各社交网站均不同程度开放其用户所产生的实时数据，容易出现被恶意收集和滥用的情况，尤其是金融、广告、零售业等各种企业。随着产生、存储、分析的数据量越来越大，隐私问题在未来的几年也将愈加凸显。所以新的数据保护要求以及立法机构和监管部门出台相关保护个人隐私的措施应当提上日程。