第一次大数据应用的作业

问:为什么产生大数据技术?

答：首先就要明白什么是大数据，依我看来：随着信息技术的快速发展，我们每个人每天都会产生极其庞大的数据信息，这些数据就叫做大数据。大数据技术就是把这些看似无用，毫无关联的数据整合，整理，进行分析，把这些数据关联在一起。让我们查找信息的速度变得更快。

问：为什么要学习大数据技术？

答：有巨大的发展前景，大数据企业众多，逐步形成产业化，大数据时代将是未来的发展趋势。对我们大学生来说，就业以后的薪资比较可观。国家将来的建设需要大数据做支撑，所以要为祖国的建设出一份力。

问：简述大数据、云计算、物联网、区块链和人工智能的概念和相互关系？

物联网简单来讲就是“物物相连的互联网”，使用信息传感物理设备按照约定的协议把任何物品与互联网连接起来进行信息交换的网络，以实现物理生产环境的智能化识别、定位、跟踪、监控和管理。

云计算：本质上是将具备一定规模的物理资源转化为服务的形式提供给用户，用户不需要见到物理机器，自然不需要考虑各种运维的事情，因为云厂商已经将这一层封装好了，客户只需要告诉云平台是需要一台具体配置的计算机、还是某个开发平台、或者干脆就是一个具体的应用(如网盘)。

大数据，需要应对海量化和快增长的存储，这要求底层硬件架构和文件系统在性价比上要大大高于传统技术，能够弹性扩张存储容量，这种情况下出现了数据组织技术。所谓数据组织技术：数据化初级阶段数据少，形式单一，所以主要采取集中式结构化存储，实体关系就成了这一时期的数据组织的关键点，包括开发语言的面向对象技术其实也是受到这种数据组织形式影响而产生的。

人工智能：组织好数据，接下来就需要深度挖掘数据。就像人类发明语言和文字一样，最终目的是要帮助人类进行大规模分工协作来完成人类认为有意义的事情的。而面对这样的海量数据，人类的大脑已经处理不过来了，于是人类将各种意义转化为算法交给机器，让机器自行决策，最终给我们提供一个收敛的结果，就有了有效信息。
区块链技术：如何有效的利用信息呢?在区块链技术之前，基本靠人类的各种信念：“我们坚信人是有良知的!”还有一种就是靠强有力的中心组织保障，但前提是这个组织必须是有良知的。

问:.用图表和简单的文字简要描述大数据的发展前景和就业趋势，并谈谈你的看法

答：发展前景好，就业趋势大。

 

 

大数据安全隐患

　　(一)大数据遭受异常流量攻击

　　大数据所存储的数据非常巨大，往往采用分布式的方式进行存储，而正是由于这种存储方式，存储的路径视图相对清晰，而数据量过大，导致数据保护，相对简单，黑客较为轻易利用相关漏洞，实施不法操作，造成安全问题。由于大数据环境下终端用户非常多，且受众类型较多，对客户身份的认证环节需要耗费大量处理能力。由于APT攻击具有很强的针对性，且攻击时间长，一旦攻击成功，大数据分析平台输出的最终数据均会被获取，容易造成的较大的信息安全隐患。

　　(二)大数据信息泄露风险

　　大数据平台的信息泄露风险在对大数据进行数据采集和信息挖掘的时候，要注重用户隐私数据的安全问题，在不泄露用户隐私数据的前提下进行数据挖掘。需要考虑的是在分布计算的信息传输和数据交换时保证各个存储点内的用户隐私数据不被非法泄露和使用是当前大数据背景下信息安全的主要问题。同时，当前的大数据数据量并不是固定的，而是在应用过程中动态增加的，但是，传统的数据隐私保护技术大多是针对静态数据的，所以，如何有效地应对大数据动态数据属性和表现形式的数据隐私保护也是要注重的安全问题。最后，大数据的数据远比传统数据复杂，现有的敏感数据的隐私保护是否能够满足大数据复杂的数据信息也是应该考虑的安全问题。

　　(三)大数据传输过程中的安全隐患

　　数据生命周期安全问题。伴随着大数据传输技术和应用的快速发展，在大数据传输生命周期的各个阶段、各个环节，越来越多的安全隐患逐渐暴露出来。比如，大数据传输环节，除了存在泄漏、篡改等风险外，还可能被数据流攻击者利用，数据在传播中可能出现逐步失真等。又如，大数据传输处理环节，除数据非授权使用和被破坏的风险外，由于大数据传输的异构、多源、关联等特点，即使多个数据集各自脱敏处理，数据集仍然存在因关联分析而造成个人信息泄漏的风险。

　　基础设施安全问题。作为大数据传输汇集的主要载体和基础设施，云计算为大数据传输提供了存储场所、访问通道、虚拟化的数据处理空间。因此，云平台中存储数据的安全问题也成为阻碍大数据传输发展的主要因素。

　　个人隐私安全问题。在现有隐私保护法规不健全、隐私保护技术不完善的条件下，互联网上的个人隐私泄露失去管控，微信、微博、QQ等社交软件掌握着用户的社会关系，监控系统记录着人们的聊天、上网、出行记录，网上支付、购物网站记录着人们的消费行为。但在大数据传输时代，人们面临的威胁不仅限于个人隐私泄露，还在于基于大数据传输对人的状态和行为的预测。近年来，国内多省社保系统个人信息泄露、12306账号信息泄露等大数据传输安全事件表明，大数据传输未被妥善处理会对用户隐私造成极大的侵害。因此，在大数据传输环境下，如何管理好数据，在保证数据使用效益的同时保护个人隐私，是大数据传输时代面临的巨大挑战之一。

　　(三)大数据的存储管理风险

　　大数据的数据类型和数据结构是传统数据不能比拟的，在大数据的存储平台上，数据量是非线性甚至是指数级的速度增长的，各种类型和各种结构的数据进行数据存储，势必会引发多种应用进程的并发且频繁无序的运行，极易造成数据存储错位和数据管理混乱，为大数据存储和后期的处理带来安全隐患。当前的数据存储管理系统，能否满足大数据背景下的海量数据的数据存储需求，还有待考验。不过，如果数据管理系统没有相应的安全机制升级，出现问题后则为时已晚。

　　二、大数据安全挑战

　　大数据安全虽仍继承传统数据安全保密性、完整性和可用性三个特性，但也有其特殊性，主要表现在以下两方面：

　　(一)个人隐私保护

　　以前数据是企业的资产，是在企业内部、局部的环境里使用，流动性不强，所以，数据的个人隐私表现不突出。但是到了互联网+时代，数据无处不在，各种数据积累起来后形成了多元数据关联，不法分子和别有用心的人可通过多元数据关联分析导致个人隐私信息泄露。怎样有效保护个人隐私是大数据安全面临的第一个重要问题。

　　(二)跨境数据流动

　　在现在这个时代，数据的流动很重要。全球性购物促销活动多个国家都参与其中，数据的跨境流动是大数据的一个特殊属性。在法律制度、数据服务外包、打击网络犯罪方面保护跨境数据的安全是很重要的。

　　所以，建立大数据安全标准体系框架时要对传统数据的采集、组织、存储、处理等生命周期各方面安全标准进行适用性分析,适合的接着采用，不适合的要修订，缺项的必须增加。

　　外部非授权人员对信息系统进行恶意入侵，非法访问隐私数据；数据具有易复制性，发生数据安全事件后，无法进行有效的追溯和审计；大数据有流动、共享的需求，大量数据的汇聚传输加大了数据泄露的风险。

　　(三)传统安全措施难以适配

　　大数据海量、多源、异构、动态的特征导致大数据系统存储结构复杂、开放性、分布式计算和高效精准的服务，这些特殊需求传统安全措施解决不了。

　　(四)平台安全机制亟待改进

　　以前我们用ORACLE数据库，到了大数据时代，大家基于hadoop体系结构。在hadoop体系结构里，用户的身份鉴别和授权访问等安全保障能力比较薄弱。同时开源hadoop的一些组件在使用时没有测试，里面可能存在漏洞和恶意代码，存在人家开的后门。

　　(五)应用访问控制愈加复杂

　　在数据库时代应用访问控制通过数据库的访问机制解决。每一个用户都要注册，注册完才能访问到数据库。但是到了大数据时代，存在大量未知的用户和大量未知的数据，有很多的用户不知道他的身份，虽然他注册了也不知道他是谁，所以预先设置角色和预先设置角色的权限都做不到。

面对这些隐患，提高信息安全意识。