第一次作业
1.为什么产生大数据技术?
随着互联网时代的发展以及人们生活方方面面的交流需求,每天的信息和数据产量膨胀式增长,以往的技术已不能满足当下发展的要求。但是这些数据之间,有着我们所不知道的关联,这时候我们就需要大数据技术来对大数据进行计算、处理、分析。
2.为什么要学习大数据技术?
随着互联网技术和云技术的日渐成熟,获取数据的方式以及数据量越来越可靠。通过大数据技术,我们每天可以获取到大量的有效数据。如何让这些数据产生价值,就需要通过大数据技术将复杂多样的数据制作成为有意义的数据报告。
(1)大数据的特点奠定了他的地位:①数据类型繁多②处理速度快③价值密度低
(2)大数据对科学研究产生影响,使得实验条件得以拓展,能够完成更多对自然现象更精确的理解,在很大程度上推动了人类社会发展的进步
(3)大数据决策成为一种新的决策方式,大数据应用促进信息技术与各行业的深度融合,大数据推动新技术和新应用的不断涌现
(4)时代发展越来越离不开大数据,就业市场对大数据人才的需求越发旺盛
3.简述大数据、云计算、物联网、区块链和人工智能的概念和相互关系。
物联网:物联网是由智能设备组成的网络,可在它们之间收集和交换数据。到2020年,已连接设备的数量将达到307亿台,到2025年将达到754亿台。这将每小时创造出数以万计的数据。您将如何处理如此庞大的数据?这里谈到了大数据
大数据:大数据是一个庞大或 复杂的数据集的术语。Hadoop不是一 种数据库,而是一种软件生态系统。因此,使用大数据,我们可以管理从物联网设备和其他来源获得的海量数据。但是,您将如何应对扩展并迅速增加数量,集中化和基础架构的问题?这里谈到云计算。
云计算:云计算为集中式平台提供了使用共享基础架构从世界任何地方访问数据的能力。因此,您可以节省很多钱。好。现在,一切都可以无缝进行。但是,您将如何处理这些成千.上万的数据? Al来了
AI:人工智能可以使用这些数据并从这些数据中学习。它将根据数万亿数据预测或做出决策。因此,我们可以获得常规信息,并根据过去预测未来。AI有很多优惠。因此,当我们一起使用所有技术来创造更美好的未来时,真正的力量才会来临。
4.用图表和简单的文字简要描述大数据的发展前景和就业趋势,并谈谈你的看法。
由图表可知,大数据人员的薪资是较为可观的,同时社会对大数据人才的需求也是十分旺盛的。而可供大数据人才选择的就业方向也是多种多样的,如
(1)大数据维护、研发、架构工程师方向,所涉及的职业岗位为:大数据工程师、大数据维护工程师、大数据研发工程师、大数据架构师等;
问题:
1)、数据收集时带来的风险:在大数据环境中,可以通过用户的网址搜索记录、手机上网记录、淘宝购物记录等信息来获取用户的信息,如兴趣爱好、日常生活等。但是,这些数据的收集其实都是在用户未知的情况下进行的,用户是不清楚自己的这些信息是被用于哪些用途,亦或是谁用了这些信息,也不清楚这些信息泄露以后是由谁来负责。因此,在这样的情况下,用户的个人信息隐私安全是非常危险的。
2)、安全漏洞多,数据泄露风险大:部分大型公司的安全漏洞比较多,而且这些公司也可能会存在对用户数据的违规使用,其安全协议过于宽松。因此,一旦泄露,就非常危险,因为不少公司掌握的用户数据不仅仅是一个号码一个地址那么简单,而是可能是*信息。
3)、在数据分析和挖掘的时候,可能会分析出用户的隐私信息,匿名就再无作用:在分析与挖掘有价值的信息时,很大可能会分析出用户的隐私信息,不但有泄露隐私的风险,同时也可能导致隐私保护的方法失效,例如匿名。
4)、无意识歧视:其实这样的情况目前已经非常普遍,当你申请贷款、工作招聘等时候,决策者非常依赖大数据来帮助他们做出决定,因此很可能会出现无意识地根据种族、性别或者年龄筛选,出现歧视的情况。
5)、数据相互融合能够推理出个人所有的敏感信息:数据的融合使多个数据融合在一体,从而识别出相应的实体。通常从一些非常简单的数据收集,如用户的购物记录、网上搜索记录等。
确保个人信息安全,营造干净、清洁的互联网环境,需要用户、软件开发商、平台运营方、相关监管部门共同参与,善意配合,积极推动。