dγèащ

导航

大数据技术原理与应用

一、为什么会产生大数据技术?

  维基百科中指出,大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间限制的数据集。对于大数据的定义很多学者从不同的角度进行了阐述,但是表达的意思大致相同,即大数据从根本上说是一种数据集,并且大数据的特性可以通过与以往的数据管理分析技术相比较来显示。在不同的要求中,大数据的时间处理范围是不同的,而且大数据的价值并不是数据自身,而是大数据带来的思维的变革。大数据技术的产生主要有以下四点:

1、大数据的产生具有时间上的连续性。以往的数据都是与一定的运营活动相伴出现的,并且需要进行专门的存储阶段。这个时期的数据是被动产生的,这些数据是运营式的传统数据。但是在大数据时代,随着计算机技术、云计算存储技术和自媒体技术的迅猛发展,大量的数据会通过移动终端和网络终端即时存储,这个阶段的数据呈现出自发性和主动性。数据的这个发展过程中慢慢脱离了人类主动存储的活动,打破了以往的时间限制,可以自发地、不中断地产生数据。

2、大数据的产生不受地域的约束。大数据在各个领域中相继兴起,首先是互联网、金融及 IT 行业等虚拟行业的数据爆炸,随后延续到教育、科研以及物联网等实际领域当中。当然,产生大数据的行业并不仅仅局限于此,大数据完全占据了我们生活的方方面面,我们可以想象到的各个领域都在产生着大数据。比如考生的成绩、个人身份信息;商场的购买物品以及会员信息;网络运营商中存储着的手机信息和通话记录等,只要有生活的痕迹,都会形成数据。因此大数据的形成建立在地域限制性不断减小的基础上。

3、在人物方面,大数据的产生是人、机、物协同作用的结果。在数据不断发展过程中,数据的主体从以往的具有主体性的人慢慢演变为人机物三者以及三者的统一体。首先,人类的生产活动和生存活动都会产生大量的数据。其次,信息系统本身也产生大量的数据,这些数据以文件、图片、视频等形式存在,比如文件的复制和数据备份都属于这类数据,这部分系统本身的数据基数很大,不应该被我们忽视。

4、我们生活中的各类物品也会产生数据,比如各种地理信息采集设备、传感器和摄像头等数据采集设备,这些物品虽然是由人类生产制造出来的,但是一经成型便成为世界中的独立存在物。这人机物三者的相互作用是大数据产生的根本原因。

 

二、为什么要学习大数据技术?

1.技术价值

  大数据在根本上与数学、统计学、计算机学、数据学等基本理论知识无法分割,技术水平突飞猛进给数字领域带来最直接的跃进。App研发应用、数据库编写应用等促进人类社会技术进步的价值都来源于大数据的发明和运营。

2.商业价值

  单就运营而论,数据作为一种度量方式,能够真实的反映运营状况,帮助企业进一步了解产品、了解用户、了解渠道进而优化运营策略是其快速发展的根本动因。

3.行业价值

  “公开市场门”即客户在一个开放市场中的各种行为数据,大部分其实不直接与特定企业行业相关,但它能够很大程度地引导企业各种业务的开展方向,为整个行业的走向提供社会趋向指导。

例如微信微博流量、区域偏好、移动数据、娱乐项目偏好等等数据,它能够勾勒客户的个人心理画像,展现行业发展在市场反馈中体现的影响,和人们的态度趋向。

4.社会价值

  现在快节奏的生产生活下,人们追求的是事物的结果和办事的效率。而现在获取各种海量信息已经成为特别轻松的事。用户的各种购买消费信息,行为习惯信息,就诊信息以及个性需求信息都随着大数据技术的开发可以轻松获取。大数据为人的生活带来的不仅只是便利,还有紧密的生活服务网络,将来为人们的出行、就医、上学等服务时,我们将进入新的时代。通过上边的分析,希望大家对于大数据有更多更深入的了解,通过大数据培训的学员和自学的学员,对于大数据能够更多的了解他的价值所在,方便自己以后工作。

5、个人价值

  对于不是技术出身的人来说,深入学习的不是如何获取数据或者是如何进行构架,而注重的是让数据服务自己,提高商业竞争力,掌握业务动向。所以掌握一款数据分析的语言,增强数据分析知识结构可以让人高效地提高业务水平。

对于技术人员来说,深入学习大数据知识,不仅对可以提高自己的实力,还有助于就业。在我国大数据人才紧缺,且薪资高。技术是未来光明前程的敲门砖。

 

三.简述大数据、云计算、物联网、区块链和人工智能的概念和相互关系。

概念:

①大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。具有数据量大、数据类型繁多、处理速度快和价值密度低的四大特征。

②云计算包括公有云、私有云和混合云3种类型。实现了通过网络提供可伸缩的、廉价的分布式计算能力,用户只需要在具备网络接入条件的地方,就可以随时随地获得所需的各种IT资源。

③物联网即物物相连的互联网,是互联网的延伸,它利用局部网络或互联网等通信技术把传感器、控制器、计算机、人员和物等通过新的方式连在一起,形成人与物、物与物相连,实现信息化和远程管理控制。

④区块链是指一个分布式可共享的、通过共识机制可信的、每个参与者都可以检查的公开账本,但是没有一个中心化的单一用户可以对它进行控制,它只能够按照严格的规则和公开的协议进行修订。具体去中心化、去信任、时间戳、非对称性、智能合约五个特征。

 

相互关系:

  大数据与物联网、人工智能、云计算、区块链息息相关。物联网为大数据提供了数据来源,云计算则为大数据提供了支撑平台,通过云计算计算和存储数据。大数据又是人工智能的重要基础,人工智能需要通过大数据完成学习和决策的过程。从整个智能系统的体系结构来看,物联网是触角,云计算是支撑平台,大数据提供数据分析,人工智能完成最终的决策。而区块链技术为传输和存取数据提供了安全性和防篡改特性。

 

 

四、用图表和简单的文字简要描述大数据的发展前景和就业趋势,并谈谈你的看法。

  首先,大数据被誉为“21世纪的新石油”,是国家战略性资产,是21 世纪的“钻石矿”。人工智能是势不可挡的发展趋势,大数据技术又是人工智能的重要支撑。大数据科学将成为引领人工智能技术、物联网应用、计算机科学、数字经济及商业发展的核心。所以大数据的发展前景十分可观。

  其次,大数据专业门槛比较高,数据科学与大数据技术人才是高级的复合型人才,他与传统的计算机专业还不太一样,单纯会计算机相关知识还不够,还需要具备多个领域的知识。所以说,必须要相关专业的毕业生才有可能从事相关工作。因此该专业的缺口很大,需求量非常大。根据LinkedIn(领英)发布的《2016年中国互联网最热职位人才报告》显示,研发工程师、产品经理、人力资源、市场营销、运营和数据分析是当下中国互联网行业需求最旺盛的六类人才职位。其中数据分析人才最为稀缺、供给指数最低。同时,数据分析人才跳槽速度也最快,平均跳槽速度为19.8个月。未来3-5年,中国需要180万数据人才,但目前只有约30万人。

大数据行业整体市场规模及预测。

企业哪些方面需要大数据?

多少企业应用到了大数据?

 

五、大数据可能带来什么样的问题?如何应对这些隐患?

弊端:

①大数据在落地应用的过程中,潜在的问题涉及到数据收集和泄露问题。数据泄露不仅会侵犯个人的隐私,甚至会泄露企业的核心技术。互联网服务提供商监视着我们的隐私,购物应用监视着我们的购物习惯,搜索引擎监视着我们的网页浏览习惯,社交软件监视着我们的社会关系,理财产品监视着我们的财富,若被不法分子收集到了我们的信息这将会是一场灾难。

②数据收集来源和手段的风险,数据存储管理的风险,数据分析建模错误或无效的风险,使用目的的风险。

③社会安全问题

④国家安全利益。网络安全信息、问题严重性、迫切性在很大程度上已经远远超过其他的传统安全,当今主权国家所面临的所有非传统安全威胁总是面临着沧海一粟的困境。

 

应对方法:

数据泄露现象已经成为一种网络顽疾,需要从个人、企业、法律法规等多方面协同配合,进行防御管理。

①从个人角度来说,我们在使用个人计算机等智能设备时,也应增强防护意识,从正规渠道下载软件或应用;安装新软件、新应用时充分了解授权要求,保护个人权益。在使用软件时可以训练手机,为己所用,带来有价值的东西,软件用完即删等。

②从企业角度来说,企业应该加强网络安全保护,从根本上重视数据传输安全,部署SSL证书是就是一个重要的手段,在一定程度上可以大大降低被HTTP网站数据泄露的概率。H由于HTTP传输信息没有被加密,传输过程中就给了他人窃取数据的机会,严重影响用户体验,降低了用户对于网站的信任感,对于网站、APP来说也不利于留住用户。

③从法律法规层面来说,相关部门应当继续强化电信和互联网用户个人信息保护监管工作,守护互联网健康环境。

posted on   dγèащ  阅读(1494)  评论(0编辑  收藏  举报

努力加载评论中...
点击右上角即可分享
微信分享提示