大数据

1.了解微信、微博、小视频每天产生的数据量与数据类型。

     微信数据显示,每个月有10.825亿位用户保持活跃,每个月有6300万位55岁以上的用户保持活跃。此外,每天有450亿次信息发送出,有4.1亿次音视频呼叫成功。其中,视频通话用户比三年前多了570%,随时随地“微信见面”,成为一种日常。类型是String类型.

2.选择一个你感兴趣的领域应用数据思维进行分析决策的案例。

      电子商务网站流量分析

网站流量分析,是指在获得网站访问量基本数据的情况下对有关数据进行的统计和分析,其常用手段就是Web挖掘。Web挖掘可以通过对流量的分析,帮助我们了解Web上的用户访问模式。那么了解用户访问模式有哪些好处呢?

在技术架构上,我们可以合理修改网站结构及适度分配资源,构建后台服务器群组,比如辅助改进网络的拓扑设计,提高性能,在有高度相关性的节点之间安排快速有效的访问路径等。

帮助企业更好地设计网站主页和安排网页内容。
帮助企业改善市场营销决策,如把广告放在适当的Web页面上。
帮助企业更好地根据客户的兴趣来安排内容。
帮助企业对客户群进行细分,针对不同客户制定个性化的促销策略等。

人们在访问某网站的同时,便提供了个人对网站内容的反馈信息:点击了哪一个链接,在哪个网页停留时间最多,采用了哪个搜索项、总体浏览时间等。而所有这些信息都被保存在网站日志中。从保存的信息来看,网站虽然拥有了大量的网站访客及其访问内容的信息,但拥有了这些信息却不等于能够充分利用这些信息。

那么如果将这些数据转换到数据仓库中呢?这些带有大量信息的数据借助数据仓库报告系统(一般称作在线分析处理系统),虽然能给出可直接观察到的和相对简单直接的信息,却也不能告诉网站其信息模式及怎样对其进行处理,而且它一般不能分析复杂信息。所以对于这些相对复杂的信息或是不那么直观的问题,我们就只能通过数据挖掘技术来解决,即通过机器学习算法,找到数据库中的隐含模式,报告结果或按照结果执行。为了让电子商务网站能够充分应用数据挖掘技术,我们需要采集更加全面的数据,采集的数据越全面,分析就能越精准。在实际操作中,有以下几个方面的数据可以被采集:

访客的系统属性特征。比如所采用的操作系统、浏览器、域名和访问速度等。

访问特征。包括停留时间、点击的URL等。
条款特征。包括网络内容信息类型、内容分类和来访URL等。
产品特征。包括所访问的产品编号、产品目录、产品颜色、产品价格、产品利润、产品数量和特价等级等。

当访客访问该网站时,以上有关此访客的数据信息便会逐渐被积累起来,那么我们就可以通过这些积累而成的数据信息整理出与这个访客有关的信息以供网站使用。可以整理成型的信息大致可以分为以下几个方面:

访客的购买历史以及广告点击历史。
访客点击的超链接的历史信息。
访客的总链接机会(提供给访客的超级链接)。
访客总的访问时间。
访客所浏览的全部网页。
访客每次会话的产出利润。
访客每个月的访问次数及上一次的访问时间等。
访客对于商标总体正面或负面的评价。

3.大数据 人工智能 云计算 物联网 区块链的概念及相互关系。

大数据:大数据是一种规模大到在获取、管理、分析方面大大超出传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。如果将大数据比作一个产业,那么这种产业实现盈利的关键在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。

人工智能:人工智能英文缩写为AI,它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分枝,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。它是对人的意识、思维的信息过程的模拟,人工智能不是人的智能,但能像人那样思考、也可能超过人的智能。

云计算:云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问,进入可配置的计算资源共享池(资源包括网络、服务器、存储、应用软件、服务),这些资源能够快速提供,只需投入很少的管理工作,或与服务商进行很少的交互。

物联网:物联网在之前被定义为通过射频识别(RFID)、红外线感应器、全球定位系统、激光扫描器、气体感应器等信息传感设备按约定的协议把任何物品与互联网连接起来进行信息交换,以实现智能化识别、定位、跟踪、监控和管理的一种网络,简言之物联网就是“物物相连的互联网”。

区块链:区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链在国际汇兑、信用证、股权登记和证券交易所等金融领域有着潜在的巨大应用价值

关系:

首先,大数据是物联网和云计算发展到一定阶段的必然结果,物联网为大数据提供了大部分的数据来源,而云计算则为大数据提供了支撑平台。

大数据又是人工智能的重要基础,人工智能需要通过大数据完成学习和决策的过程。从整个智能系统的体系结构来看,物联网是触角,云计算是支撑平台,大数据提供数据分析,人工智能完成最终的决策。

区块链技术未来与大数据技术的结合应用将会带来一系列重要的改变,区块链技术本身就是一种数据存储方式,而且区块链存取的数据具有较强的安全性和防篡改特性,大数据与区块链的结合还能解决数据价值化过程中的“确权”问题和流通问题,可以说未来大数据与区块链的结合将更加紧密。

4.大数据的职业前景。

   大数据作为一门基础科学,无论在数据开发及分析、物联网和人工智能算法训练领域,都有着核心技术和职位诉求,主要来说的话,当下,大数据方面的就业主要有三大方向:一是数据分析类大数据人才,二是系统研发类大数据人才,三是应用开发类大数据人才。Hadoop开发,可视化工具开发,信息架构开发,数据仓库研究,数据科学研究,数据预测分析,企业数据管理,数据安全研究。

posted @ 2020-09-11 11:28  小王子C  阅读(222)  评论(0编辑  收藏  举报