了解大数据的特点、来源与数据呈现方式
1.分析所采用数据的来源有哪些?
(1)交易数据。包括POS机数据、信用卡刷卡数据、电子商务数据、互联网点击数据、“企业资源规划”(ERP)系统数据、销售系统数据、客户关系管理(CRM)系统数据、公司的生产数据、库存数据、订单数据、供应链数据等。
(2)移动通信数据。能够上网的智能手机等移动设备越来越普遍。移动通信设备记录的数据量和数据的立体完整度,常常优于各家互联网公司掌握的数据。移动设备上的软件能够追踪和沟通无数事件,从运用软件储存的交易数据(如搜索产品的记录事件)到个人信息资料或状态报告事件(如地点变更即报告一个新的地理编码)等。
(3)人为数据。人为数据包括电子邮件、文档、图片、音频、视频,以及通过微信、博客、推特、维基、脸书、Linkedin等社交媒体产生的数据流。这些数据大多数为非结构性数据,需要用文本分析功能进行分析。
(4)机器和传感器数据。来自感应器、量表和其他设施的数据、定位/GPS系统数据等。这包括功能设备会创建或生成的数据,例如智能温度控制器、智能电表、工厂机器和连接互联网的家用电器的数据。来自新兴的物联网(Io T)的数据是机器和传感器所产生的数据的例子之一。来自物联网的数据可以用于构建分析模型,连续监测预测性行为(如当传感器值表示有问题时进行识别),提供规定的指令(如警示技术人员在真正出问题之前检查设备)等。
2.大数据的呈现方式有哪些?
(1)将指标数值化 (2)将指标图形化 (3)将指标关系图形化 (4)将时间和空间可视化 (5)将数据进行概念转换
3.大数据的特点是什么?对思维方式有何影响?
(1)大数据的特点:
1、数据量大
人类社会产生的数据每两年就增加一倍——“大数据摩尔定律”。
2、数据类型繁多
大数据的数据类型丰富,包括结构化数据和非结构化数据,其中,结构化数据占10%左右,主要是指存储在关系数据库中的数据;后者占90%左右,种类繁多,主要包括邮件、音频、视频、微信、微博、位置信息、链接信息、手机呼叫信息、网络日志等。
3、处理速度快
数据处理和分析的速度通常要达到秒级响应。
4、价值密度低
在大数据时代,很多有价值的信息都是分散在数据海量中的。譬如监控视频,平时可能没有什么作用,但当发生盗窃事件时,只有记录了案发时刻的那一段视频是有用的。
(2)大数据对思维方式的影响:
(1)人们处理的数据从单一样本数据变成全量数据(全样本数据);
(2)由于是海量数据和全样本数据,人们不得不接受数据的混杂性,而放弃对精确性的追求;
(3)人类通过对大数据的处理,放弃对因果关系的渴求,转而关注相关性关系(即数据的关联性关系)。
简单的输入输出编程练习(设计完成一个Mad Libs游戏)
>>> name1=input('请输入第一个名字;')
请输入第一个名字;mark
>>> name2=input('请输入第二个名字;')
请输入第二个名字;pp
>>> vehicle=input('请输入一种发型;')
请输入一种发型;光头
>>> print('{}看到了榕树头下的理发店,然后进去试一下师傅的水平,结果剪了个{},然后{}笑的不行'.format(name1,vehicle,name2))
英俊帅气的mark看到了理发店,然后进去剪发,结果剪了个光头,然后pp笑的不行
>>>