了解大数据的特点、来源与数据呈现方式
1.浏览2019春节各种大数据分析报告,例如:
- 这世间,再无第二个国家有能力承载如此庞大的人流量。http://www.sohu.com/a/290025769_313993
- 春节人口迁徙大数据报告!http://www.sohu.com/a/293854116_679156
- 春节大数据:消费首破万亿 最佳伴手礼竟是教辅书?
- http://news.163.com/19/0211/19/E7OPDBBU0001899N.html
- 大数据中的春节http://www.xinhuanet.com/politics/2019-02/13/c_1124110671.htm
- 春节年味大数据都有啥 90后年味就是抢红包http://news.zol.com.cn/708/7087625.html
- 春节大数据出炉
- http://www.sohu.com/a/223982938_100012490
- 2019年微信春节大数据:收发红包人数超8亿
- http://www.hnbstx.com/zixun/caijingzawen/20190212/124158.html
2.分析所采用数据的来源有哪些?
大数据的数据有多种来源,包括公司或机构的内部来源和外部来源。数据来源可分为五大类。
1) 交易数据 包括 POS 机数据、信用卡刷卡数据、电子商务数据等等。
2) 移动通信数据。移动设备上的软件能够追踪和沟通无数事件,从运用软件储存的交易数据 (如搜索产品的记录事件) 到个人信息资料或状态报告事件 (如地点变更即报告一个新的地理编码) 等。
3) 人为数据。人为数据包括电子邮件、文档、图片、音频、视频,以及通过微信、博客、推特、维基、脸书、Linkedin 等社交媒体产生的数据流。
4) 机器和传感器数据。来自感应器、量表和其他设施的数据、定位/ GPS 系统数据等。这包括功能设备会创建或生成的数据。
5) 互联网上的“开放数据”来源,如政府机构,非营利组织和企业免费提供的数据。
3.大数据的呈现方式有哪些?
通常用的数据结果的呈现方式有条状图、box框线图、饼状图和线状图等。
4.大数据的特点是什么?对思维方式有何影响?
(1)数据体量巨大:从TB级别,跃升到PB级别。
(2)数据类型繁多:各种网络日志、视频、图片、地理位置信息等等。
(3)价值密度低:以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒。
(4)处理速度快:1秒定律,这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器,无一不是数据来源或者承载的方式。
5.准备python编程环境
下载安装
https://www.jetbrains.com/pycharm/download/#section=windows
基础学习
廖雪峰https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000
菜鸟教程http://www.runoob.com/python3/python3-tutorial.html
6.简单的输入输出编程练习