数据可视化之美(Beautiful Visualization) Julie Steele & Noah Iliinsky
来实验室近两年,涉猎了web前端、web服务、数据库、数据挖掘、云计算等多个方面的内容,但觉得最有意思的要数可视化了。可视化本身就跟人一种美的感受,01世界的美丽是常人难于理解的,可视化恰恰就作为了一个桥梁,在人与计算机之间牵起了红线。在做个人研究的间隙,常常会找一些不太费脑细胞的书籍翻一翻,由此,《数学之美》、《浪潮之巅》这些书常常摆在书堆的最上面。《数据可视化之美》这本书借了许久,由于是小组内一同门研究领域内的部分,所以长期寄养在她处。前几日发现归还日期将至,才想起要翻上一番,竟激起了我继续阅读的兴趣。前几日看到newyork times 一个信息传播的可视化视频,觉得非常的了不起,恰巧第16章为纽约时报的一天,所以就从这一章读起吧。
整个章节的内容就是围绕“发现访问纽约时报网站和手机站点的访问量的特点”展开的。文中提到两个开源项目,processing和hadoop,前者用于可视化,后者用于大数据的后台处理,具体内容请自行查阅。纽约时报网站每日产生的日志文件肯定是海量的,但在章节开始时,并没有提到如何做优化,而是做一个可用的粗略系统。我非常欣赏这种方式,不管性能好坏,先构建一个原型,再一点点优化和丰满(说到这里,不由得想到了当年数模竞赛的时候也是这个样子,取得的成绩还不错)。数据分析和挖掘必须得有数据,纽约时报技术组(以下用N表示)的数据包括:
1、24小时内,用户每次访问站点的时间戳;
2、用户的所处位置的经度和纬度(这个数据log里面没有,但可以根据IP查地理坐标,N是使用的商业数据库,进行这项转换)
有了数据,就要对数据先进行预处理。这里就包括把不需要的数据项剔除,根据IP添加经纬度。这种预处理工作就可以使用Hadoop做。
每一次访问作为一个点在页面中绘制。
将经纬度坐标转换为屏幕坐标。
具体业务就不罗列了,基本就是在时间和空间两个维度展开。
优化:
将同一个时间段内需要绘制点按照所属城市进行汇总,根据统计值绘制一个圆,表示该时间段内访问量的多少。这样可以大大减少前端展示的数据量,降低了渲染过程和数据传输量。
为了反映时间维度上的差异,N团队制作了一个3分钟的视频反映24小时内各地区访问量的变化。
读过该章节,让我想到了腾讯的QQ在线人数地图。是否采用相同的技术呢?这个不得而知,但是可以确定的是,我们所看到的都是一些渲染好的图片,类似于PNG格式。都是在后台处理好在作为整体发送到web端。