数据处理分析中的性能技巧
数据处理和分析是一个大数据系统的核心。像聚合,预测,聚集,和其它这样的逻辑操作都需要在这一步完成。
需要注意的是大数据系统架构有两个组成部分,实时数据流处理和批量数据处理。本节涵盖数据处理的各个方面。
在细节评估和数据格式和模型后选择适当的数据处理框架。其中一些框架适用于批量数据处理,而另外一些适用于实时数据处理。同样一些框架使用内存模式,另外一些是基于磁盘io处理模式。有些框架擅长高度并行计算,这样能够大大提高数据效率。基于内存的框架性能明显优于基于磁盘io的框架,但是同时成本也可想而知。
概括地说,当务之急是选择一个能够满足需求的框架。否则就有可能既无法满足功能需求也无法满足非功能需求,当然也包括性能需求。
一些这些框架将数据划分成较小的块。这些小数据块由各个作业独立处理。协调器管理所有这些独立的子作业?在数据分块是需要当心。
该数据快越小,就会产生越多的作业,这样就会增加系统初始化作业和清理作业的负担。如果数据快太大,数据传输可能需要很长时间才能完成。这也可能导致资源利用不均衡,长时间在一台服务器上运行一个大作业,而其他服务器就会等待。不要忘了查看一个任务的作业总数。在必要时调整这个参数。最好实时监控数据块的传输。在本机机型io的效率会更高,这么做也会带来一个副作用就是需要将数据块的冗余参数提高(一般hadoop默认是3份)这样又会反作用使得系统性能下降。
此外,实时数据流需要与批量数据处理的结果进行合并。设计系统时尽量减少对其他作业的影响。
大多数情况下同一数据集需要经过多次计算。这种情况可能是由于数据抓取等初始步骤就有报错,或者某些业务流程发生变化,值得一提的是旧数据也是如此。设计系统时需要注意这个地方的容错。
这意味着你可能需要存储原始数据的时间较长,因此需要更多的存储。
紫云(深圳)软件有限公司
云数据时代引领者
微信:Chizcloud
微博:http://weibo.com/Chizcloud
官网:http://www.chizcloud.com/