摘要: 大数据计算的思想--RDD理解 基于hadoop或者spark进行大数据计算或分析,旨在构建方针数据分析环境,统一把分散的数据内容在不同节点进行并行计算,得到最后汇总结果。类似python处理dataframe表的过程,只不过这个dataframe表的内容是分散到不同机器上的,构成一张大表,基于这张大表的“pandas”命令进行统计分析,也就是通过把命令分发,计算各个数据局部特征之后,根据数据... 阅读全文
posted @ 2020-06-14 16:29 vivia~ 阅读(450) 评论(0) 推荐(0) 编辑