会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
vivia~
博客园
首页
新随笔
联系
订阅
管理
2020年6月14日
大数据计算的思想--RDD理解
摘要: 大数据计算的思想--RDD理解 基于hadoop或者spark进行大数据计算或分析,旨在构建方针数据分析环境,统一把分散的数据内容在不同节点进行并行计算,得到最后汇总结果。类似python处理dataframe表的过程,只不过这个dataframe表的内容是分散到不同机器上的,构成一张大表,基于这张大表的“pandas”命令进行统计分析,也就是通过把命令分发,计算各个数据局部特征之后,根据数据...
阅读全文
posted @ 2020-06-14 16:29 vivia~
阅读(456)
评论(0)
推荐(0)
编辑
公告