摘要：
分布式计算需要: • 分区控制 • Shuffle控制 • 数据存储\序列化\发送 • 数据计算API • 等一系列功能 这些功能, 不能简单的通过Python内置的本地集合对象(如 List\ 字典等)去完成. 我们在分布式框架中, 需要有一个统一的数据抽象对象, 来实现上述分布式计算所需功能. 阅读全文
|
摘要：
分布式计算需要: • 分区控制 • Shuffle控制 • 数据存储\序列化\发送 • 数据计算API • 等一系列功能 这些功能, 不能简单的通过Python内置的本地集合对象(如 List\ 字典等)去完成. 我们在分布式框架中, 需要有一个统一的数据抽象对象, 来实现上述分布式计算所需功能. 阅读全文
|