摘要:
spark学习day2 数据处理就是这样一个特别有挑战性的任务,单台机器没有足够强大的计算能力和计算资源来执行处理这些大量的数据(或者用户没有足够耐心等待计算结束)。 一个集群或一组计算机将许多机器的资源集中在一起,使我们能够像使用单台计算机一样使用这些资源。 但是如果一群机器没有协调机制,那么这些 阅读全文
摘要:
spark学习day1安装 设计哲学 统一平台 Spark 通过统一计算引擎和利用一套统一的 API,支持广泛的数据分析任务,从简单的数据加载,到 SQL 查询,再到机器学习和流式计算。 这一目标背后的驱动原因是,真实世界的数据分析任务都结合了许多不同的处理类型和软件库,不论是 Jupyter No 阅读全文