2020年10月20日
2.spark structured streaming编程基本概念
摘要： ##1. 引言 接下来从使用spark structured streaming的示例等各个方面分析，spark提供了什么接口给我们使用以深入探究spark帮我们做了什么？ ##2. 示例代码 ```java //1.配置应用名称、参数等 SparkSession spark = SparkSess 阅读全文
posted @ 2020-10-20 21:56 zbandtyy 阅读(231) 评论(0) 推荐(0)
1.Spark概念初步了解
摘要： 引言 假设一个任务，有海量数据（1亿M、1亿G，1亿PB....）n台主机，想要利用所有的资源尽快的统计或者处理全部的数据，我们需要干什么？ 1. 设计数据处理的算法 2. 把该算法分派到各个主机上执行（要考虑到主机的资源情况、负载平衡、安全、服务宕机....） 3. 各个主机自行读取数据，执行任务 阅读全文
posted @ 2020-10-20 18:37 zbandtyy 阅读(79) 评论(0) 推荐(0)