赵广陆 - 博客园

2021年8月

摘要：目录 1 DStream 是什么2 DStream Operations2.1 函数概述2.2 转换函数：transform2.3... 阅读全文

posted @ 2021-08-26 23:35 赵广陆阅读(83) 评论(0) 推荐(0) 编辑

摘要：目录 1 官方案例运行2 编程实现2.1 StreamingContext2.2 编写代码2.3 Streaming 应用监控 ... 阅读全文

posted @ 2021-08-26 23:34 赵广陆阅读(68) 评论(0) 推荐(0) 编辑

摘要：目录 1 Streaming 应用场景2 Lambda 架构3 Streaming 计算模式4 SparkStreaming 计算... 阅读全文

posted @ 2021-08-26 23:34 赵广陆阅读(20) 评论(0) 推荐(0) 编辑

摘要：目录 1 数据源与格式2 加载/保存数据2.1 Load 加载数据2.1.1 获取SparkSession对象 2.2 Sav... 阅读全文

posted @ 2021-08-25 23:23 赵广陆阅读(59) 评论(0) 推荐(0) 编辑

摘要：目录 1 Spark SQL CLI2 ThriftServer JDBC/ODBC Server2.1 beeline 客户端2... 阅读全文

posted @ 2021-08-25 23:22 赵广陆阅读(90) 评论(0) 推荐(0) 编辑

摘要：目录 1 SparkSession 应用入口2 词频统计WordCount2.1 基于DSL编程2.2 基于SQL编程 3 数据... 阅读全文

posted @ 2021-08-25 23:22 赵广陆阅读(155) 评论(0) 推荐(0) 编辑

摘要：目录 1 Dataset 是什么2 对比DataFrame3 RDD、DF与DS转换4 面试题：如何理解RDD、DataFrame... 阅读全文

posted @ 2021-08-24 21:03 赵广陆阅读(220) 评论(0) 推荐(0) 编辑

摘要：目录 1 数据 ETL2 使用 SQL 分析3 使用 DSL 分析4 保存结果数据5 案例完整代码6 Shuffle 分区数目问题... 阅读全文

posted @ 2021-08-24 21:03 赵广陆阅读(895) 评论(0) 推荐(0) 编辑

摘要：目录 1 DataFrame是什么2 Schema 信息3 Row4 RDD转换DataFrame4.1 反射类型推断4.2 自定... 阅读全文

posted @ 2021-08-24 20:37 赵广陆阅读(84) 评论(0) 推荐(0) 编辑

摘要：目录 1 缓存函数2 缓存级别3 释放缓存4 何时缓存数据5 RDD Checkpoint 1 缓存函数在实际开发中某些RDD... 阅读全文

posted @ 2021-08-24 20:37 赵广陆阅读(80) 评论(0) 推荐(0) 编辑