2020年10月14日
Spark开发-Spark内存溢出原因以及解决方式
摘要： Spark内存溢出- OutOfMemoryError memoryOverhead 阅读全文
posted @ 2020-10-14 20:10 辰令 阅读(11943) 评论(0) 推荐(0) 编辑
2020年10月9日
数据存储_HBase基本内容
摘要： 数据存储和交互Hbase 阅读全文
posted @ 2020-10-09 18:52 辰令 阅读(234) 评论(0) 推荐(0) 编辑
数据服务_基于SpringBoot提供数据服务
摘要： 数据服务，将数据的能力扩展出去，以更简单便捷的方式服务更多的人 阅读全文
posted @ 2020-10-09 18:51 辰令 阅读(453) 评论(0) 推荐(0) 编辑
2020年9月29日
Spark开发_Spark数据变换-透视(Pivot)
摘要： Spark中行列转换，数据透视(Pivot)，宽表和长表的变换 阅读全文
posted @ 2020-09-29 18:21 辰令 阅读(741) 评论(0) 推荐(0) 编辑
数据开发_Python解析sql提取表
摘要： Python解析sql提取表，提取表名 阅读全文
posted @ 2020-09-29 18:20 辰令 阅读(3195) 评论(0) 推荐(1) 编辑
2020年9月27日
数据开发-Python数据预处理案例
摘要： 通过实现SQL类似的功能，处理收集数据，数据预处理，数据计算汇总等流程，了解相应的数据处理流程和技术手段。 阅读全文
posted @ 2020-09-27 19:00 辰令 阅读(970) 评论(0) 推荐(0) 编辑
Spark开发-SparkUI查看metric和日志
摘要： 通过SparkUI来了解Spark执行的情况以及时间和空间的花费 阅读全文
posted @ 2020-09-27 18:58 辰令 阅读(1931) 评论(0) 推荐(0) 编辑
2020年9月22日
Spark开发-SparkSQL执行过程和SQL相关
摘要： SparkSQL执行过程 SparkSQL中的Join类型 阅读全文
posted @ 2020-09-22 19:58 辰令 阅读(1957) 评论(0) 推荐(0) 编辑
Flink开发-Flink的计算模型和接口
摘要： 数据输入 数据转换 数据输出 阅读全文
posted @ 2020-09-22 12:51 辰令 阅读(456) 评论(0) 推荐(0) 编辑
数据仓库-基本框架和内容
摘要： 维度建模 数据分层 数据分级 阅读全文
posted @ 2020-09-22 12:50 辰令 阅读(455) 评论(0) 推荐(0) 编辑