阿飞藏泪 - 博客园

2024年1月24日

DataFrame的代码构建 - 基于RDD方式3

摘要：阅读全文

posted @ 2024-01-24 18:04 阿飞藏泪阅读(3) 评论(0) 推荐(0) 编辑

DataFrame的代码构建 - 基于RDD方式2

摘要：将RDD转换为DataFrame方式2：通过StructType对象来定义DataFrame的“表结构”转换RDD 阅读全文

posted @ 2024-01-24 18:01 阿飞藏泪阅读(3) 评论(0) 推荐(0) 编辑

2024年1月23日

DataFrame的代码构建 - 基于RDD方式1

摘要： DataFrame对象可以从RDD转换而来，都是分布式数据集,其实就是转换一下内部存储的结构，转换为二维表结构将RDD转换为DataFrame方式1：调用spark 通过SparkSession对象的createDataFrame方法来将RDD转换为DataFrame 这里只传入列名称，类型从R 阅读全文

posted @ 2024-01-23 20:18 阿飞藏泪阅读(4) 评论(0) 推荐(0) 编辑

DataFrame的组成

摘要：阅读全文

posted @ 2024-01-23 20:10 阿飞藏泪阅读(4) 评论(0) 推荐(0) 编辑

2024年1月22日

SparkSession对象

摘要：阅读全文

posted @ 2024-01-22 18:59 阿飞藏泪阅读(2) 评论(0) 推荐(0) 编辑

DataFrame概述

摘要：阅读全文

posted @ 2024-01-22 17:51 阿飞藏泪阅读(5) 评论(0) 推荐(0) 编辑

SparkSQL的数据抽象

摘要：阅读全文

posted @ 2024-01-22 17:37 阿飞藏泪阅读(2) 评论(0) 推荐(0) 编辑

SparkSQL和Hive的异同

摘要：阅读全文

posted @ 2024-01-22 17:34 阿飞藏泪阅读(4) 评论(0) 推荐(0) 编辑

2024年1月21日

Kettle

摘要： Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。 Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。 Kettle这个ETL工具集，它允许你管理来自不同阅读全文

posted @ 2024-01-21 16:53 阿飞藏泪阅读(10) 评论(0) 推荐(0) 编辑

Spark层级关系梳理

摘要：阅读全文

posted @ 2024-01-21 16:08 阿飞藏泪阅读(3) 评论(0) 推荐(0) 编辑

daitu66

公告