Spark 算子
摘要：Spark的算子的分类 从大方向来说，Spark 算子大致可以分为以下两类: Transformation 变换/转换算子：这种变换并不触发提交作业，完成作业中间过程处理。Transformation 操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要等到有
阅读全文
posted @
2022-07-13 19:50
+1000
阅读(99)
推荐(0) 编辑
flume-day03 案例
摘要：使用案例 在使用之前，提供一个大致思想，使用Flume的过程是确定scource类型，channel类型和sink类型，编写conf文件并开启服务，在数据捕获端进行传入数据流入到目的地。 案例一、从控制台打入数据，在控制台显示 1、确定scource类型，channel类型和sink类型 确定的使用
阅读全文
posted @
2022-07-10 21:05
+1000
阅读(23)
推荐(0) 编辑
flume-day02 flume安装
摘要：Flume的安装(解压即安装) 1、上传至虚拟机，并解压 tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /usr/local/soft/ 在环境变量中增加如下命令，可以使用 soft 快速切换到 /usr/local/soft alias soft='cd /
阅读全文
posted @
2022-07-10 20:57
+1000
阅读(17)
推荐(0) 编辑
flume-day01 flume基本介绍
摘要：Flume架构 1.1 Hadoop业务开发流程 1.2 Flume概述 flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 支持在日志系统中定制各类数据发送方，用于收集数据; 同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能
阅读全文
posted @
2022-07-10 20:56
+1000
阅读(127)
推荐(0) 编辑
