02 2021 档案

HDFS名称节点工作过程
摘要：一、名称节点（NameNode） 1.什么是名称节点 在HDFS中，名称节点负责管理分布式文件系统的命名空间（Namespace），保存了两个核心的数据结构-FsImage和EditLog。 FsImage：用于维护文件系统树以及文件树中所有的文件和文件夹的元数据。 EditLog：中记录所有针对文 阅读全文
posted @ 2021-02-15 15:24 Rango_lhl 阅读(1257) 评论(0) 推荐(0) 编辑
HDFS读写过程-从类调用角度
摘要：一、HDFS相关类说明 FileSystem：通用文件系统的抽象基类，可以被分布式文件系统继承，所有可能使用Hadoop文件系统的代码都要使用到这个类。 DistributedFileSystem：Hadoop为FileSystem这个抽象类提供了多种具体的实现，DistributedFileSys 阅读全文
posted @ 2021-02-14 22:32 Rango_lhl 阅读(245) 评论(0) 推荐(0) 编辑
Spark+Kafka实时监控Oracle数据预警
摘要：目标： 监控Oracle某张记录表，有新增数据则获取表数据，并推送到微信企业。 流程： Kafka实时监控Oracle指定表，获取该表操作信息（日志），使用Spark Structured Streaming消费Kafka，获取数据后清洗后存入指定目录，Python实时监控该目录，提取文本里面数据并 阅读全文
posted @ 2021-02-03 19:06 Rango_lhl 阅读(874) 评论(0) 推荐(0) 编辑