| | | |

2023年12月14日

摘要： Flink JobManager架构原理的核心是JobMaster和ResourceManager，其中JobMaster负责任务的调度和监控，ResourceManager负责集群资源的管理。JobMaster和ResourceManager之间通过RPC通信进行交互。JobMaster主要负责以阅读全文

posted @ 2023-12-14 22:35 zhangmingmingkjz 阅读(4) 评论(0) 推荐(0) 编辑

2023年12月13日

12.13日记

摘要：今天开始复习软件设计，先是UML的基础知识在UML中存在两种建模机制：静态建模机制和动态建模机制。当我们在实际的应用中使用面向对象的设计和分析方法时，一般遵循的步骤是：第一步，描述需求；这个步骤一般产生用例图。第二步，根据需求建立系统的静态模型，构造系统的结构；这个步骤产生：类图，对象图阅读全文

posted @ 2023-12-13 19:04 zhangmingmingkjz 阅读(9) 评论(0) 推荐(0) 编辑

2023年12月12日

12.12日记

摘要： def Get_Detail(Details_Url): Detail_Url = Base_Url + Details_Url One_Detail = requests.get(url=Detail_Url, headers=Headers) One_Detail_Html = One_Deta 阅读全文

posted @ 2023-12-12 15:11 zhangmingmingkjz 阅读(7) 评论(0) 推荐(0) 编辑

2023年12月11日

12.11日记

摘要：使用DataFrame有两个方式,分别是 SQL语法和DSL语法➢ SQL语法 1. 通过 "临时视图" 来使用,所以先创建视图 2. 通过 sparkSession对象执行sql进行数据查询 scala> df.createOrReplaceTempView("user") //创建临时视图 sc 阅读全文

posted @ 2023-12-11 23:14 zhangmingmingkjz 阅读(6) 评论(0) 推荐(0) 编辑

2023年12月10日

12.10日记

摘要：栈相对于是一个容器，而这个容器里包含的是一些元素（这些元素的数据类型可以整型、浮点型、字符型等）。同时，栈是保证元素后进先出关系的结构。例如，我们把几本书叠在一起，最上面的书也就是最后放上去的，我们要拿最下的面的书也只有先拿最上面的书，这满足了栈这种“后放先拿”的特性；又例如，做数学题时，遇到推导进阅读全文

posted @ 2023-12-10 20:00 zhangmingmingkjz 阅读(5) 评论(0) 推荐(0) 编辑

2023年12月9日

12.9日记

摘要： Sqoop 命令Sqoop 支持 HDFS 和 Hive 之外的其他导入目标。Sqoop 还可以将记录导入到 HBase 中的表中。参数名称参数含义--column-family <family> 设置导入的目标列族--hbase-create-table 如果指定，则创建缺少的 HBase 表- 阅读全文

posted @ 2023-12-09 21:15 zhangmingmingkjz 阅读(5) 评论(0) 推荐(0) 编辑

2023年12月8日

12.8日记

摘要： RabbitMQ 是一个开源的消息代理软件，它实现了高级消息队列协议（AMQP）标准。它的官方客户端提供了多种编程语言的接口，包括 Python、Java 和 Ruby 等。它支持消息的持久化、多种交换机类型、消息通知机制、灵活的路由和安全机制等。二、RabbitMQ 工作原理RabbitMQ 是由阅读全文

posted @ 2023-12-08 21:24 zhangmingmingkjz 阅读(7) 评论(0) 推荐(0) 编辑

2023年12月7日

12.7UML图总结

摘要：今天老师布置了UML的类图，用例图，活动图，时序图等，总结了以下内容。类图（Class Diagram）是面向对象系统建模中最常用和最重要的图，是定义其它图的基础。主要是用来显示系统中的类、接口以及它们之间的静态结构和关系的一种静态模型，是唯一的可以直接映射到面向对象语言的图。类图的绘制主要包括类阅读全文

posted @ 2023-12-07 18:11 zhangmingmingkjz 阅读(32) 评论(0) 推荐(0) 编辑

2023年12月6日

12.6日记

摘要： JFinal 是一款基于 Java 语言的轻量级、高性能的 MVC 框架，它在功能上延续了传统的 Java Web 开发框架的优点，同时也具有简洁的设计和强大的扩展性。以下是 JFinal 框架的主要功能和特点： MVC 架构： JFinal 遵循经典的 MVC（Model-View-Control 阅读全文

posted @ 2023-12-06 12:11 zhangmingmingkjz 阅读(6) 评论(0) 推荐(0) 编辑

2023年12月5日

12.5日记

摘要：普通创建：hadoop fs -mkdir /xiaolin递归创建：hadoop fs -mkdir -p /xiaolin/xiaoyin2）从本地剪切文件粘贴到 HDFS 上（-moveFromLocal）mkdir xuan.txthadoop fs -moveFromLocal xuan. 阅读全文

posted @ 2023-12-05 20:15 zhangmingmingkjz 阅读(4) 评论(0) 推荐(0) 编辑

搜索

常用链接

我的标签

随笔档案

阅读排行榜

推荐排行榜