02 2025 档案
摘要：抽象和泛化在软件架构中的应用与实践 摘要： 随着软件系统规模的不断扩大和需求的多样化，架构设计中的抽象和泛化技术已成为提高系统灵活性、可重用性和可扩展性的关键手段。本文将从软件架构的角度出发，分析抽象和泛化在架构设计中的重要性及其实现方式。通过对常见设计模式和架构实践的探讨，本文总结了抽象和泛化如何
阅读全文
摘要：架构中的权衡——从复杂性到简洁性 在现代软件工程的世界里，架构设计是技术人员最为关注的核心话题之一。一个成功的架构，不仅需要满足当前的业务需求，还必须具备灵活应对未来变化的能力。然而，在架构设计的过程中，有许多复杂的因素需要考虑，尤其是各种不同目标之间的权衡。每一个决策的背后，都可能是多个优劣势的权
阅读全文
摘要：github常用指令 ①git init 进行git仓库的初始化 ②git add . git add . 的作用是将当前目录（包括子目录）下的所有修改、新增和删除的文件添加到 暂存区 ③git commit -m "注释" git commit -m "注释" 的作用是将 暂存区（staging
阅读全文
摘要：前提条件：已经注册了github账号并且下载了Git客户端 ①需要先在github上面创建一个新的仓库（repository） （1）点击头像，找到下面的”Your profile“ （2）创建一个仓库 （3）添加仓库 （4）创建好的效果图如下 ②初次使用git客户端，需要为Git客户端绑定用户名（
阅读全文
摘要：一、链接步骤 ①导入mysql依赖 1 import mysql.connector ②进行mysql的链接（mysql_conn 是 MySQL 连接对象，它表示与 MySQL 数据库建立的连接。） 1 mysql_conn = mysql.connector.connect( 2 host='l
阅读全文
摘要：初始化：git init 将所有代码提交到暂存区：git add -A 将暂存区文件提交到仓库：git commit -m “注释” 查看历史：git log --stat
阅读全文
摘要：tlias既是父工程，也是聚合工程，可以直接对父工程进行install和package 具体操作： 代码： （在父工程的pom.xml文件中进行模块的设置）
阅读全文
摘要：继承依赖的实现方法 需要注意：父工程的父工程是spring-boot-starter-parent 而springboot的web开发起步依赖是spring-boot-starter-web 如下图： 父工程和子工程项目结构目录 第一种没问题，现实开发更倾向于第二种，结构更清晰 子工程共用的依赖可以
阅读全文
摘要：①、根据bean名称获取bean对象 例如，获取下面controller的对象时 名字应该是“deptController”，需要对首字母进行小写 注意
阅读全文
摘要：事务管理 一、 二、事务回滚 三、传播行为
阅读全文
摘要：学习内容 函数 学习了如何定义函数，包括函数的参数和返回值。 掌握了函数的调用方法，了解了局部变量和全局变量的作用域。 学习了匿名函数（lambda 表达式）的使用方法。 模块与包 学习了如何导入和使用 Python 标准库中的模块（如 math、random）。 掌握了如何创建自定义模块，并在其他
阅读全文
摘要：学习内容 列表与元组 学习了列表（list）的定义、索引、切片、添加、删除和修改操作。 掌握了元组（tuple）的定义和基本操作，了解了列表与元组的区别。 字典与集合 学习了字典（dict）的定义、键值对的添加、删除和修改操作。 掌握了集合（set）的定义和基本操作，了解了集合的去重特性。 字符串操
阅读全文
摘要：学习内容 Python 简介与环境搭建 了解了 Python 的历史、特点和应用领域。 安装了 Python 3.x 版本，并配置了开发环境（如 IDLE、Jupyter Notebook 或 PyCharm）。 学习了如何运行 Python 脚本和交互式命令行。 Python 基础语法 学习了 P
阅读全文
摘要：实验流程 超参数调优 使用 CrossValidator 进行超参数调优，确定最优的主成分数量（PCA 维数）和分类器参数。 通过交叉验证，选择最优的模型参数组合，优化模型的性能。 模型优化与验证 根据超参数调优的结果，重新训练分类模型。 使用测试集验证优化后的模型性能，确保模型的准确性和稳定性。
阅读全文
摘要：实验流程 训练分类模型 在主成分分析的基础上，选择逻辑斯蒂回归模型进行训练。 将数据集分为训练集和测试集，使用训练集训练模型。 使用测试集验证模型的性能，计算准确率、精确率、召回率等指标。 模型评估 评估逻辑斯蒂回归模型的性能，分析其在测试集上的表现。 根据评估结果，调整模型参数，优化模型性能。 实
阅读全文
摘要：实验流程 进行主成分分析（PCA） 选择数据集中的 6 个连续型数值变量进行主成分分析。 使用 Spark MLlib 的 PCA 算法，通过 setK() 方法将主成分数量设置为 3。 将连续型特征向量转换为 3 维的主成分，并查看转换后的数据。 验证 PCA 结果 查看转换后的主成分数据，确保降
阅读全文
摘要：实验流程 实验环境准备 确保 Spark 2.1.0 已正确安装在 Ubuntu 16.04 系统中。 下载 Adult 数据集，并上传到 HDFS 或本地文件系统中。 数据导入 编写 Scala 程序，从文件中导入 Adult 数据集，并将其转换为 DataFrame。 查看数据集的基本信息，包括
阅读全文
摘要：实验流程 测试 Flume 与 Spark Streaming 集成 在 Telnet 终端中输入多条消息，验证 Spark Streaming 应用程序是否能够实时处理这些消息。 例如，输入“Hello Spark”和“Hello Flume”，验证 Spark Streaming 是否能够正确统
阅读全文
摘要：学习内容 运算符与表达式 学习了 Python 中的算术运算符（+、-、*、/、%、**）。 掌握了比较运算符（==、!=、>、<、>=、<=）和逻辑运算符（and、or、not）。 了解了赋值运算符（=、+=、-= 等）和成员运算符（in、not in）。 控制结构 学习了条件语句 if、elif
阅读全文
摘要：实验流程 配置 Flume 作为 Spark Streaming 数据源 配置 Flume 的 flume-spark.conf 文件，设置 netcat 源和 avro Sink。 启动 Flume，确保数据能够通过 netcat 源输入，并通过 avro Sink 输出。 编写 Spark St
阅读全文
摘要：实验流程 使用 netcat 数据源测试 Flume 配置 Flume 的 netcat.conf 文件，设置 netcat 源和 Sink。 在一个终端中启动 Flume。 在另一个终端中使用 telnet localhost 44444 命令连接 Flume。 在 Telnet 终端中输入字符，
阅读全文
摘要：实验流程 实验环境准备 确保 Spark 2.1.0 已正确安装在 Ubuntu 16.04 系统中。 下载 Flume 1.7.0 安装文件，并解压到 /usr/local/flume 目录。 配置 Flume 的环境变量，确保 Flume 能够正常运行。 安装 Flume 参考实验指南，完成 F
阅读全文
摘要：实验流程 编程实现利用 DataFrame 读写 MySQL 的数据 在 MySQL 数据库中新建数据库 sparktest，并创建表 employee，插入初始数据： 配置 Spark 通过 JDBC 连接 MySQL 数据库。 编写 Scala 程序，读取 MySQL 中的 employee 表
阅读全文
摘要：实验流程 编程实现将 RDD 转换为 DataFrame 编写 Scala 程序，读取 employee.txt 文件，创建 RDD。 将 RDD 转换为 DataFrame，并定义列名（id、name、age）。 按“id:1,name:Ella ,age:36”的格式打印 DataFrame 的
阅读全文
摘要：实验流程 实验环境准备 确保 Spark 2.1.0 已正确安装在 Ubuntu 16.04 系统中。 安装 MySQL 数据库，并配置 Spark 的 JDBC 连接支持。 准备实验数据文件 employee.json 和 employee.txt，并上传到 Linux 系统中。 Spark SQ
阅读全文
