02 2025 档案
摘要：今天继续配置后续的大模型 ，配置搭建Qwen2-vl大模型，首先创建好虚拟环境。使用 conda 创建一个名为 qwen-vl 的虚拟环境，并指定 Python 版本为 3.10。 conda create -n qwen-vl python=3.10
阅读全文
摘要：今天继续配置虚拟环境，下载好ANaconda之后在配置电脑对应的CUDA11.8，然后顺便配置cudnn。 现在官网下载好对应的版本，一路安装就行，不要随便更改这个的位置，尽量安装在C盘。 安装好后在配置环境变量，如图。 在命令台中查看是否安装完成。 接着在官网下载对应的cudd，cuDNN地址如下
阅读全文
摘要：今天三人结组开始准备外包杯的项目，我们选择的项目是基于多模态大模型驱动的道路状况综合识别。 背景说明 【整体背景】 在智能交通管理领域，图像识别技术的应用正日益成为提升道路安全与效率的关键。尤其是多模态大模型，它们通过处理广泛的图像和视频数据，显著提高了识别复杂交通场景的能力。然而，尽管这些通用型大
阅读全文
摘要：王概凯老师的《架构漫谈》恰似一位智者的低语，为在架构之路上探索的我拨开迷雾，带来深刻的启迪与思考，让我对软件架构有了更为全面和深入的理解。 一、架构的内涵与重要性 架构，绝非仅仅是技术的堆砌，它是软件系统的骨架，承载着系统的整体结构与运行逻辑。书中对架构的定义鞭辟入里，让我明白架构不仅仅是代码的组织
阅读全文
摘要：今天完成昨天没有完成的将数据用图形化的方式展现出来。 用python中的pyqt5可以画出各类图的大概形式。 from pyecharts.charts import Pie, Bar, Line, Page from pyecharts import options as opts from py
阅读全文
摘要：今天按照上课的要求，把爬取的数据展示出来。 测试要求： 1、 数据清洗：按照进行数据清洗，并将清洗后的数据导入hive数据库中。 两阶段数据清洗： （1）第一阶段：把需要的信息从原始日志中提取出来 （2）第二阶段：根据提取出来的信息做精细化操作 （3）hive数据库表结构: create table
阅读全文
摘要：今天学习了对网站的信息爬取，学会用python爬取网页的基本信息。比如下面就是爬取博客园一百页的标题热词。 可以把爬取的信息保存到test.txt文本文件中，但是还不会清洗数据。 import requests import re import xlwt url = 'https://news.cn
阅读全文
摘要：今天学习上午上移动应用开发，学习了gradle如何跨域下载。回去又安装了老师需要的安卓3.5版本。
阅读全文
摘要：RDD 与 Spark Streaming 的结合使用学习目标：学习如何使用 RDD 处理实时数据流。掌握 Spark Streaming 的基本概念。使用 Spark Streaming 创建一个简单的实时数据处理程序。学习内容：Spark Streaming 基本概念：Spark Streami
阅读全文
摘要：RDD 的故障恢复与容错机制学习目标：理解 RDD 的容错机制。学习 RDD 的 lineage（血统）机制。模拟 RDD 的故障恢复过程。 // 创建 SparkContextval sc = new SparkContext("local[*]", "RDD Fault Tolerance")
阅读全文
摘要：RDD 的缓存与持久化学习目标：学习 RDD 的缓存机制。掌握 RDD 的持久化方法。理解不同存储级别的区别。学习内容：RDD 缓存机制：使用 cache 方法将 RDD 缓存到内存中。使用 persist 方法将 RDD 缓存到指定的存储级别。 // 创建 SparkContextval sc =
阅读全文
摘要：RDD 的分区与并行操作学习目标：理解 RDD 的分区机制。掌握 RDD 的并行操作。学习如何调整 RDD 的分区数。学习内容：RDD 分区机制：RDD 的分区数决定了数据的并行度。使用 parallelize 方法时可以指定分区数。使用 repartition 方法可以调整 RDD 的分区数。 /
阅读全文
摘要：RDD 的基本操作学习目标：掌握 RDD 的基本转换操作。掌握 RDD 的基本行动操作。理解 RDD 的懒加载机制。学习内容：RDD 转换操作：map：对 RDD 中的每个元素应用函数。filter：过滤 RDD 中的元素。flatMap：对 RDD 中的每个元素应用函数，并将结果展平。groupB
阅读全文
