02 2025 档案
摘要：今天复习了一下web端的增删改查,然后下午在两个小时内完成了web端的增删改查
阅读全文
摘要：今天学习了hadoop的导入大数据,然后完成了数据清洗,然后成功导入了mysql数据库
阅读全文
摘要：读《王概凯的架构漫谈》有感 在数字化浪潮汹涌澎湃的当下，软件架构作为构建复杂软件系统的基石，其重要性不言而喻。《王概凯的架构漫谈》犹如一座灯塔，为我照亮了在架构设计这片浩瀚海洋中探索的道路。阅读这本书，就像是与一位经验丰富的智者对话，每一页都蕴含着深刻的见解和宝贵的实践经验，让我对软件架构有了全新且
阅读全文
摘要：Day 4: 完善逻辑与系统优化 目标：增加数据验证、日志记录和批量操作功能。 任务与进展： 数据验证： 检查评分范围（0-10）、标题非空等。 日志记录： 使用logging模块记录增删改查操作和错误信息。 批量导入： 支持从CSV文件批量新增数据。 API封装： 使用Flask编写简单接口供前端
阅读全文
摘要：Day 3: 实现增删改查功能 目标：通过Python脚本实现基本的CRUD操作。 任务与进展： 查询数据： 根据导演名称查询电影列表。 新增数据： 手动输入新电影信息并插入数据库。 修改数据： 根据ID更新电影评分或简介。 删除数据： 根据ID删除记录。 代码片段： python 复制 def q
阅读全文
摘要：Day 2: 数据清洗与导入数据库 目标：清洗数据并导入MySQL数据库。 任务与进展： 数据清洗： 使用pandas处理缺失值、重复值和格式问题。 示例：将评分转换为浮点类型，过滤评分低于8.0的电影。 数据库设计： 创建MySQL表movies，字段包括id（主键）, title, rating
阅读全文
摘要：Day 1: 数据爬取与初步清洗 目标：完成数据爬取，存储为结构化文件（如CSV）。 任务与进展： 选择数据源： 爬取豆瓣电影Top250数据（标题、评分、导演、简介等）。 使用Python的requests和BeautifulSoup库编写爬虫脚本。 解决反爬问题： 添加请求头（User-Agen
阅读全文
摘要：用户反馈与改进 任务：收集用户反馈，进行改进。 进展：邀请同学和老师使用系统，收集反馈。用户对系统整体表现满意，但希望增加更多解题技巧提示。 问题：用户需求多样化。 解决方案：在知识库中增加更多解题技巧和示例，提升用户体验。
阅读全文
摘要：系统全面测试 任务：进行系统全面测试。 进展：测试各类数学问题，系统在大多数任务上表现良好，能够提供准确的解答和详细的解题步骤。 问题：部分边缘案例（如分式方程）解答不准确。 解决方案：针对边缘案例补充数据，重新微调模型。
阅读全文
摘要：知识库扩展 任务：扩展知识库，确保数据量不少于2000条。 进展：从更多教材和学术论文中提取数据，知识库数据量达到2500条。 问题：部分数据质量不高。 解决方案：手动审核数据，确保每条数据的准确性和完整性。
阅读全文
摘要：系统性能优化 任务：优化系统性能，确保响应时间不超过10秒。 进展：通过缓存检索结果、优化模型推理速度，系统响应时间显著降低。 问题：高并发下性能下降。 解决方案：部署负载均衡，提升系统并发处理能力。
阅读全文
摘要：用户界面设计 任务：设计用户交互界面。 进展：使用React开发前端界面，用户可通过浏览器输入问题并查看解答。我们参考了其他学习工具的设计，确保界面简洁易用。 问题：页面加载速度较慢。 解决方案：优化前端代码，减少资源加载时间。
阅读全文
摘要：多轮对话功能开发 任务：实现多轮对话功能。 进展：设计对话管理模块，支持用户连续提问。系统能够记住上下文，提供连贯的回答。 问题：上下文记忆不准确。 解决方案：改进对话管理模块，增强上下文理解能力。
阅读全文
摘要：系统初步测试 任务：进行系统初步测试。 进展：测试基本问答功能，系统能够正确回答简单数学问题（如勾股定理介绍）。 问题：复杂问题（如方程组求解）响应时间较长。 解决方案：优化检索和生成流程，减少响应时间。
阅读全文
摘要：RAG系统集成 任务：将RAG系统与大模型集成。 进展：使用FAISS构建向量索引，实现知识库的高效检索。将检索结果与大模型生成结合，提升回答准确性。 问题：检索结果与生成答案不一致。 解决方案：调整检索策略，确保检索结果与问题高度相关。
阅读全文
摘要：模型评估与优化 任务：评估微调后的模型性能，进行优化。 进展：使用测试集评估模型，发现其在解方程和不等式任务上表现良好，但在高次方程求解上表现不佳。 问题：高次方程求解能力不足。 解决方案：增加高次方程相关数据，重新微调模型。
阅读全文
摘要：模型微调 任务：开始微调大模型。 进展：使用Hugging Face的Transformers库加载Qwen2-Math模型，并在准备好的数据集上进行微调。由于计算资源有限，我们使用了Google Colab的免费GPU资源。 问题：训练时间较长。 解决方案：调整学习率和批量大小，优化训练效率。
阅读全文
摘要：大模型选择与微调准备 任务：选择合适的大模型，准备微调数据。 进展：经过讨论，我们选择开源模型Qwen2-Math，因其在数学任务上的表现优异。我们从知识库中提取数学问题及其解答，准备微调数据。 问题：微调数据量不足。 解决方案：使用数据增强技术，生成更多训练样本。
阅读全文
摘要：知识库构建 任务：构建初步的知识库。 进展：使用Elasticsearch作为知识库存储和检索工具，将清洗后的数据导入知识库。我们设计了知识库的结构，确保能够高效查询。 问题：部分数据缺失关键信息（如解题步骤）。 解决方案：手动补充缺失数据，并编写自动化脚本从教材中提取解题步骤。
阅读全文
摘要：数据收集与知识库设计 任务：收集数学知识数据，设计知识库结构。 进展：我们从公开数据集（如MathStackExchange、OpenWebText）和大学教材（如《高等数学》《线性代数》）中提取数学相关数据，整理基础运算、公式推导、常见定理等信息。 问题：数据格式不统一，难以直接使用。 解决方案：
阅读全文
摘要：项目启动与需求分析 任务：明确项目目标，分析需求，制定开发计划。 进展：作为大学生团队，我们召开了第一次小组会议，明确了项目背景和目标：开发一个基于RAG和大模型的数学问题解答系统，帮助用户解决算术与数学问题。我们讨论了大学生在数学学习中常见的痛点（如解题步骤不清晰、知识点不理解等），并确定了系统的
阅读全文
摘要：今天尝试学习了一下爬取数据然后将其导入导数据库,但是出错了,可能是数据太多导致导入错误,一直在找错,但是没解决
阅读全文
摘要：今天上B站学习了一下大数据的应用,比如上网爬取数据之后导入导数据库,在通过mysql导入导hadoop数据库里,然后在实现增删改查,看了一个视频,然我了解到了基本的设计思路
阅读全文
摘要：今天我了解到了一个非常厉害的大模型,叫deepseek,他的运算和解答能力非常厉害,而且他还具有深度思考和联网思考的能力,所以给出的答案也是具有时效性的
阅读全文
摘要：我们开始考虑项目的需求和所需要的功能,首先我们确定了需要深度与大模型绑定,比如出现ai出题,ai解答,然后ai生成题库,然后储存错题和知识点,最后是数学问题类型
阅读全文
摘要：今天我看了一下中国软件外包大赛,我们选定了通过大模型来完成一个解决数学问题的题目
阅读全文
