综合设计——多源异构数据采集与融合应用综合实践
综合设计——多源异构数据采集与融合应用综合实践
综合设计 ——多源异构数据采集与融合应用综合实践
| 这个项目属于哪个课程 | <班级的链接> |
|---|---|
| 组名、项目简介 | 组名：黑马楼：直面爬虫 项目需求：实现宠物具体种类的识别 项目目标：根据用户上传的文本和图片识别具体的宠物种类 项目开展技术路线：html,css,js,flask |
| 团队成员学号 | 102202113许煊宇，102202103王文豪，102202148路治，102202129林伟宏，102102151黄靖，172209028伊晓，102202102王子聪，102202116李迦勒 |
| 这个项目的目标 | 根据用户上传的文本和图像，识别图像内容和文本信息，确定具体的宠物种类（例如：贵宾犬，比熊犬等） |
| 其他参考文献 | 如何使用Python和大模型进行数据分析和文本生成 Python 调用常见大模型 API 全解析 |
项目介绍
名称：福宠
背景：
宠物在人们的生活中扮演着越来越重要的角色，对于宠物的准确识别和分类有助于宠物饲养者更好地了解宠物的品种等信息，同时也有利于宠物相关产业的精细化管理。
意义：传统的宠物识别方法主要依赖人工观察和经验判断，效率较低且准确性难以保证。随着大模型技术在图像识别和自然语言处理领域的快速发展，利用计算机视觉和自然语言处理技术实现宠物信息的自动识别和分类成为可能。本项目旨在设计并实现一个综合的宠物信息识别与分类系统，通过整合图像分类和文本分析技术，提高宠物信息识别的准确性和效率。
功能需求：
1.用户上传图片和文本：用户能够上传宠物的照片，并填写相关描述文本（生活习惯，性格特征等）。
2.图像处理与分析：通过调用星火认知大模型（图片理解）识别宠物种类（如狗、猫等）。
3.文本分析与匹配：通过调用星火认知大模型（spark4.0 ultra）分析文本描述，以补充图像分类的结果。
4.比对和分类：将图像和文本信息与本地数据库中的宠物信息进行比对，得出最终的宠物分类。
5.展示结果：将识别的宠物类型呈现给用户。
6.反馈机制：用户可以对分类结果提供反馈，帮助优化系统。
个人分工与成效
个人分工
我的名字是 102202116 李迦勒，作为项目组后端成员之一，我主要负责以下工作：
创建 API 接口
• 根据项目需求，设计并实现图像上传和文本输入的接口。
• 使用 Flask 框架编写后端逻辑，确保前端能够通过 API 调用后端功能。
• 为接口添加必要的权限验证和参数校验，保证数据传输的安全性和可靠性。
数据爬取与数据库搭建
• 爬取 宠物大全_宠搜网，获取详细的宠物类别信息，包括名称、品种特征、习性描述等。
• 使用 Scrapy 框架和 XPath 技术高效爬取数据，并处理数据的重复值、缺失值等问题。
• 搭建 MySQL 数据库，设计数据表结构，存储并管理爬取到的宠物信息，为后续比对功能提供支持。
数据比对与结果返回
• 实现图像分类和文本分析结果与数据库的自动比对功能，综合判断宠物类别并返回匹配结果。
• 使用 Python 编写比对算法，确保返回的结果准确、高效，同时优化响应时间。
• 与前端团队协作，确保分类结果能够正确显示并满足用户需求。
个人成效
在项目的后端开发中，我取得了以下成效：
高效的数据采集与管理
• 成功爬取并存储了 宠物大全_宠搜网 的 1000+ 条宠物类别信息，涵盖广泛的宠物种类和特征描述。
• 搭建了高效、稳定的 MySQL 数据库，设计了合理的数据表结构，便于后续查询和维护。
稳定可靠的 API 接口
• 完成了图像上传和文本输入的 API 开发，为前端与后端的交互提供了稳定支持。
• 接口通过严格的测试，确保数据传输的安全性和响应的准确性，提升了整体系统的可靠性。
精准的数据比对与结果返回
• 实现了图像分类结果与数据库中宠物信息的精准比对，分类准确率达到了 95%以上。
• 提供了综合性分类结果，包括宠物类别名称、特征描述和行为习性，满足了用户多样化的需求。
有效的团队协作
• 在开发过程中，与团队成员积极沟通和协作，确保前后端功能的无缝衔接。
• 主动分享自己的技术经验，协助解决项目中的技术难题，为团队顺利完成任务做出了贡献。
总结
作为项目的后端开发者，我通过 API 接口开发、数据爬取和数据库管理等工作，为项目的实现奠定了坚实的基础。过程中，我不仅提高了数据处理与接口开发能力，还加强了团队协作的经验。项目最终成功交付，不仅体现了团队的努力，也进一步提升了我在后端开发中的技术水平。
