多源异构数据采集与融合应用综合实践

综合设计——多源异构数据采集与融合应用综合实践

Recomind荐宝

这个作业属于哪个课程	首页 - 2024数据采集与融合技术实践 - 福州大学 - 班级博客 - 博客园
组名、项目介绍	组名：超级无迪爬虫高手元始天尊暴龙战士 Recomind荐宝是一款创新型的购物推荐网站，它整合了多源异构数据与先进的大语言模型技术。无论你是在寻找时尚服饰、电子产品、家居用品还是其他各类商品，只需向荐宝提供你心仪物品的文字描述或者图片，它就能为你精准推荐。 快速精准搜索和多平台信息处理。
团队成员学号	舒锦城042201520，王恒杰102202104，王梓铭102202105，杨邑豪102202117，邱予102202121，承宇豪102202134，王梓联102202154，郑奇键102202133
这个项目目标	利用各平台的信息反馈，通过大模型的整理与提炼，给予消费者相关物品的网址，满足信息过载下的购物需求

项目源码：https://gitee.com/wangzm7511/sjcj--recomind

项目总体概述

一、项目介绍

Recomind 荐宝通过智能爬虫技术，广泛收集小红书、贴吧等热门社交平台上用户们的评论和推荐信息。这些丰富的数据经过 AI 系统的深度分析和综合总结，最终筛选出最受欢迎的商品呈现在你眼前。这意味着，在这里你可以轻松获取大众认可的优质好物，节省购物时间，避免选择困难，获得更满意的购物体验。

二、项目目标

本项目旨在打造一个智能物品推荐系统，用户输入物品名称或上传其图片后，系统能快速调用 AI 接口，精准推荐包含百度贴吧、小红书以及该物品官方网站等相关信息源，提升用户获取物品信息的效率和精准度，优化信息检索体验，满足用户购物决策、产品研究等多方面需求。

三、技术介绍

前端技术

• HTML：构建网页基本结构，负责呈现页面的文本、图片、链接等元素，保障信息的稳定展示，是前端可视化基础。

• JavaScript：赋予前端动态交互能力，响应各类用户操作，实现页面元素动态更新、数据验证处理以及与后端的异步通信，处理用户交互逻辑。

• Vue.js：基于响应式编程模型和组件化开发，双向数据绑定自动更新页面，组件化便于代码维护和复用，用于构建复杂前端交互界面，如搜索框、图片上传及结果展示区域等。

后端技术

• Python：以简洁语法和丰富库生态处理复杂业务逻辑，包括接收解析前端数据、与 AI 模型交互、数据库操作等，借助第三方库加速开发进程，提高代码可读性与可维护性。

• Django：高级 Python Web 框架，内置强大的路由、数据库抽象层、模板引擎等功能，遵循 “DRY” 原则，负责处理前端 HTTP 请求，协调各组件，保障后端服务稳定安全运行，防止常见网络攻击。

人工智能技术

• 语言模型：利用先进预训练语言模型kimi AI，理解用户输入物品名称语义，筛选出相关网站信息，提升推荐准确性和相关性。

• EfficientNet B0：用于图像识别，在保证准确率的同时平衡计算效率与模型复杂度，快速识别上传图片中的物品类别，并转化为文本信息辅助推荐，确保推荐流程的及时性与流畅性。

四、使用流程

打开软件，输入文字或者图片

点击开始分析，稍等片刻

即可看到软件给出的推荐商品的网站，同时也可以看到关键词

个人分工部分

我们组在确定的选题后，每个人分工明确，有前后端技术人员，爬虫技术人员以及AI分析。因为我的技术有限，我负责撰写项目相关资料和测试，包括阶段性报告和答辩ppt制作。

①项目相关资料的撰写

项目成果

• 创新点：

多平台信息抓取

使用kimi大模型进行商品推荐

• 功能：

文字输入与图片识别

AI 接口调用与推荐功能

• 用户反馈：

从不同平台获取信息，包括用户评价、使用心得、产品参数，用户可以更全面地了解物品，快速综合比对后做出更明智的购买决策

团队协作

• 承宇豪

负责后端内容，主要是编写 用kimi分析文字和图片，并使用爬虫爬取苏宁易购上的相似商品这一功能接口。

• 王恒杰：

参与讨论本次多源异构数据采集与融合应用综合实践的方案设计，并负责成果整合和汇报展示部分。

• 王梓铭

完成前端设计与实现，用fetch API****与后端交互，并部署后端至云端，解决跨域和静态资源托管问题，同时优化后端程序确保稳定运行。

• 郑奇健

负责前端设计优化，提升UI/UX，实现响应式设计，完善交互功能，初步展示页面。

• 舒锦城

负责撰写项目相关资料和测试，包括阶段性报告和答辩ppt制作，项目功能测试和提出修改建议，录制演示视频。

• 王梓联

撰写项目报告，包括技术细节和用户手册。阶段性报告以及答辩ppt。

• 邱予

负责后端部署维护，选框架并评估性能，优化AI服务调用效率和成本。

• 杨邑豪

完成了调用KimiAPI接口的设计，实现问题输入与对话功能，接收并返回响应结果，确保数据格式正确、响应及时，满足业务需求。

总结与展望

• 目标

开发一个网页支持用户输入文字或图片。

使用AI接口分析用户输入，提取关键词。

基于关键词爬取相关网站的数据。

使用AI对爬取的数据进行分析，输出结论返回用户。、

• 实现

用户可以很快的获取多平台高赞商品的推荐帖子或商品网页，减少无关信息的干扰，节省搜索时间。

• 未来展望

未来可能采用的新技术、新方法或新工具，以提升工作效率和质量。

②ppt制作

阶段性汇报ppt

答辩ppt

心得体会

首先，开发一个支持用户输入文字或图片的网页，需要熟悉HTML、CSS、JavaScript等前端技术。这不仅是构建用户界面的基础，也是实现交互功能的关键。通过这个过程，我深刻体会到前端技术在提升用户体验方面的重要性。为了处理用户请求、调用AI接口、管理爬虫任务以及返回结果，后端技术的选择与应用同样至关重要。我学习了如何使用Django框架来搭建服务器，处理请求与响应。这让我对前后端交互有了更深入的理解。使用AI接口分析用户输入的文本，提取关键词，这涉及到了NLP的基本技能。通过实践，我学习了如何使用现有的NLP库来快速实现文本分析功能。总之，这个项目不仅让我在技术层面有了显著提升，更重要的是，它教会了我如何在实践中解决问题。