数据采集大作业

1. 基本信息

这个项目属于哪个课程	https://edu.cnblogs.com/campus/fzu/2023DataCollectionandFusiontechnology
组名	冲就完事
项目简介	当我们置身于日常生活或旅途中，常会被美景所震撼，但往往难以找到合适的诗句来表达内心的感悟。为了传承中华传统文化、提升人们的诗词修养和表达能力，我们需要一个智能系统能够根据用户拍摄的照片，自动匹配相应的诗句，并为用户提供相关的学习资源。
团队成员学号	102102101田甜、102102102刘燕莹、102102103李盈盈、102102106何雯彧、102102107张锦瑶、102102110饶雯捷、102102147高宝众、102102153彭诗忠
这个项目的目标	本系统旨在实现以下功能： a. 图片解释：基于用户上传的图片，系统能够自动识别图片内容，并提供与图片相符合的文字解释。 b. 古诗详情：用户可以选择获取与所拍图片相关的一首古诗的详细信息，包括标题、作者、内容、出处等。 c. 同韵古诗：用户可以获取与所拍图片相关的同韵古诗，以便进行进一步学习和欣赏。 d. 相似句子查询：用户可以输入关键词或句子，系统将返回与输入内容相似的古诗句子，以帮助用户寻找相关诗歌作品。 e.获取诗句相关地点地图：当诗句蕴含地址时，用户可以获取到该地点在地图上的位置
其他参考文献	Junnan Li, Dongxu Li, Silvio Savarese, Steven Hoi.BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models:arXiv：2301.12597https://arxiv.org/abs/2301.12597
gitee链接：	https://gitee.com/PicaPicasso/crawl_project/tree/master/综合设计——多源异构数据采集与融合应用综合实践

2. 个人分工

实现的过程：

在开始这个项目之前，我们原先选定了单词软件的项目，想法是通过爬取抖音和小红书的热门文章，分析热词，转换成英文，然后让大模型对热词进行造句，和生成图片，帮助用户学习英语，但最终放弃了，原因在于大模型对于过于抽象的热词，如"内卷"难以理解，依次生成的句子和图片都非常不佳。于是我们选择了这个项目，这个项目的想法也是组内一个成员突发奇想出来的，我们发现可行也就采用了这个想法。经过团队反复讨论、推敲，我们综合考虑了用户使用体验、实际应用场景，至于需要调用那一个大模型，我做过了智谱清言，文心大模型的尝试，但是效果都可能会比较差劲一点，经过尝试，最终选择了讯飞大模型比较符合我们的需求

对于用户交互见面，我们设计出了主要的5个页面，以下是我个人实现的界面：

拍照上传图片界面
在该页面先是用户拍图，我们调用讯飞的大模型接口来实现"用户上传图片->大模型得出图片的对应的句子->提取关键词->将关键词返回给后端"这一过程。
关键代码如下：

相似句子界面
在这个页面我们利用第二步得出的诗句，后端对全网数据进行爬取相似句子并将结果返回给前端展示。
关键代码如下：

同韵共鸣界面
在这个页面我们利用第二步得出的诗句，后端对全网数据进行爬取同韵共鸣诗句并将结果返回给前端展示。
关键代码如下：

诗词涉及地点展示界面
为了增强用户的身临其境感，当诗句蕴含地址时，用户可以获取到该地点在地图上的位置，前端将后端返回的数据做一个展示。
关键代码如下：
开发中.....由于二进制图片过大，传输的效率过慢，因此展示还没有解决这个问题

遇到的问题：
1.因为之前软工实践也是用的flutter，当时还比较生疏，现在会熟练很多。
2.在调用讯飞的大模型接口时,因为我是用flutter写的，而官方给demo只有基于python、java、go的，所以刚开始有点懵，摸索了一下用于用户授权的通用鉴权URL是怎么得出的，生成date参数、base64编码的签名信息等，才终于用flutter实现了用户授权功能。

3.做接口测试的时候还比较生疏，特别是对各种协议传输和加密方式，而调用大模型api的过程往往是需要经过各种授权才能够进行对话，而授权方式又会因为不同的大模型而相异，因此会花费一定的时间在阅读技术文档上面

4.其次，前端的页面搭建好只是第一步，最重要还是接口的通信，以及将app发布之后遇到各种需要授权的情况，就需要反复的迭代，调试代码