福卫兵——多源异构数据采集与融合应用综合实践
福州大学多模态网络舆情分析与可视化系统
| 序号 | 信息类别 | 内容描述 |
|---|---|---|
| 1 | 这个项目属于哪个课程 | 数据采集与融合综合实践 |
| 2 | 组名、项目简介 | 组名：福小兵，项目需求：实时舆情监控系统，项目目标：为福州大学提供舆情监控与决策辅助工具，技术路线：使用 Flask 后端、Memfire(PostgreSQL)数据库和 Vue 前端技术栈，建立从数据采集到情感分析再到可视化的完整系统 |
| 3 | 团队成员学号 | 102202141黄昕怡, 102202112刘莹，102202145谢含, 102202101马鑫，102202106王强，102202126陈家凯，102202153来再提·叶鲁别克，102202124 阿依娜孜·赛日克 |
| 4 | 这个项目的目标 | 设计并实现一个多源异构数据采集系统，通过情感分析和大数据技术总结和展示舆情，增强学校管理者对校园舆情的理解和控制力度。 |
| 5 | 其他参考文献 | [1] 刘洋, & 李娜. (2019). 基于深度学习的情感分析研究综述. 《计算机科学与探索》, 13(6), 801-812. [2] 王伟, & 张磊. (2021). 基于多源数据的在线学习情感识别方法研究. 《数据分析与知识发现》, 5(3), 50-58. [3] Kumar, A., et al. "Real-Time Sentiment Analysis of Twitter Data." Journal of Big Data. 2021. |
| 6 | geete链接 | https://gitee.com/LLLzt-III/crawl_project/tree/master/%E7%BB%BC%E5%90%88%E5%AE%9E%E8%B7%B5-%E7%A6%8F%E5%8D%AB%E5%85%B5%E9%A1%B9%E7%9B%AE%EF%BC%88%E4%BB%85%E6%98%AF%E6%88%91%E5%81%9A%E7%9A%84%E5%89%8D%E7%AB%AF%E9%A1%B5%E9%9D%A2%E9%83%A8%E5%88%86%E7%9A%84%E4%BB%A3%E7%A0%81%EF%BC%89 |
一、项目介绍
1.1 项目背景
随着互联网和社交媒体的迅猛发展，网络舆情已成为影响高校形象和声誉的重要因素。高校作为培养人才的摇篮，其网络舆情不仅关乎学校自身发展，更关乎社会的和谐稳定。
然而，网络舆情具有多源、异构、实时性等特点，传统的人工监测手段难以满足高校对舆情信息全面、及时、准确掌握的需求。
为了更好地应对网络舆情带来的挑战，我们启动了福州大学多模态网络舆情分析与可视化系统项目，旨在构建一个集数据采集、情感分析、舆情预警、可视化展示于一体的智能舆情监测平台，为学校管理者提供科学决策依据，提升高校网络舆情的应对能力。🚀
1.2 项目目标
-
多源异构数据采集: 整合微博、贴吧、知乎等平台上的文本、图片、视频等多模态数据，建立统一的数据存储和管理方案。📊📈📉
-
细粒度情感分析: 基于零样本分类模型，对舆情数据进行多类别情感识别，包括喜悦、愤怒、悲伤、恐惧、惊讶、厌恶、中性等情感类别。😊😡😢😨😲😖😐
-
舆情趋势预测: 利用大语言模型对舆情数据进行深度分析，生成舆情报告，预测舆情发展趋势，并给出应对建议。📜🔮
-
数据可视化与交互: 通过前端页面实现数据搜索、分析结果图表展示、舆情总结文本展示等功能，为用户提供友好的交互体验。👇
1.3 项目技术架构
我们的项目采用前后端分离的架构设计，前端使用 Vue.js 框架构建，后端使用 Flask 框架开发，数据库采用 Memfire 提供的云端 PostgreSQL 数据库。🖥️
-
前端:
- 负责用户界面展示和用户交互。
- 使用 Vue.js 组件化开发模式，实现数据绑定、路由管理、状态管理等功能。
- 调用后端提供的 RESTful API，实现数据获取、分析结果展示等功能。
-
后端:
- 负责数据采集、处理、存储和接口提供。
- 使用 Flask 框架搭建 RESTful API 接口。
- 调用第三方 API (例如大语言模型 API) 进行数据分析和舆情总结。
- 使用 Memfire 云端 PostgreSQL 数据库存储采集到的多源异构数据。
-
数据库:
- 采用 Memfire 提供的云端 PostgreSQL 数据库进行数据存储和管理。
- 数据库设计遵循规范化原则，确保数据的一致性和完整性。
二、个人工作内容
2.1 用户上传分析页面 (uploadandai.vue) 开发
功能描述:
首页是用户上传文本和图片进行情感分析的入口页面，主要功能模块包括：
-
文本输入与上传:
- 用户可以在文本框中输入要分析的文本内容。✍️
- 支持文本文件上传，用户可以上传包含文本内容的文件进行情感分析。📄
-
文件上传:
- 用户可以上传图片文件进行图片情感分析。🖼️
- 支持多文件上传，用户可以同时上传多个图片文件。📁
-
分析结果展示:
- 情感分析结果以柱状图形式展示，展示不同情感类别的占比情况。📊
- 舆情分析结果以文本形式展示，例如校园整体舆情趋势、热点话题等。📜
遇到的问题与解决方案:
-
问题 1: 异步数据处理
文件上传和数据分析都是异步操作，需要处理好异步请求的顺序和错误处理。- 解决方案:
- 使用
async/await语法处理异步请求。 - 添加错误处理逻辑，例如文件上传失败时提示用户。
- 使用
- 解决方案:
-
问题 2: 组件间通信
首页需要将用户上传的文件信息传递给后端，并将分析结果传递给结果展示组件。- 解决方案:
- 使用 Vue 的
ref特性获取 DOM 元素。 - 使用 Vue 的
emit方法触发自定义事件，实现组件间数据传递。📡
- 使用 Vue 的
- 解决方案:
具体页面展示:
2.2 数据展示页面 (datadisplay.vue) 开发
功能描述:
数据展示页面用于展示用户通过爬虫工具获取的舆情数据，并提供关键词搜索功能，主要功能模块包括：
-
搜索功能:
- 用户可以在搜索框中输入关键词，search相关的舆情数据。
- 支持模糊搜索，用户可以输入关键词的部分内容进行搜索。🔍
-
search结果展示:
- search结果以文本形式展示，展示内容、评论等信息。📄
-
舆情分析结果:
- 舆情分析结果以文本形式展示，例如校园整体舆情趋势、热点话题等。📜
遇到的问题与解决方案:
-
问题 1: search功能实现
需要实现一个高效的search功能，能够快速从数据库中检索出符合用户查询条件的数据。⏳- 解决方案:
- 使用 PostgreSQL 的全文检索功能，实现关键词search。
- 使用 Vue 的
watch监听器监听search框内容变化，实时更新search结果。🔄
- 解决方案:
-
问题 2: 两个页面之间的跳转
用户上传页面 (uploadandai.vue) 和数据展示页面 (datadisplay.vue) 之间的跳转遇到了问题- 解决方案:
- 在 router/index.js 文件中，明确配置首页和数据展示页面的路由路径，确保路径正确指向对应的组件。
- 使用
组件，并确保 to 属性绑定正确的路由路径。 - 在 Nginx 配置文件中添加对 /data 路径的支持，并确保所有路由都指向 index.html。
- 使用 Vue 的 watch 监听器监听数据变化，当数据加载完成后，调用 forceUpdate() 方法刷新页面，确保搜索结果正确显示。
- 解决方案:
具体页面展示:
三、项目心得与展望
3.1 项目心得
通过这一次福卫兵——福州大学多模态网络舆情分析与可视化系统的前端开发，我收获颇丰，以下是我的几点心得体会：
-
深入理解了前后端分离的开发模式:
本项目采用前后端分离的架构，前端使用 Vue.js 框架，后端使用 Flask 框架开发。通过这个项目，我深刻体会到前后端分离的优势，例如前后端可以并行开发、职责分明、系统更易于维护和扩展。 -
提升了 Vue.js 框架的应用能力:
在项目开发过程中，我熟练掌握了 Vue.js 的核心概念，例如组件化开发、数据绑定、路由管理、状态管理等。同时，我也学会了如何使用第三方库 (例如 Chart.js) 来实现数据可视化功能。 -
积累了丰富的调试和问题解决经验:
在开发过程中，我遇到了各种问题，例如路由配置错误、导航链接失效、异步数据加载问题等。通过查阅资料、调试代码以及与团队成员沟通，我逐步解决了这些问题，积累了宝贵的经验。 -
提高了团队协作和沟通能力:
项目开发是一个团队协作的过程，需要与后端开发人员、UI 设计师等密切配合。通过参与项目，我学会了如何更有效地进行团队沟通和协作，例如如何明确需求、如何进行代码审查、如何解决冲突等。
3.2 未来展望
未来，我们的项目可以从以下几个方面进行优化和扩展：
-
功能扩展:
- 增加对视频数据的情感分析功能。📹
- 引入更多类型的图表，例如词云图、雷达图等，丰富数据可视化形式。🎨
- 实现舆情预警功能，当舆情出现异常时，及时向用户发送预警信息。⚠️
-
性能优化:
- 对爬虫程序进行优化，提高数据采集效率。🐌
- 对数据库进行优化，提高数据检索速度。⏩
-
用户体验提升:
- 引入用户权限管理功能，实现不同用户角色的权限控制。🔒
- 优化用户界面设计，提升用户体验。👨🎤
- 增加用户交互功能，例如评论、点赞、分享等。👍❤️
