热词分析及解释
（1） 项目名称：信息化领域热词分类分析及解释
（2） 功能设计：
1) 数据 采集：要求从定期自动从网络中爬取信息领域的相关热
词；
2) 数据 清洗：对热词信息进行数据清洗，并采用自动分类技术
生成信息领域热词目录，；
3) 热 热 词 解释：针对每个热词名词自动添加中文解释（参照百度
百科或维基百科）；
4) 热词 引用 ：并对近期引用热词的文章或新闻进行标记，生成
超链接目录，用户可以点击访问；
5) 数据 可视化 展示：
① 用字符云或热词图进行可视化展示；
② 用关系图标识热词之间的紧密程度。
6) 数据 报告：可将所有热词目录和名词解释生成 WORD 版报告
形式导出。
app.jsp:
from flask import Flask,render_template import jieba import sqlite3 import urllib.request from flask import request from collections import Counter from bs4 import BeautifulSoup app = Flask(__name__) @app.route('/index') def index(): return render_template("index.html") @app.route('/') def index1(): return render_template("index.html") @app.route('/boke') def boke(): datalist = [] con = sqlite3.connect("xinxi.db") cur = con.cursor() sql = "select * from messagec" data = cur.execute(sql) for item in data: datalist.append(item) cur.close() con.close() print(datalist) return render_template("boke.html",bokes=datalist) @app.route('/search') def search(): return render_template("search.html") @app.route('/search_data',methods=['GET','POST']) def search_data(): # 取出待搜索keyword datalist = [] if request.method=='POST': keyword = request.form['keyword'] print(keyword) con = sqlite3.connect("xinxi.db") cur = con.cursor() sql = "select * from messagec where title like '%"+keyword+"%'" data = cur.execute(sql) for item in data: datalist.append(item) cur.close() con.close() print(datalist) return render_template('search.html',bokes=datalist) return render_template('search.html',bokes=datalist) @app.route('/wordcloud') def wordcloud(): con = sqlite3.connect('xinxi.db') cur = con.cursor() sql = 'select title from messagec' data = cur.execute(sql) text = "" for item in data: text = text + item[0] # print(item[0]) # print(text) cur.close() con.close() word = [] num = [] # 分词 # '十','好','解','功','次','性','优','发','件','9','种','象','以','容','机','间','手','人','级','么', cut = jieba.cut(text) str = ['的', '，', '）', '（', '-', '.', '—', '：', '之', '(', ')', '？', '和', '使用', '实现', '、', '与', '！', '你', '了', '中', '】', '【', '系列', '学习', '如何', '+', '源码', '入门', '我', '开发', '详解', '从', '分析', '实战', '及', '一', '原理', '是', '在', '到', '一个', '问题', '应用', '项目', '基于', ':', '解析', '理解', '--', '篇', '代码', '笔记', '用', '|', '微', '二', '/', '方法', '技术', '深入', '总结', '简单', '上', '教程', '下', '学', '看', '2', '小', '了解', '什么', '1', '个', '不', '3', ',', '[', ']', '_', '多', '《', '》', '说', '一文', '吗', '三', '对', '为什么', '高', '介绍', '「', '」', '---', '带', '创建', '5', '来', '新', '这', '过程', '做', '有', '4', '一次', '&', '个', '@', '让', '知道', '都', '“', '”', '懂', '器', '以及', '解决', '记', '还', '怎么', '生成', '进行', '自己', '10', '问', '一篇', '进阶', '相关', '玩转', '关于', '手把手', '四', '6', '第', '大', '被', '工作', '能', '这么', '就', '7', '利用', '教', '基本', '时', '会', '重', '给', '通过', '热点', '思考', '写', '五', '为', '真的', 'x', '并', '也', '及其', 'three', '8', '分享', '常用', '要', '一起', '2020', '那些', '知识点', '手写', '化', '最佳', '不会', '0', '开始', '从零开始', '最', '师妹', '完', '零', '区别', '轻松', '需要', '指南', '优雅', '去', '任务', '六', '垃圾', '干货', 'i', '持续', '支持', '初识', '搞懂', '年', '我们', '循序渐进', '文', '可能', '这些', '原创', '后', '必备', '解决方案', '整理', '八', '可用'] str1 = ['践', '九', '十', '好', '解', '功', '次', '性', '优', '发', '件', '9', '种', '象', '以', '容', '机', '间', '手', '人', '级', '么', '可', '组', '注', '制', '布', '调', '特', '七', '全', '起', '真', '利', '再', '更', '些', '点', '详细', '引', '需', '自', '信', '其', '们', '讲', '前', '过', '论', '常', '搞', '实', '章', '附', '分钟', '动', '录', '精通', '户', '样', '各', '成', '超', '够', '坑'] string = ' '.join(cut) # 清洗数据 for i in str: string = string.replace(i, "") for j in str1: string = string.replace(j, "") print(string) print(len(string)) # print(string[1]) string1 = string.split() # print(string1[12]) # print(type(string1)) # print(string1) count = Counter(string1) for (k, v) in count.most_common(50): # 输出词频最高的前50两个词 print("%s:%d" % (k, v)) word.append(k) num.append(v) word[1]="spring" word[9] = "Redis" word[40] = "Spring Boot" print(word[40]) introductionlist = [] baseurl = "https://baike.baidu.com/" for i in word: # print(i) string = 'item/' + i string = urllib.parse.quote(string) # 编码 url = baseurl + string # print(url) response = urllib.request.urlopen(url, timeout=30) # 访问并打开url html = response.read() # 创建html对象读取页面源代码 soup = BeautifulSoup(html, 'html.parser') # 创建soup对象，获取html代码 introduction = soup.find_all('div', class_="para") if len(introduction) == 0: print(i + ":没有找到解释！") string2 = ":没有找到解释！" introductionlist.append(string2) print("-" * 30) else: print(i + ":" + introduction[0].get_text()) introductionlist.append(introduction[0].get_text()) print("-" * 30) print(introductionlist[0]) print("^"*30) print(introductionlist[1]) return render_template("wordcloud.html",word=word,num=num,introductionlist=introductionlist) if __name__ == '__main__': app.run()
