爬虫之豆瓣图书评论词云

from urllib import request
from bs4 import BeautifulSoup as bs
import re
import codecs
import jieba  #分词包
import numpy    #numpy计算包
import pandas as pd #分词用到
import matplotlib.pyplot as plt  #绘图包
import matplotlib
matplotlib.rcParams['figure.figsize'] = (10.0,5.0)
from wordcloud import WordCloud #词云包

#爬取豆瓣最受关注图书榜
resp = request.urlopen('https://book.douban.com/chart?subcat=I')
html_data = resp.read().decode('utf-8')

#转化为BeautifulSoup对象
soup = bs(html_data,'html.parser')

#搜索最受关注的图书列表
topchart_book =soup.find_all('ul',class_='chart-dashed-list')

#搜索列表中所有图书
topchart_book_list = topchart_book[0].find_all('li',class_='media clearfix')

#新建数组用于存放后续的数据
topchart_list = []

#遍历图书馆列表，从中过滤出我们所需的信息
for item in topchart_book_list:
    #新建字典用于存放我们的图书信息，之后可用class来存储
    topchart_dict = {}

    #搜索到具体信息的位置
    book_item = item.find('a',class_='fleft')

    #得到图书ID
    topchart_dict['id'] = book_item['href'].split('/')[4]   

    #得到图书名称
    topchart_dict['name'] = book_item.getText().replace('\t','').replace('\n','').replace(' ','')  #图书名字
    
    #将图书信息加入到数组中
    topchart_list.append(topchart_dict)
# print(topchart_list)

#拼接出图书对应的详情页
requrl = 'https://book.douban.com/subject/'+topchart_list[0]['id']+'/comments/hot'+'?'+'p-1'

#爬取热门第一页中的评论信息
resp = request.urlopen(requrl)
html_data = resp.read().decode('utf-8')
soup = bs(html_data,'html.parser')

#搜索到评论所在div
comment_div_lits = soup.find_all('div',class_='comment')

#新建数组用于存放评论信息
eachCommentList = []

for item in comment_div_lits:
    if item.find_all('p')[0].string is not None:
        eachCommentList.append(item.find_all('p')[0].string)
# print(eachCommentList)

#为了方便进行数据进行清洗，我们将列表中的数据放在一个字符串数组中
commits = ''
for k in range(len(eachCommentList)):
    commits = commits + (str(eachCommentList[k])).strip()

# print(commits)
# exit()

#可以看到所有的评论已经变成一个字符串了，但我们发现评论中还有不少标点符号等
#这些符号对我们进行词频统计根本就没有用，因此将他们清除，所用的方法是正则表达式
pattern = re.compile(r'[\u4e00-\u9fa5]+')
filterdata = re.findall(pattern,commits)
cleaned_comments = ''.join(filterdata)
# print('评论数组')
# print(eachCommentList)
# print('评论字符串')
# print(commits)
# print('去除标点符号的评论')
# print(cleaned_comments)
# exit()

#在这里使用的是结巴分词，如果没有安装结巴分词，可以在控制台用 pip install jieba安装
segment = jieba.lcut(cleaned_comments)
# print(segment)
# exit()
#可以使用pandas库将分词转化成dataframe格式，head()方法只查看前五项内容
words_df = pd.DataFrame({'word':segment})
# print(words_df)
# print(words_df.head())
# exit()

#可以看到我们的数据中有“我”、“很”等虚词（停用词）
#而这些词在任何场景中都是高频时，并且没有实际含义，所以我们要对他们进行清除
#把停用词放在一个stopwords.txt文件中，将我们的数据与停用词进行对比即可

stopwords=pd.read_csv("stopwords.txt",index_col=False,quoting=3,sep="\t",names=['stopword'],encoding='gbk')
# print(stopwords)
# exit()
words_df=words_df[~words_df.word.isin(stopwords.stopword)]
# print(words_df.head())
# exit()

#接下来进行词频统计
words_stat=words_df.groupby(by=['word'])['word'].agg(['count'])
# print(words_stat.head())

#对统计结果进行排序
words_stat=words_stat.reset_index().sort_values(by=["count"],ascending=False)
# print(words_stat.head())

#词云展示
wordcloud = WordCloud(font_path="simhei.ttf",background_color="white",max_font_size=80)    #指定字体类型、字体大小、背景颜色
word_frequence = {x[0]:x[1] for x in words_stat.head(1000).values}
# print(word_frequence)
wordcloud = wordcloud.fit_words(word_frequence)
# print(wordcloud)
# exit()

#matplotlib包对图片进行绘制，绘制成功后，返回一个AxesImage对象，要在窗口上显示这个对象，我们可以用show()函数进行
#在某些练习环境下可以省略show()函数，也能自动显示出来
plt.imshow(wordcloud)
plt.axis("off")
plt.show()