爬虫大作业

python爬虫 抓取《极简宇宙史》书评，制作词云

 

分析网页源码，进行数据抓取

coding = "UTF-8"
#引入 requests BeautifulSoup 两个
import requests
from bs4 import BeautifulSoup
import time
#先命名一个空list
sm_list = []
#填写头部信息
headers = {'Host':'book.douban.com',
 'Referer':'https://book.douban.com/subject/26697350/', 'Upgrade-Insecure-Requests':'1', 'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36' }
#先利用requests请求网页信息，这里的循环主要作用是我们发现书评有1354条，每页有20条，将近70页，这里用字符串格式化操作，进行遍历抓取数据
for page in range(1,70):
    url = 'https://book.douban.com/subject/26697350/comments/hot?p={}'.format(page)
    req = requests.get(url,headers=headers)
    content = req.content
    soup = BeautifulSoup(content,'lxml')
    article = soup.find('div',class_='article')
    list = article.find_all('p',attrs ={'class':'comment-content'},)
    for i in list:
     shuji_list = i.get_text().replace('\n','')
        sm_list.append(shuji_list)
  #这里我设置时间间隔为1秒
time.sleep(1)
print(page)
print(sm_list)

 

数据抓取完之后，删除标点符号。把全部书评复制到桌面的一个新建文本文档中

 

生成词云

#导入三个库
import matplotlib.pyplot as plt
from wordcloud import WordCloud
import jieba
#用open函数打开文档，读取内容存放在text文件中
text = open('C:\\Users\\Administrator\\Desktop\\jijian.txt').read()
#用jieba库对文档进行分词，分词后存储在一个叫wordlist_jieba的文件中,这个文件为list格式
wordlist_jieba = jieba.cut(text, cut_all = True)
#用join函数将list转为str
wordstr = " ".join(wordlist_jieba)
#用wordcloud生成词云
my_wordcloud = WordCloud().generate(wordstr)
plt.imshow(my_wordcloud)
plt.axis("off")
plt.show()

运行程序之后，生成的词云如图所示：