使用python爬取豆瓣电影短评评论内容

需求：爬取豆瓣电影短评评论文本内容

目标：将爬取的文本存入 excel 中

爬虫步骤：

1.拼接分页网址，循环请求分页数据，获取HTML代码

2.分析获取到的HTML代码，解析出所需要的数据，提取内容

3.存储爬取到的数据

准备工作：

1.开发工具 pycharm

2.模块 requests、bs4或 pyquery

 

爬虫实际流程：

第一步：我们从豆瓣电影中选取一部电影（https://movie.douban.com/subject/35766491/），进入短评列表页面（https://movie.douban.com/subject/35766491/comments?status=P）

第二步：打开 f12开发者工具，我去取评论文本部分，查看网页结构。

 

目标评论文本部分对应的 class 类名为 comment，评论列表对应的类名为 comment-item

使用 pyquery 解析获取列表数据，代码如下：

form pyquery import PyQuery as pq
doc = pq(html)
comment_list = doc(‘.comment-item’).items()
For item in comment_list:
    comment = item(‘.comment’).text()