每日学习(爬取博客园新闻内容失败经验)

之前爬取博客园新闻的标题,很成功的就可以爬取到,但最近爬取博客园新闻的具体内容时出现了一些小问题。

而对于这种情况,需要登录博客园获取网页的cookie,添加到headers中去

先登录

 

然后F12,复制cookie

 

 

最后加入到hearders:

这时候运行就可以爬取新闻详细内容。

posted @ 2021-07-31 23:53  哦心有  阅读(50)  评论(0编辑  收藏  举报