摘要: 记录一下在用python爬取百度链接中遇到的坑: 1.获取百度搜索页面中的域名URL BeautifulSoup获取a标签中href属性后,链接为百度url,利用request直接访问默认会直接进行跳转,无法获取所需域名 此时需要将requests的allow_redirects属性设置为False 阅读全文
posted @ 2020-03-23 13:38 要加油的萌新 阅读(868) 评论(4) 推荐(0) 编辑