摘要: 最近,由于公司需要做爬虫抓取一些新闻,在开发过程中,发现有些网站有一定的反爬措施,通过浏览器访问一切正常,通过其他方式,包括:curl,urlconnection 等,就算加入了cookie,agent等参数也不能完全正常访问,导致爬取失败。 经过网上查找资料,找到解决方案, 对于这种特殊的网站,爬 阅读全文
posted @ 2019-07-05 09:25 李寅初 阅读(4232) 评论(0) 推荐(0) 编辑