2019年8月11日
爬虫心得
摘要： 1. 如果网址比较具有时效性, 可以先写仅具有下载功能的爬虫而不先解析 2. 写爬虫如果需要解析的话, 应该先研究反反爬策略或可以提前下载几个网页到本地,然后进行解析匹配, 避免在测试时频繁请求目标网址, 同时也节省了请求网页的时间 2. 解析匹配写完后, 再开始数据的爬取, 然后进行调试等等 阅读全文
posted @ 2019-08-11 22:48 twfb 阅读(209) 评论(0) 推荐(0) 编辑