2019年7月22日
【转载】爬虫流程总结
摘要： 爬虫是一个比较容易上手的技术，也许花5分钟看一篇文档就能爬取单个网页上的数据。但对于大规模爬虫，完全就是另一回事，并不是1*n这么简单，还会衍生出许多别的问题。 系统的大规模爬虫流程如图所示。 先检查是否有API API是网站官方提供的数据接口，如果通过调用API采集数据，则相当于在网站允许的范围内 阅读全文
posted @ 2019-07-22 00:31 suntl 阅读(713) 评论(0) 推荐(0) 编辑