2023年3月9日
网络爬虫流程总结
摘要： 网络爬虫的大体流程其实就是解析网页，爬取网页，保存数据。三个方法，就完成了对网页的爬取，并不是很困难。以下是自己对流程的一些理解和总结，如有错误，欢迎指正。 一、解析网页，获取网页源代码 首先，我们要了解我们要爬取的网页，以豆瓣为例，我们要了解模拟浏览器头部信息，来伪装成浏览器。以及爬取的内容是什么 阅读全文
posted @ 2023-03-09 21:22 鹤城 阅读(892) 评论(3) 推荐(4) 编辑