2022年8月27日
python爬虫
摘要： 关于爬虫 几乎每一个网站都有一个名为 robots.txt 的文档，当然也有部分网站没有设定 robots.txt。对于没有设定 robots.txt 的网站可以通过网络爬虫获取没有口令加密的数据，也就是该网站所有页面数据都可以爬取。如果网站有 robots.txt 文档，就要判断是否有禁止访客获取 阅读全文
posted @ 2022-08-27 19:14 zrswheart 阅读(43) 评论(0) 推荐(0) 编辑