2020年8月20日
如何确定网站可否可爬取
摘要： Robots协议 约束性: Robots协议是建议但非约束性，网络爬虫可以不遵守，但存在法律风险。 网站排除爬虫有两个办法 审查来源 Robots协议告知 作用:网站告知网络爬虫哪些页面可以抓取，哪些不行。形式:在网站根目录下的robots.txt文件。 查看京东Robots协议 https://w 阅读全文
posted @ 2020-08-20 16:01 xdd1997 阅读(9547) 评论(0) 推荐(0) 编辑
灵狐浏览器
摘要： 下载链接：http://baoku.360.cn/soft/show/appid/2000001221 阅读全文
posted @ 2020-08-20 13:59 xdd1997 阅读(534) 评论(0) 推荐(0) 编辑