2019年9月4日
scrapy抓取所有网站域名
摘要： 需求分析 从一个门户网站出发，试图爬取该门户网站所有链接，如此递归下去，发现新域名则保存起来，每个域名网站只爬取一次。有了这些数据在通过外部DNS获得IP，就可以自己搭建DNS服务器了 创建项目 创建一个项目，名叫crawl_all_domainname 创建爬虫脚本domain.py, 从han1 阅读全文
posted @ 2019-09-04 01:27 pengliangyuan 阅读(2282) 评论(0) 推荐(0) 编辑