常见的爬虫技术点

1.  可配置爬虫

    。爬虫的启动停止(os.system)

    。爬虫基本爬取数据的设置(起始网页,解析规则,停止条件)

    。爬虫的进度指示

    。爬虫的数据存储

2.  增量爬虫

    。怎么知道爬取的改变

3.  分布式爬虫

4.  反爬虫

posted @ 2019-03-02 14:32  小小小白1226  阅读(391)  评论(0编辑  收藏  举报