摘要:
一、模板使用 scrapy 在建立爬虫的时候,还可以指定使用的模板进行建立 默认建立爬虫文件的命令: 可以用 scrapy genspider --list 命令 查看scrapy的模板 通过crawl模板生成拉钩网爬虫文件 二、编写lagou.py import scrapy from scrap 阅读全文
摘要:
user-agent大全页面: https://fake-useragent.herokuapp.com/browsers/0.1.6 使用fake-useragent模块 模块github地址:https://github.com/hellysmile/fake-useragent 安装方法: 使 阅读全文