摘要: 一、模板使用 scrapy 在建立爬虫的时候,还可以指定使用的模板进行建立 默认建立爬虫文件的命令: 可以用 scrapy genspider --list 命令 查看scrapy的模板 通过crawl模板生成拉钩网爬虫文件 二、编写lagou.py import scrapy from scrap 阅读全文
posted @ 2018-10-24 11:53 Trunkslisa 阅读(581) 评论(0) 推荐(0) 编辑
摘要: user-agent大全页面: https://fake-useragent.herokuapp.com/browsers/0.1.6 使用fake-useragent模块 模块github地址:https://github.com/hellysmile/fake-useragent 安装方法: 使 阅读全文
posted @ 2018-10-24 09:55 Trunkslisa 阅读(1078) 评论(0) 推荐(0) 编辑