摘要: 1,腾讯岗位招聘 # -*- coding: utf-8 -*- import scrapy from lxml import etree from ..items import TencentTtem class TxSpider(scrapy.Spider): name = 'tx' allow 阅读全文
posted @ 2018-12-28 20:14 joson01 阅读(210) 评论(0) 推荐(0) 编辑
摘要: 恢复内容开始 恢复内容结束 scrapy的运作流程 1,引擎:hi,spider,你要处理哪一个网站? spider:老大我要处理XXXX.com。 1,引擎:你把第一个需要处理的url交给我吧。 spider:给你,第一个url是xxx.com 1,引擎:hi,调度器,我这儿有个request请求 阅读全文
posted @ 2018-12-28 16:12 joson01 阅读(113) 评论(0) 推荐(0) 编辑
摘要: 一:环境搭建--scrapy pip install scrapy #然后流程 1,scrapy startproject 项目名称 2,scrapy genspider example example.com 小名称 网址(如:baidu.com) 3, 用python设置好相关的配置 4,cd项 阅读全文
posted @ 2018-12-28 16:06 joson01 阅读(67) 评论(0) 推荐(0) 编辑