摘要: 利用scrapy框架抓取腾讯的招聘信息,爬取地址为:https://hr.tencent.com/position.php 抓取字段包括:招聘岗位,人数,工作地点,发布时间,及具体的工作要求和工作任务 最终结果保存为两个文件,一个文件放前面的四个字段信息,一个放具体内容信息 1.网页分析 通过网页源 阅读全文
posted @ 2018-05-10 11:31 温良Miner 阅读(3130) 评论(0) 推荐(0) 编辑
摘要: 什么是scrapy shell? Scrapy终端是一个交互终端,我们可以在未启动spider的情况下尝试及调试代码,也可以用来测试xpath或css表达是,来查看他们的工作方式,方便爬取页面中的数据。 selector选择器(scrapy内置) Selecctor有四个基本方法,最常用的还是xpa 阅读全文
posted @ 2018-05-10 08:38 温良Miner 阅读(507) 评论(0) 推荐(0) 编辑
分享到: