摘要: 以前写爬虫都是直接手写获取response然后用正则匹配,被大佬鄙视之后现在决定开始学习scrapy 一、安装 二、创建项目 三、配置 在项目内的settings文件加入 用于爬取中文 四、第一个爬虫 在项目的spiders文件夹新建一个py文件作为爬虫的程序 这个爬虫爬的是我的博客列表,目的是输出 阅读全文
posted @ 2018-03-06 17:42 luozx207 阅读(171) 评论(0) 推荐(1) 编辑
摘要: 一、用我们的老朋友pip把selenium装好 二、用webdriver.Chrome启动Chrome浏览器 但是报错:WebDriverException: 'chromedriver' executable needs to be in PATH 查了一下,是因为mac的/usr/bin/中没有 阅读全文
posted @ 2018-03-06 11:40 luozx207 阅读(7962) 评论(0) 推荐(1) 编辑