摘要: 一开始接触用python 写爬虫用的是bs4 request urllib2 这些库,简单爬取网页简直不要太简单 类似这种: 自己在上家写的那些找不到了,逻辑是 Python 爬虫脚本 爬取解析网页,提取有效字段,整理写入csv文件供市场部门使用 Scrapy爬虫框架: 安装: 爬虫框架scrapy 阅读全文
posted @ 2017-03-24 10:27 饮马天涯 阅读(170) 评论(0) 推荐(0) 编辑
摘要: 花了将近一下午才装好#scrapy#,我也真是毙了狗了 上为背景,其中的艰难困苦自不必题。 参考指导的文档: 1· 安装指南 (不太详细) 2·Python爬虫进阶三之Scrapy框架安装配置(较详细) 问题: 1·缺少python依赖的c++库,按照上述文档2中的链接下载安装,不题。 2·安装lx 阅读全文
posted @ 2017-03-24 10:02 饮马天涯 阅读(166) 评论(0) 推荐(0) 编辑