摘要: 安装好了MySQL数据库并保证它能正常运行,而且需要安装好PyMySQL库。 连接数据库 这里,首先尝试连接一下数据库。假设当前的MySQL运行在本地,用户名为root,密码为123456,运行端口为3306。这里利用PyMySQL先连接MySQL,然后创建一个新的数据库,名字叫作spiders,代 阅读全文
posted @ 2018-06-30 22:56 王琳杰 阅读(941) 评论(0) 推荐(0) 编辑
摘要: 使用XPath 保存为TXT 保存为csv 读取csv Excel打开乱码参考:excel打开csv文件显示乱码的处理方法_百度经验 保存到MongoDB 稍微改动 抛出异常 raise DuplicateKeyError(error.get("errmsg"), 11000, error) pym 阅读全文
posted @ 2018-06-30 20:35 王琳杰 阅读(1309) 评论(0) 推荐(0) 编辑
摘要: 发送post请求 可以使用 yield scrapy.FormRequest(url, formdata, callback)方法发送POST请求。 如果希望程序执行一开始就发送POST请求,可以重写Spider类的start_requests(self) 方法,并且不再调用start_urls里的 阅读全文
posted @ 2018-06-30 11:49 王琳杰 阅读(315) 评论(0) 推荐(0) 编辑
摘要: 爬取站点 https://it.ithome.com/ityejie/ ,进入详情页提取内容。 阅读全文
posted @ 2018-06-30 10:41 王琳杰 阅读(296) 评论(0) 推荐(0) 编辑
摘要: 爬取站点 https://it.ithome.com/ityejie/ ,进入详情页提取内容。 阅读全文
posted @ 2018-06-30 02:19 王琳杰 阅读(359) 评论(0) 推荐(0) 编辑