2016年12月21日
Scrapy shell调试网页的信息
摘要： 通过scrapy shell "http://www.thinkive.cn:10000/zentaopms/www/index.php?m=user&f=login" 证明登录成功 http://www.360doc.com/content/15/0414/20/12067640_46322320 阅读全文
posted @ 2016-12-21 23:30 Agoly 阅读(983) 评论(0) 推荐(0) 编辑
scrapy爬虫结果插入mysql数据库
摘要： 1.通过工具创建数据库scrapy 2.在scrapy数据库中创建douban表 3.在scrapy爬虫代码中设置指向数据库的参数pipeline.py 在setting.py文件中设置 4.安装MySQLdb驱动 MySQL-python-1.2.3.win-amd64-py2.7.exe 查看驱 阅读全文
posted @ 2016-12-21 15:35 Agoly 阅读(13232) 评论(0) 推荐(0) 编辑
xpath定位实战（1）
摘要： 1.执行scrapy shell "https://book.douban.com/subject/2256039/" 通过火狐浏览器的firebug和firepath插件查看页面元素的xpath 注意： 1.通过text()获取元素的属性值 阅读全文
posted @ 2016-12-21 10:39 Agoly 阅读(281) 评论(0) 推荐(0) 编辑