2019年2月1日
Scrapy Item用法示例（保存item到MySQL数据库，MongoDB数据库，使用官方组件下载图片）
摘要： 需要学习的地方： 保存item到MySQL数据库，MongoDB数据库，下载图片 1.爬虫文件images.py 2.items.py 3.pipelines.py 4.settings.py 配置文件中增加如下内容 代码下载地址：https://files.cnblogs.com/files/sa 阅读全文
posted @ 2019-02-01 14:15 哈喽哈喽111111 阅读(369) 评论(0) 推荐(0) 编辑
Scrapy下载器中间件用法示例
摘要： 1.爬虫文件httpbin.py 2.中间件文件middlewares.py 不在settings.py文件中设置请求头。而是在下载器中间件中，也就是在请求requests之前加上请求头 另外在response响应后更改状态码 3.配置文件settings.py 在配置文件中启用该配置 阅读全文
posted @ 2019-02-01 14:11 哈喽哈喽111111 阅读(430) 评论(0) 推荐(0) 编辑
Scrapy爬虫框架示意图汇总
摘要： 阅读全文
posted @ 2019-02-01 11:24 哈喽哈喽111111 阅读(474) 评论(0) 推荐(0) 编辑
极验滑动验证码的识别
摘要： 描述：需要拖动拼合滑块才可以完成验证 准备工作： 使用的Python库是selenium，浏览器为Chrome 识别验证的关键思路： 1.模拟点击验证按钮 2.识别滑动缺口的位置 3.模拟拖动滑块 阅读全文
posted @ 2019-02-01 11:01 哈喽哈喽111111 阅读(884) 评论(0) 推荐(0) 编辑