随笔分类 - Python爬虫
摘要：干货集中营地址：https://gank.io/ 点击菜单栏里的api，进入接口页面：https://gank.io/api 有这么一个说明： 分类数据 API https://gank.io/api/v2/data/category/<category>/type/<type>/page/<pag
阅读全文
摘要：需要学习的地方，使用官方组件下载图片的用法，保存item到MySQL数据库 需要提前创建好MySQL数据库，根据item.py文件中的字段信息创建相应的数据表 1.items.py文件 2.settings.py文件 3.pipeline.py文件
阅读全文
摘要：需要学习的地方： 保存item到MySQL数据库，MongoDB数据库，下载图片 1.爬虫文件images.py 2.items.py 3.pipelines.py 4.settings.py 配置文件中增加如下内容 代码下载地址：https://files.cnblogs.com/files/sa
阅读全文
摘要：1.爬虫文件httpbin.py 2.中间件文件middlewares.py 不在settings.py文件中设置请求头。而是在下载器中间件中，也就是在请求requests之前加上请求头 另外在response响应后更改状态码 3.配置文件settings.py 在配置文件中启用该配置
阅读全文
摘要：描述：需要拖动拼合滑块才可以完成验证 准备工作： 使用的Python库是selenium，浏览器为Chrome 识别验证的关键思路： 1.模拟点击验证按钮 2.识别滑动缺口的位置 3.模拟拖动滑块
阅读全文
摘要：pipelines.py文件中
阅读全文
摘要：前提工作：识别图形验证码需要库tesserocr 把图形验证码保存到项目根目录，然后利用程序识别 方法1： 方法2：识别度较差 方法3：做一些灰度处理和二值化处理，推荐使用 注意： 使用这样的识别方法存在如下两种情况： 1.识别有误 2.完全识别不出来
阅读全文
摘要：在 Chrome 59 版本开始已经开始支持了 Headless 模式，也就是无界面模式，这样爬取的时候就不会弹出浏览器了，如果要使用此模式请把 Chrome 升级到 59 版本及以上，启用 Headless 模式的方式如下： 首先创建一个 ChromeOptions 对象，添加一个 headles
阅读全文
摘要：直接使用模拟浏览器运行的方式来实现，这样我们就可以做到浏览器看到是什么样，抓取的源码就是什么样，也就是可见即可爬。这样我们就不用再去管网页内部的 JavaScript 用了什么算法渲染页面，不用管网页后台的 Ajax 接口到底有哪些参数，利用模拟浏览器的方式我们都可以直接获取 JavaScript
阅读全文
摘要：前提条件： 安装并运行redis服务端程序，安装RedisPy库 说明：Redis 是 StrictRedis 的子类，它的主要功能是用于向后兼容旧版本库里的几个方法，官方推荐使用 StrictRedis。 1.连接 2.key操作 方法 作用 参数说明 示例 示例说明 示例结果 exists(na
阅读全文
摘要：1.连接MongoDB 连接 MongoDB 我们需要使用 PyMongo 库里面的 MongoClient，一般来说传入 MongoDB 的 IP 及端口即可，第一个参数为地址 host，第二个参数为端口 port，端口如果不传默认是 27017。 2.指定数据库 3.指定集合 MongoDB 的
阅读全文
摘要：1.连接并创建数据库 执行结果： Database version: ('5.7.23',) 结果是创建一个名为spiders的数据库 2.创建数据表 注意：这次连接数据库时需要指定创建数据表所在的数据库，也就是db参数的值 3.插入一条数据 通用写法： 这样一来，若是写入更多值的话直接给data字
阅读全文
摘要：5.1 文件存储 文件存储形式可以是多种多样的，比如可以保存成 TXT 纯文本形式，也可以保存为 Json 格式、CSV 格式等，本节我们来了解下文本文件的存储方式。 5.1.1 TXT文本存储 将数据保存到 TXT 文本的操作非常简单，而且 TXT 文本几乎兼容任何平台，但是有个缺点就是不利于检索，所以如果对检索和数据结构要求不高，追求方便第一的话，可以采用 TXT 文本存储，本节我们来看...
阅读全文
摘要：重难点：使用scrapy获取的数值是unicode类型，保存到json文件时需要特别注意处理一下，具体请参考链接：https://www.cnblogs.com/sanduzxcvbnm/p/10309401.html 稍加改造也能保存到csv文件中 网址：https://sobooks.net/
阅读全文
摘要：注意：此方法跟之前保存成json文件的写法有少许不同之处，注意区分 情境再现： 使用scrapy抓取中文网页，得到的数据类型是unicode，在控制台输出的话也是显示unicode,如下所示 {'author': u'\u51af\u53cb\u5170\u7b49', 'classificatio
阅读全文
摘要：一般我们运行爬虫程序都是使用命令行，比如：scrapy crwal sobook。不过这多少有些不方便，可以使用下面的方法使用IDE的方式运行爬虫 我这边使用的是pycharm软件，在pycharm里运行这个文件就相当于使用命令行运行爬虫了。
阅读全文
摘要：需要学习的知识： 1.获取到的json数据如何处理 2.保存到json文件 3.保存到MongoDB数据库 4.下载项目图片(含缩略图) 1.创建项目 scrapy startproject gank 2.生成项目爬虫文件 scrapy genspider gank_img gank.io 注意：项
阅读全文
摘要：本文转载自： https://scrapy-chs.readthedocs.io/zh_CN/latest/topics/downloader-middleware.html https://doc.scrapy.org/en/latest/topics/downloader-middleware.
阅读全文