随笔分类 - Python
摘要：1.html代码 2.js代码
阅读全文
摘要：1.html代码 2.js代码
阅读全文
摘要：参考链接：https://www.highcharts.com.cn/docs/process-text-data-file 1.javascript代码 2.html代码 效果： 1.修改成从scv文件中获取数据 csv文件内容如下： 2.py代码 3.html代码 4.js代码 --还是原来的
阅读全文
摘要：参考链接：https://www.highcharts.com.cn/docs/ajax 参考链接中的示例代码是使用php写的，这里改用python写。 需要注意的地方： 1.接口返回的数据格式，这个需要根据Ajax请求代码而定，是一个数值，还是一个数组。 2.js中Ajax的写法，请求路径，请求返
阅读全文
摘要：服务端动态渲染图表 参考文章链接：https://www.highcharts.com.cn/docs/dynamic-produce-html-page 参考文章是使用php写的，我这边改用python写 具体如下： 1.目录结构： ajax_demo ajax_demo.py templates
阅读全文
摘要：本文转载自以下链接：https://github.com/Light-City/AutoDownloadWhl 源码地址： https://github.com/Light-City/AutoDownloadWhl 本次脚本我将它命名为：Whl自助搜索下载器 实现了如下功能： 支持检索 支持查找 支
阅读全文
摘要：需要学习的地方，使用官方组件下载图片的用法，保存item到MySQL数据库 需要提前创建好MySQL数据库，根据item.py文件中的字段信息创建相应的数据表 1.items.py文件 2.settings.py文件 3.pipeline.py文件
阅读全文
摘要：需要学习的地方： 保存item到MySQL数据库，MongoDB数据库，下载图片 1.爬虫文件images.py 2.items.py 3.pipelines.py 4.settings.py 配置文件中增加如下内容 代码下载地址：https://files.cnblogs.com/files/sa
阅读全文
摘要：1.爬虫文件httpbin.py 2.中间件文件middlewares.py 不在settings.py文件中设置请求头。而是在下载器中间件中，也就是在请求requests之前加上请求头 另外在response响应后更改状态码 3.配置文件settings.py 在配置文件中启用该配置
阅读全文
摘要：描述：需要拖动拼合滑块才可以完成验证 准备工作： 使用的Python库是selenium，浏览器为Chrome 识别验证的关键思路： 1.模拟点击验证按钮 2.识别滑动缺口的位置 3.模拟拖动滑块
阅读全文
摘要：pipelines.py文件中
阅读全文
摘要：前提工作：识别图形验证码需要库tesserocr 把图形验证码保存到项目根目录，然后利用程序识别 方法1： 方法2：识别度较差 方法3：做一些灰度处理和二值化处理，推荐使用 注意： 使用这样的识别方法存在如下两种情况： 1.识别有误 2.完全识别不出来
阅读全文
摘要：在 Chrome 59 版本开始已经开始支持了 Headless 模式，也就是无界面模式，这样爬取的时候就不会弹出浏览器了，如果要使用此模式请把 Chrome 升级到 59 版本及以上，启用 Headless 模式的方式如下： 首先创建一个 ChromeOptions 对象，添加一个 headles
阅读全文
摘要：直接使用模拟浏览器运行的方式来实现，这样我们就可以做到浏览器看到是什么样，抓取的源码就是什么样，也就是可见即可爬。这样我们就不用再去管网页内部的 JavaScript 用了什么算法渲染页面，不用管网页后台的 Ajax 接口到底有哪些参数，利用模拟浏览器的方式我们都可以直接获取 JavaScript
阅读全文
摘要：前提条件： 安装并运行redis服务端程序，安装RedisPy库 说明：Redis 是 StrictRedis 的子类，它的主要功能是用于向后兼容旧版本库里的几个方法，官方推荐使用 StrictRedis。 1.连接 2.key操作 方法 作用 参数说明 示例 示例说明 示例结果 exists(na
阅读全文
摘要：1.连接MongoDB 连接 MongoDB 我们需要使用 PyMongo 库里面的 MongoClient，一般来说传入 MongoDB 的 IP 及端口即可，第一个参数为地址 host，第二个参数为端口 port，端口如果不传默认是 27017。 2.指定数据库 3.指定集合 MongoDB 的
阅读全文
摘要：1.连接并创建数据库 执行结果： Database version: ('5.7.23',) 结果是创建一个名为spiders的数据库 2.创建数据表 注意：这次连接数据库时需要指定创建数据表所在的数据库，也就是db参数的值 3.插入一条数据 通用写法： 这样一来，若是写入更多值的话直接给data字
阅读全文
摘要：5.1 文件存储 文件存储形式可以是多种多样的，比如可以保存成 TXT 纯文本形式，也可以保存为 Json 格式、CSV 格式等，本节我们来了解下文本文件的存储方式。 5.1.1 TXT文本存储 将数据保存到 TXT 文本的操作非常简单，而且 TXT 文本几乎兼容任何平台，但是有个缺点就是不利于检索，所以如果对检索和数据结构要求不高，追求方便第一的话，可以采用 TXT 文本存储，本节我们来看...
阅读全文
摘要：基于菜鸟教程实际操作后总结而来 Python MongoDB MongoDB 是目前最流行的 NoSQL 数据库之一，使用的数据类型 BSON（类似 JSON）。 MongoDB 数据库安装与介绍可以查看我们的 MongoDB 教程。 PyMongo Python 要连接 MongoDB 需要 Mo
阅读全文