哆啦A梦 50周年应援
2021年11月12日
scrapy的安装，scrapy创建项目
摘要： 简要： scrapy的安装 # 1）pip install scrapy -i https://pypi.douban.com/simple（国内源） 一步到位 # 2) 报错1： building 'twisted.test.raiser' extension # error: Microsoft 阅读全文
posted @ 2021-11-12 15:38 秋泊ソース 阅读(275) 评论(0) 推荐(0) 编辑
关于验证码识别的一些方案
摘要： 算法开发识别开发效率低，而且还不能保证识别的准确性。我们常常使用一些验证码识别平台进行验证码识别 # chaojiying.py# coding:utf-8 import requests from hashlib import md5 class Chaojiying_Client(object) 阅读全文
posted @ 2021-11-12 11:01 秋泊ソース 阅读(126) 评论(0) 推荐(0) 编辑
2021年11月11日
requests_cookie登陆古诗文网。session的使用
摘要： 通过登录失败，快速找到登录接口 获取hidden隐藏域中的id的value值 # 通过登陆 然后进入到主页面 # 通过找登陆接口我们发现 登陆的时候需要的参数很多 # _VIEWSTATE: /m1O5dxmOo7f1qlmvtnyNyhhaUrWNVTs3TMKIsm1lvpIgs0WWWUCQH 阅读全文
posted @ 2021-11-11 11:38 秋泊ソース 阅读(142) 评论(0) 推荐(0) 编辑
requests之代理的使用
摘要： import requests # 访问url url = 'http://www.baidu.com/s?' # 请求头 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 阅读全文
posted @ 2021-11-11 10:42 秋泊ソース 阅读(145) 评论(0) 推荐(0) 编辑
2021年11月9日
JSON实现序列化dump和dumps方法，JSON实现反序列化loads和load方法
摘要： 通过文件操作，我们可以将字符串写入到一个本地文件。但是，如果是一个对象(例如列表、字典、元组等)，就无 法直接写入到一个文件里，需要对这个对象进行序列化，然后才能写入到文件里。 设计一套协议，按照某种规则，把内存中的数据转换为字节序列，保存到文件，这就是序列化，反之，从文件的字 节序列恢复到内存中， 阅读全文
posted @ 2021-11-09 17:39 秋泊ソース 阅读(784) 评论(1) 推荐(0) 编辑
requests的post请求基本使用
摘要： import requests # 请求url url = 'https://fanyi.baidu.com/sug' # 请求头 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537 阅读全文
posted @ 2021-11-09 16:42 秋泊ソース 阅读(169) 评论(0) 推荐(0) 编辑
requests的get请求基本使用
摘要： 官方文档 https://docs.python-requests.org/zh_CN/latest/ 快速上手 https://docs.python-requests.org/zh_CN/latest/user/quickstart.html 安装 pip install requests re 阅读全文
posted @ 2021-11-09 16:12 秋泊ソース 阅读(639) 评论(0) 推荐(0) 编辑
Chrome handless无界面浏览器的脚本操作
摘要： 1.什么是Phantomjs (已经停止更新) 是一个无界面的浏览器 支持页面元素查找，js的执行等 由于不进行css和gui渲染，运行效率要比真实的浏览器要快很多 2.如何使用Phantomjs？ 获取PhantomJS.exe文件路径path browser = webdriver.Phanto 阅读全文
posted @ 2021-11-09 15:16 秋泊ソース 阅读(383) 评论(0) 推荐(0) 编辑
selenium的 元素定位、元素信息、交互
摘要： selenium的元素定位？ 元素定位：自动化要做的就是模拟鼠标和键盘来操作来操作这些元素，点击、输入等等。操作这些元素前首先 要找到它们，WebDriver提供很多定位元素的方法 方法： 1.find_element_by_id eg:button = browser.find_element_b 阅读全文
posted @ 2021-11-09 13:09 秋泊ソース 阅读(148) 评论(0) 推荐(0) 编辑
2021年11月8日
selenium基本使用,及cannot find chrome binary解决方案
摘要： 什么是selenium？ Selenium是一个用于Web应用程序测试的工具。 Selenium 测试直接运行在浏览器中，就像真正的用户在操作一样。 支持通过各种driver（FirfoxDriver，IternetExplorerDriver，OperaDriver，ChromeDriver）驱动 阅读全文
posted @ 2021-11-08 17:12 秋泊ソース 阅读(1369) 评论(0) 推荐(0) 编辑