耗油炒白菜

2020年8月4日

摘要：一介绍 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器 from selenium 阅读全文

posted @ 2020-08-04 20:56 耗油炒白菜阅读(168) 评论(0) 推荐(0) 编辑

爬虫之xpath选择器的使用

摘要： XPath 简介 XPath 是一门在 XML 文档中查找信息的语言。 # xpath: XPath 是一门在 XML 文档中查找信息的语言 # / :从根节点选取。 # // :不管位置，直接找 # /@属性名 # /text() # 会复制（） xpath # pip3 install lxml 阅读全文

posted @ 2020-08-04 19:59 耗油炒白菜阅读(106) 评论(0) 推荐(0) 编辑

2020年8月3日

爬虫作业

摘要： 1、爬取三国演义http://www.shicimingju.com/book/sanguoyanyi.html 代码： import requests from bs4 import BeautifulSoup res = requests.get('https://www.shicimingju 阅读全文

posted @ 2020-08-03 22:00 耗油炒白菜阅读(94) 评论(0) 推荐(0) 编辑

爬虫之打码平台（验证码破解）

摘要： # 1 验证码破解图像处理 # 2 专业打码平台，破解验证码（收费） # 申请超级鹰，注册 # 登录，下载sdk（代码如下），填入用户名密码，软件id 将下载好的包中文件导入到项目 1、把py文件中的tab符号都替换掉，使用python3的话将prient改一下，再将用户名，密码，以及软件id输入阅读全文

posted @ 2020-08-03 21:17 耗油炒白菜阅读(421) 评论(0) 推荐(0) 编辑

爬虫之代理池搭建

摘要： 1、使用第三方(git clone下来) # github，下载免费代理池开源代码（建议读一下别人的代码） # https://github.com/jhao104/proxy_pool 2、运行起git clone的代理项目，安装必要依赖 # 项目根目录（pycharm终端） # pip3 ins 阅读全文

posted @ 2020-08-03 20:51 耗油炒白菜阅读(281) 评论(0) 推荐(0) 编辑

爬虫之解析库beautifulsoup

摘要：回顾： # 1 爬虫原理：发送请求》解析》入库 # 2 Http协议 -请求协议：请求首行（请求方法，请求版本号：1.1），请求头(客户端类型，referer，Connection: Keep-Alive，Cookie，自定制)，请求体（编码格式：json，urlencoded，fromdata 阅读全文

posted @ 2020-08-03 15:33 耗油炒白菜阅读(177) 评论(0) 推荐(0) 编辑

2020年7月31日

请求库之requests库

摘要：一介绍 #介绍：使用requests可以模拟浏览器的请求，比起之前用到的urllib，requests模块的api更加便捷（本质就是封装了urllib3） #注意：requests库发送请求将网页内容下载下来以后，并不会执行js代码，这需要我们自己分析目标站点然后发起新的request请求 #安装阅读全文

posted @ 2020-07-31 22:11 耗油炒白菜阅读(225) 评论(0) 推荐(0) 编辑

爬虫介绍

摘要：爬虫介绍 # 介绍爬虫 2 urilib3（内置，不好用），requests--模拟发送http请求 3 Beautifulsoup解析，xpth解析 4 selenium模块，操作浏览器 5 Mongodb 6 反爬：代理池，cookie池，请求头中：user-agent，refer，js逆向 7 阅读全文

posted @ 2020-07-31 20:22 耗油炒白菜阅读(153) 评论(0) 推荐(0) 编辑

luffy-项目上线

摘要： 1 上线前准备 1.1 前端上线前配置 settings.js # base_url: 'http://39.99.192.127:8000', // 真实环境：django项目就是跑在8000端口上的之后编译 # 前端执行 npm run build 把你写的vue代码编译成html，css，阅读全文

posted @ 2020-07-31 00:50 耗油炒白菜阅读(269) 评论(0) 推荐(0) 编辑

2020年7月29日

luffy-支付宝支付

摘要：支付宝支付入门 """ 1）支付宝API：六大接口 https://docs.open.alipay.com/270/105900/ 2）支付宝工作流程(见下图)： https://docs.open.alipay.com/270/105898/ 3）支付宝8次异步通知机制(支付宝对我们服务器发送阅读全文

posted @ 2020-07-29 22:30 耗油炒白菜阅读(494) 评论(0) 推荐(0) 编辑

公告