随笔分类 - spider
selenium、xpath、打码平台
摘要：[toc] ## 1 selenium等待元素加载 ```python # 程序执行速度很快 》获取标签 》标签还没加载好 》直接去拿会报错 # 显示等待：当你要找一个标签的时候，给它加单独加等待时间 # 隐士等待：只要写一行，代码中查找标签，如果标签没加载好，会自动等待 browser.impli
爬取新闻 ，bs4, css选择器，selenium基本使用
摘要：[toc] ## 1 爬取新闻 ```python # 1 爬取网页 requests # 2 解析 xml格式，用了re匹配的 html，bs4，lxml。。。 json： -python ：内置的 -java ： fastjson 》漏洞 -java： 谷歌 Gson -go ：内置 基于反射，
requests高级用法 代理池搭建 爬取某视频网站
摘要：[toc] ```python # 1 扫码登录 前端 -1 前端进入扫码登录页面 》向后端发送请求，获取一个验证码图片，显示在前端 -把key:1234567暂存 -2 掏出手机扫码 》用自己的app 》扫码 》app端提示是否登录 》当你点登录 》向二维码链接地址发送请求 》http://192
爬虫第一天基础
摘要：[toc] ## 1 前戏 ``` #介绍：使用requests可以模拟浏览器的请求，比起之前用到的urllib，requests模块的api更加便捷（本质就是封装了urllib3） #注意：requests库发送请求将网页内容下载下来以后，并不会执行js代码，这需要我们自己分析目标站点然后发起新的
