随笔分类 -  爬虫

04 selenium：等待元素加载 ，元素操作，执行js，切换选项卡，前进后退，异常处理，登录cnblogs，抽屉半自动点赞，xpath使用，动作链，自动登录12306，打码平台，打码平台自动登录
摘要：# 1 selenium等待元素加载 ```python # 程序执行速度很快 》获取标签 》标签还没加载好 》直接去拿会报错 # 显示等待：当你要找一个标签的时候，给它加单独加等待时间 # 隐士等待：只要写一行，代码中查找标签，如果标签没加载好，会自动等待 browser.implicitly_w 阅读全文
posted @ 2023-07-13 21:31 无敌大帅逼 阅读(27) 评论(0) 推荐(0) 编辑
03 爬取新闻 bs4介绍遍历文档树，bs4搜索文档树， css选择器， selenium基本使用，selenium其他使用 搜索标签
摘要：# 1 爬取新闻 ```python # 1 爬取网页 requests # 2 解析 xml格式，用了re匹配的 html，bs4，lxml。。。 json： -python ：内置的 -java ： fastjson 》漏洞 -java： 谷歌 Gson -go ：内置 基于反射，效率不高 `` 阅读全文
posted @ 2023-07-13 21:26 无敌大帅逼 阅读(26) 评论(0) 推荐(0) 编辑
http 和 https区别,自动携带cookie的session对象，响应response，下载图片视频到本地，编码问题，解析json，ssl认证，使用代理，超时设置，异常处理，上传文件，代理池搭建，爬取某视频网站
摘要：# 1.1 自动携带cookie 的session对象 ```python # session对象 》已经模拟登录上了一些网站 》单独把cookie 取出来 -res.cookies -转成字典 res.cookies.get_dict() #请求头和数据 import requests heade 阅读全文
posted @ 2023-07-07 21:03 无敌大帅逼 阅读(171) 评论(0) 推荐(0) 编辑
，软件运行监听地址 ，扫码登录，爬虫介绍，requests模块介绍和快速使用，get请求携带参数，编码和解码，携带请求头，发送post请求携带数据，携带cookie两种方式
摘要：# 补充 ```python # 软件运行，监听地址 127.0.0.1 只能访问 127.0.0.1 localhost 不能用本机ip地址访问，外部所有人都不能 访问你 0.0.0.0 127.0.0.1 localhost 本机ip地址访问 同一个局域网内，都可以通过ip地址访问 # 本地ho 阅读全文
posted @ 2023-07-07 20:58 无敌大帅逼 阅读(373) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示