摘要: 解析 xpath使用 安装lxml库 pip install lxml ‐i https://pypi.douban.com/simple pip install lxml -i https://mirrors.aliyun.com/pypi/simple 导入lxml etree from lxm 阅读全文
posted @ 2024-07-11 20:11 donghongchao 阅读(2) 评论(0) 推荐(0) 编辑
摘要: cookie登录 编码反爬 cookie中携带者个人登录信息,如果有登录之后的cookie,那么我们可以携带者cookie进入到任何页面 # 适用的场景:数据采集的时候 需要绕过登陆 然后进入到某个页面 # 个人信息页面是utf-8 但是还报错了编码错误 因为并没有进入到个人信息页面 而是跳转到了登 阅读全文
posted @ 2024-07-11 15:49 donghongchao 阅读(5) 评论(0) 推荐(0) 编辑
摘要: ajax的post请求 import urllib.request import urllib.parse # url = 'https://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname' # # headers = { # 'user- 阅读全文
posted @ 2024-07-11 12:01 donghongchao 阅读(5) 评论(0) 推荐(0) 编辑
摘要: import urllib import urllib.request import urllib.parse import json #分析获取数据 url = 'https://movie.douban.com/j/chart/top_list?type=24&interval_id=100%3 阅读全文
posted @ 2024-07-11 10:38 donghongchao 阅读(2) 评论(0) 推荐(0) 编辑
摘要: get请求豆瓣电影 下载 import urllib.parse import urllib.request import json # url = 'https://movie.douban.com/j/chart/top_list?type=19&interval_id=100%3A90&act 阅读全文
posted @ 2024-07-10 23:47 donghongchao 阅读(2) 评论(0) 推荐(0) 编辑
摘要: # #post请求百度之详细翻译 # import urllib.request # import urllib.parse # url = 'https://fanyi.baidu.com/sug' # data = { # 'kw': "spide" # } # print(data) # da 阅读全文
posted @ 2024-07-10 18:16 donghongchao 阅读(4) 评论(0) 推荐(0) 编辑
摘要: 请求对象的定制 import urllib.request url=("https://www.baidu.com") heards = { 'user-agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (K 阅读全文
posted @ 2024-07-10 15:50 donghongchao 阅读(2) 评论(0) 推荐(0) 编辑
摘要: url = 'http://www.baidu.com' #模拟浏览器向服务器发送请求 response = urllib.request.urlopen(url) # res = response.read().decode('utf-8') #print(res) #一个类型,六个方法 # pr 阅读全文
posted @ 2024-07-10 10:51 donghongchao 阅读(3) 评论(0) 推荐(0) 编辑
摘要: import urllib.parse import urllib.request def create_request(page): base_url = 'https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90& 阅读全文
posted @ 2024-07-04 07:18 donghongchao 阅读(6) 评论(0) 推荐(0) 编辑
摘要: 在三台机器上都执行如下命令操作: 1、关闭防火墙 systemctl stop firewalld systemctl disable firewalld 2、关闭 selinux sed -i 's/enforceing/disabled/' /etc/selinux/config # 永久关闭 阅读全文
posted @ 2023-12-17 17:23 donghongchao 阅读(18) 评论(0) 推荐(0) 编辑