2020年9月14日
爬取梨视频网页的视频
摘要： """ 目标:爬取梨视频世界板块的视频并下载到本地 分析:数据为动态加载的 """ import requests from lxml import etree import re import os dirName = './videoLibs' if not os.path.exists(dir 阅读全文
posted @ 2020-09-14 07:51 straightup 阅读(236) 评论(0) 推荐(0) 编辑
requests模块的进阶使用
摘要： 代理 代理服务器,可以接受请求后将其转发,从而更换我们请求所对应的ip 匿名度 高匿:啥也不知道 匿名:服务器会知道我使用了代理但是不知道我的真实ip 透明:服务器会知道我使用了代理并且知道我的真实ip 类型 http:意味着这个服务器只能转发http协议的请求 https:只能转发https协议的 阅读全文
posted @ 2020-09-14 07:49 straightup 阅读(260) 评论(0) 推荐(0) 编辑
免费简历的爬取
摘要： # 免费的简历模板进行爬取本地保存 # http://sc.chinaz.com/jianli/free.html # http://sc.chinaz.com/jianli/free_2.html import requests from lxml import etree import os d 阅读全文
posted @ 2020-09-14 07:06 straightup 阅读(502) 评论(0) 推荐(0) 编辑
数据解析
摘要： 图片的爬取 import requests headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 S 阅读全文
posted @ 2020-09-14 07:03 straightup 阅读(150) 评论(0) 推荐(0) 编辑