哆啦A梦 50周年应援
2021年11月8日
使用bs4中的方法爬取星巴克数据
摘要： import urllib.request # 请求url url = 'https://www.starbucks.com.cn/menu/' # 模拟浏览器发出请求 response = urllib.request.urlopen(url) # 获取响应数据（read读方法返回字节形式二进制数 阅读全文
posted @ 2021-11-08 15:14 秋泊ソース 阅读(209) 评论(0) 推荐(0) 编辑
BeautifulSoup
摘要： 1.BeautifulSoup简称：bs4 2.BeautifulSoup，和lxml一样，是一个html的解析器，主要功能也是解析和提取数据 3.优缺点？缺点：效率没有lxml的效率高。优点：接口设计人性化，使用方便 安装以及创建 1.安装 pip install bs4 2.导入 from bs 阅读全文
posted @ 2021-11-08 14:48 秋泊ソース 阅读(588) 评论(0) 推荐(0) 编辑
2021年11月5日
jsonpath解析淘票票，所有购票的城市
摘要： 解决一些反爬，校验。 复制所有请求头 import urllib.request # 请求url url = 'https://dianying.taobao.com/cityAction.json?activityId&_ksTS=1629789477003_137&jsoncallback=js 阅读全文
posted @ 2021-11-05 17:31 秋泊ソース 阅读(264) 评论(0) 推荐(0) 编辑
jsonpath语法的基本使用
摘要： jsonpath的安装及使用方式： pip安装： Python3.7\Scripts> pip install jsonpath jsonpath的使用： obj = json.load(open('json文件', 'r', encoding='utf‐8')) ret = jsonpath.js 阅读全文
posted @ 2021-11-05 16:25 秋泊ソース 阅读(304) 评论(0) 推荐(0) 编辑
2021年11月4日
爬取-站长的图片素材
摘要： # 1)请求对象的定制 # 2)获取网页的源码 # 3)下载 # 需求 下载的前十页的图片 # https://sc.chinaz.com/tupian/qinglvtupian.html 1 # https://sc.chinaz.com/tupian/qinglvtupian_page.html 阅读全文
posted @ 2021-11-04 11:07 秋泊ソース 阅读(79) 评论(0) 推荐(0) 编辑
xpath解析案例
摘要： xpath解析百度页面的百度一下 # 1)获取网页的源码 # 2)解析的服务器响应的文件 etree.HTML , 用来解析字符串格式的HTML文档对象，将传进去的字符串转变成 element 对象 # 3)打印 import urllib.request # 请求地址 url = 'https:/ 阅读全文
posted @ 2021-11-04 09:52 秋泊ソース 阅读(80) 评论(0) 推荐(0) 编辑
2021年11月2日
xpath的chrome插件安装，xpath基本语法
摘要： xpath插件安装： 注意：提前安装xpath插件 （1）打开chrome浏览器 （2）点击右上角小圆点 （3）更多工具 （4）扩展程序 （5）拖拽xpath插件到扩展程序中 （6）如果crx文件失效，需要将后缀修改zip （7）再次拖拽 （8）关闭浏览器重新打开 （9）ctrl + shift + 阅读全文
posted @ 2021-11-02 18:05 秋泊ソース 阅读(940) 评论(0) 推荐(0) 编辑
Handler处理器&&使用代理服务器urllib.request.ProxyHandler
摘要： urllib.request.urlopen(url) 不能定制请求头 urllib.request.Request(url,headers,data) 可以定制请求头 Handler 定制更高级的请求头（随着业务逻辑的复杂 请求对象的定制已经满足不了我们的需求（动态cookie和代理 不能使用请求 阅读全文
posted @ 2021-11-02 16:38 秋泊ソース 阅读(342) 评论(0) 推荐(0) 编辑
Python爬虫中的URLError\HTTPError异常类,异常的抛出
摘要： # _*_ coding : utf-8 _*_# @Time : 2021/11/2 14:20# @Author : 秋泊酱 import urllib.request import urllib.error # 构造异常 # url_Http = 'https://www.cnblogs.co 阅读全文
posted @ 2021-11-02 15:16 秋泊ソース 阅读(285) 评论(1) 推荐(0) 编辑
ajax的post请求获取kfc官网数据
摘要： # _*_ coding : utf-8 _*_# @Time : 2021/11/2 13:45# @Author : 秋泊酱 # 1页 # http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname # post # cname: 北 阅读全文
posted @ 2021-11-02 14:31 秋泊ソース 阅读(50) 评论(0) 推荐(0) 编辑