随笔分类 -  网络编程

scrapy：日志和post请求
摘要：# 1. scrapy的日志信息设置 ![image-20230526133228313](http://pic.irun2u.top/image-20230526133228313.png%3Ewatermark) 配置文件settings.py设置： 默认的级别为DEBUG，会显示上面所有的信息 阅读全文
posted @ 2023-05-26 14:50 yub4by 阅读(25) 评论(0) 推荐(0) 编辑
scrapy：CrawlSpider及其案例
摘要：# 1. CrawSpider介绍 ![image-20230525163921435](http://pic.irun2u.top/image-20230525163921435.png%3Ewatermark) 运行原理： ![image-20230525163958211](http://pi 阅读全文
posted @ 2023-05-25 17:38 yub4by 阅读(21) 评论(0) 推荐(0) 编辑
scrapy：电影天堂案例
摘要：> 嵌套数据封装成一个item（一个item包含多级页面的数据）：每条记录的名称+点进去之后第二页中的图片 ![image-20230525150658615](http://pic.irun2u.top/image-20230525150658615.png%3Ewatermark) ![imag 阅读全文
posted @ 2023-05-25 16:13 yub4by 阅读(58) 评论(0) 推荐(0) 编辑
scrapy：当当网案例
摘要：# 1. 创建爬虫项目 ![image-20230525105251508](http://pic.irun2u.top/image-20230525105251508.png%3Ewatermark) ![image-20230525105456836](http://pic.irun2u.top 阅读全文
posted @ 2023-05-25 15:02 yub4by 阅读(29) 评论(0) 推荐(0) 编辑
scrapy：快速入门
摘要：# 1. 安装 ![image](https://img2023.cnblogs.com/blog/2370433/202305/2370433-20230525102713659-1573556388.png) # 2. 项目创建与运行 ![image](https://img2023.cnblo 阅读全文
posted @ 2023-05-25 10:35 yub4by 阅读(9) 评论(0) 推荐(0) 编辑
scrapy：scrapy shell
摘要：![image](https://img2023.cnblogs.com/blog/2370433/202305/2370433-20230525102319099-716995024.png) ![image](https://img2023.cnblogs.com/blog/2370433/20 阅读全文
posted @ 2023-05-25 10:24 yub4by 阅读(3) 评论(0) 推荐(0) 编辑
requests: 基本使用、get、post、代理、cookie案例、超级鹰打码api
摘要：# 1、requests_1_基本使用 ```python """ .-''-. .--. _..._ .' .-. ) |__| .' '. / .' / / .--..-,.--. . .-. . (_/ / / | || .-. | | ' ' | / / | || | | | _ _ | | 阅读全文
posted @ 2023-05-21 15:18 yub4by 阅读(29) 评论(0) 推荐(0) 编辑
客户端模拟: selenium等
摘要：# 1. 为什么要学习selenium ![image](https://img2023.cnblogs.com/blog/2370433/202304/2370433-20230413212506797-398737562.png) ![image](https://img2023.cnblogs 阅读全文
posted @ 2023-04-13 21:26 yub4by 阅读(20) 评论(0) 推荐(0) 编辑
解析: BeautifulSoup (bs4)
摘要：<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> </head> <body> <div> <ul> <li id="l1">张三</li> <li id="l2">李四</li> 阅读全文
posted @ 2023-04-12 21:35 yub4by 阅读(41) 评论(0) 推荐(0) 编辑
解析: jsonpath
摘要：{ "store": { "book": [ { "category": "修真", "author": "六道", "title": "坏蛋是怎样练成的", "price": 8.95 }, { "category": "修真", "author": "天蚕土豆", "title": "斗破苍穹" 阅读全文
posted @ 2023-04-11 23:51 yub4by 阅读(16) 评论(0) 推荐(0) 编辑
解析: xpath续: 站长素材图片下载器
摘要：""" .-''-. .--. _..._ .' .-. ) |__| .' '. / .' / / .--..-,.--. . .-. . (_/ / / | || .-. | | ' ' | / / | || | | | _ _ | | | | / / _ _ | || | | || ' / | 阅读全文
posted @ 2023-04-10 21:57 yub4by 阅读(25) 评论(0) 推荐(0) 编辑
解析: xpath
摘要：解析_1_xpath基本使用 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"/> <title>Title</title> </head> <body> <ul> <li id="l1" class="c1">北京</li> 阅读全文
posted @ 2023-04-03 23:01 yub4by 阅读(14) 评论(0) 推荐(0) 编辑
urilib: ajax&异常&cookie登陆&handler&代理[池]
摘要：urllib_9_ajax的get请求豆瓣电影第一页 """ .-''-. .--. _..._ .' .-. ) |__| .' '. / .' / / .--..-,.--. . .-. . (_/ / / | || .-. | | ' ' | / / | || | | | _ _ | | | 阅读全文
posted @ 2023-04-03 22:58 yub4by 阅读(18) 评论(0) 推荐(0) 编辑
urilib: 基本使用&get&post
摘要：urllib_1_基本使用 """ .-''-. .--. _..._ .' .-. ) |__| .' '. / .' / / .--..-,.--. . .-. . (_/ / / | || .-. | | ' ' | / / | || | | | _ _ | | | | / / _ _ | | 阅读全文
posted @ 2023-03-25 00:28 yub4by 阅读(49) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示