随笔分类 -  Python爬虫

摘要:简介 本文主要讲常规分页爬取与利用Scrapy框架怎么快捷的爬取分页的数据以及cookie登录,案例网站时17k小说网,url是https://www.17k.com/ 常规分页爬取 Scrapy框架分页爬取 cookie登录 分页 常规分页爬取 常规分页爬取,直接观察页面数据,一共有多少页数据,就 阅读全文
posted @ 2023-12-14 10:02 小C学安全 阅读(281) 评论(0) 推荐(0) 编辑
摘要:Spider代码 class BizhizolSpider(scrapy.Spider): name = "bizhizol" allowed_domains = ["zol.com.cn"] start_urls = ["https://desk.zol.com.cn/youxi/"] def p 阅读全文
posted @ 2023-12-13 15:46 小C学安全 阅读(49) 评论(0) 推荐(0) 编辑
摘要:Scrapy简介 Scrapy 是一个用于爬取和提取数据的开源web抓取框架。它提供了一个强大的机制,让开发者可以轻松地创建和管理爬虫程序,以从网站上自动提取结构化的数据。 以下是Scrapy的一些主要特点和优势: 强大灵活的爬取能力:Scrapy具有高度可配置的请求处理和数据提取功能。它可以轻松地 阅读全文
posted @ 2023-12-12 17:46 小C学安全 阅读(226) 评论(0) 推荐(0) 编辑
摘要:接口分析 获取接口地址 选择自己感兴趣的抖音博主,本次以“经典老歌【车载U盘】”为例 每次请求的页面会有很多接口,需要对接口进行筛选: 第一步筛选XHR筛选 第二步筛选URL中带有post 通过筛选play_add值找到视频的地址 分析请求头 通过对比两次请求发现只有X-Bogus数值会有变化,ma 阅读全文
posted @ 2023-12-09 17:25 小C学安全 阅读(4068) 评论(2) 推荐(0) 编辑

点击右上角即可分享
微信分享提示