随笔分类 - 爬虫

scrapy框架

摘要：scrapy框架 scrapy介绍 scrapy是爬虫的一个框架，其重要程度相当于python中的django scrapy把爬虫所用的东西都封装好了，使用的时候只需在固定的位置写固定的代码即可 scrapy介绍 Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所阅读全文

posted @ 2022-12-07 21:44 Nirvana* 阅读(31) 评论(0) 推荐(0) 编辑

爬虫——selenium、 xpath的使用

摘要：爬虫——selenium、 xpath的使用目录 xpath的使用 selenium动作链自动登录12306 打码平台的使用使用打码平台自动登录使用selenium爬取京东商品信息 scrapy介绍 xpath 的使用在html中选择标签，可使用的通用方式 css选择 xpath选择什阅读全文

posted @ 2022-12-06 21:23 Nirvana* 阅读(56) 评论(0) 推荐(0) 编辑

爬虫初识

摘要：爬虫初识爬虫介绍爬虫（spider）又称网络蜘蛛爬虫的本质目前所有的软件的原理都是基于http请求发送和获取数据的，如PC端的网页，移动端的app 爬虫可以模拟发送http请求，从别人的服务端获取数据。对于不同的程序，都会有不同的反扒措施。爬虫原理模拟发送http请求【requests，阅读全文

posted @ 2022-11-23 21:23 Nirvana* 阅读(47) 评论(0) 推荐(0) 编辑