随笔分类 -  Python爬虫

爬虫开发实践经验
摘要：爬虫的目的是爬取数据，是以目标为导向的程序，根据数据类型又分为图片，视频等文件性数据，数据表，统计结果，评论，内容等文字性数据，针对文件性数据，核心点在于在网页元素中找到对应的下载链接，针对文字性数据，需要先区分是动态网页还是静态网页，如果是静态可以直接爬取，如果是动态则需要使用seleium或其他 阅读全文
posted @ 2025-02-24 10:48 小雨淅淅o0 阅读(2) 评论(0) 推荐(0) 编辑
selenium框架使用最佳实践
摘要：安装chromdriver插件 selenium框架使用需要下载chromdriver插件，版本需要和chrome浏览器的大版本一致，查看浏览器版本方法：chrome://version/ ChromeDriver的主版本号（即120）与Chrome浏览器主版本号匹配就可以了，不需要小版本号完全一致 阅读全文
posted @ 2025-02-10 15:20 小雨淅淅o0 阅读(9) 评论(0) 推荐(0) 编辑
关于爬虫的一些基础问题
摘要：最近在学习爬虫相关，整理一些关于爬虫的问题： 使用requests库、bs4库写爬虫和使用scrapy框架有什么区别 从开发难度和复杂度 requests + bs4 对于初学者来说，requests和bs4比较容易上手。requests库提供了简单直观的 HTTP 请求方法，如requests.g 阅读全文
posted @ 2025-01-26 16:54 小雨淅淅o0 阅读(18) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示