随笔分类 -  爬虫

scrapy框架
摘要：scrapy介绍和安装 爬虫框架scrapy，在固定位置写固定代码，就能完成爬虫的功能 # 安装： -pip3 install scrapy （mac，linux） -win：看人品 1、pip3 install wheel #安装后，便支持通过wheel文件安装软件，wheel文件官网：https 阅读全文
posted @ 2022-08-03 21:25 Rain_Kz 阅读(319) 评论(0) 推荐(0) 编辑
selenium
摘要：selenium基本使用 由于requests不能执行js，有的页面内容，我们在浏览器中可以看到，但是请求下来没有 》selenium模块：模拟操作浏览器，完成人的行为。 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 阅读全文
posted @ 2022-08-02 21:52 Rain_Kz 阅读(44) 评论(0) 推荐(0) 编辑
requests模块+代理+bs4
摘要：爬虫介绍 # 大部分软件，cs，bs，主流都是用http协议通信，模拟发送http请求 服务端把数据返回(html,xml,json) 数据的清洗（re，bs4） 入库（文件，mysql，redis，es，mongo） -mysql：tcp自定定制的协议 -redis：tcp自定定制的协议 -doc 阅读全文
posted @ 2022-08-01 22:17 Rain_Kz 阅读(71) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示