随笔分类 - 爬虫

bs4介绍与使用，selenium基本使用

摘要：beautifulsoup4（bs4）介绍与使用是一个从HTML或XML文件中提取数据的python库，可以使用他来解析爬取回来的xml。安装模块 pip install beautifulsoup4 beautifulsoup4自带了一个解析库html.parser，还有一个lxml，如果需要阅读全文

posted @ 2023-03-17 19:24 李阿鸡阅读(112) 评论(0) 推荐(0) 编辑

requests高级用法

摘要：爬虫requests高级用法解析json 发送http请求返回的数据有xml格式也会有json格式 import requests data = { 'cname': '', 'pid': '', 'keyword': '500', 'pageIndex': 1, 'pageSize': 10 } 阅读全文

posted @ 2023-03-16 19:53 李阿鸡阅读(61) 评论(0) 推荐(0) 编辑

爬虫入门

摘要：爬虫爬虫的本质模拟方式发送http请求，获取数据。学习内容模拟发送http请求 requests模块 selenium模块解析爬下来的数据存入数据库内爬虫框架 scrapy requests模块介绍使用python发送http请求就需要用到requests模块，requests模块阅读全文

posted @ 2023-03-16 19:53 李阿鸡阅读(11) 评论(0) 推荐(0) 编辑