Urllib的4个模板
urllib的4个模板
1.request:最基本的http请求模块,用来模拟发送请求,就像是在浏览器中输入一个网址然后回车一样,只需要传入uel,timeout等参数就可以实现一个模拟请求。
主要功能:用于模拟发送请求打开和读取URL。
2.error:异常处理模块,如果出现请求错误,我们可以捕获这些请求,然后进行重试或其他操作以保证程序不会意外终止。
主要功能:进行异常处理
3.parse:一个工具模块,提供了许多URL处理方法,比如拆分,解析,合并等2
主要功能:用于解析URL
robotparser:主要用来识别网站的robots.txt文件,然后判断哪些网站可以爬,哪些网站不可以爬,它其实用的比较少。
主要功能:用来解析robots.txt文件
下载模块需要win + r 在终端输入 pip install 模块名 即可完成下载
ps:requests 模块真的非常好用,会简化很多操作,请求,获取等操作往往只需要几行代码就可以完成,真的c!
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 震惊!C++程序真的从main开始吗?99%的程序员都答错了
· 【硬核科普】Trae如何「偷看」你的代码?零基础破解AI编程运行原理
· 单元测试从入门到精通
· 上周热点回顾(3.3-3.9)
· winform 绘制太阳,地球,月球 运作规律