Python网页抓取
#coding:utf-8 import urllib #导入模块 print dir(urllib) #查看urllib方法 print help(urllib.urlopen) #查看帮助文档 url="http://www.baidu.com" #定义网址 html=urllib.urlopen(url) #打开url print html.read() #urlopen有一个方法是read() # 解决编码问题 print html.read().decode("gb2312").encode("utf-8") # 忽略不能识别的内容 print html.read().decode("gbk",'ignore').encode("utf-8") # 获取头部信息 print html.info() # 获取状态码 print html.getcode() # 获取url地址 print html.geturl() # 下载网页 urllib.urlretrieve(url,"F:\\1.txt") # 参数:1、网址(必须是字符串);2、本地保存路径+文件名(注意Windows下的路径转义) # 3、一个函数调用,可以任意定义函数的行为(要保证函数有3个参数) # 3.1 到目前为止传递的数据块数量 # 3.2 每个数据块的大小,单位byte,字节 # 3.3 远程文件大小 # 函数定义 def callback(a,b,c): """ 这里是注释 """ # 关闭打开的文件,这是很重要的! html.close() # 判断内容 code=html.getcode() # 判断类型 print type(code) if code==200: print "正常" else: print "网页异常"
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· Linux glibc自带哈希表的用例及性能测试
· 深入理解 Mybatis 分库分表执行原理
· 如何打造一个高并发系统?
· .NET Core GC压缩(compact_phase)底层原理浅谈
· 现代计算机视觉入门之:什么是图片特征编码
· 手把手教你在本地部署DeepSeek R1,搭建web-ui ,建议收藏!
· Spring AI + Ollama 实现 deepseek-r1 的API服务和调用
· 数据库服务器 SQL Server 版本升级公告
· 程序员常用高效实用工具推荐,办公效率提升利器!
· C#/.NET/.NET Core技术前沿周刊 | 第 23 期(2025年1.20-1.26)