Python网页抓取

复制代码
#coding:utf-8

import urllib   #导入模块
print dir(urllib)   #查看urllib方法
print help(urllib.urlopen)  #查看帮助文档

url="http://www.baidu.com"  #定义网址
html=urllib.urlopen(url)   #打开url
print html.read()   #urlopen有一个方法是read()

# 解决编码问题
print html.read().decode("gb2312").encode("utf-8")
# 忽略不能识别的内容
print html.read().decode("gbk",'ignore').encode("utf-8")  

# 获取头部信息
print html.info()

# 获取状态码
print html.getcode()

# 获取url地址
print html.geturl()

# 下载网页
urllib.urlretrieve(url,"F:\\1.txt")
    # 参数:1、网址(必须是字符串);2、本地保存路径+文件名(注意Windows下的路径转义)
    # 3、一个函数调用,可以任意定义函数的行为(要保证函数有3个参数)
        # 3.1 到目前为止传递的数据块数量
        # 3.2 每个数据块的大小,单位byte,字节
        # 3.3 远程文件大小

# 函数定义
def callback(a,b,c):
    """
    这里是注释
    """

# 关闭打开的文件,这是很重要的!
html.close()  


# 判断内容
code=html.getcode()
    # 判断类型
    print type(code)
if code==200:
    print "正常"
else:
    print "网页异常"
复制代码

 

posted @   我是zero  阅读(341)  评论(0编辑  收藏  举报
编辑推荐:
· Linux glibc自带哈希表的用例及性能测试
· 深入理解 Mybatis 分库分表执行原理
· 如何打造一个高并发系统?
· .NET Core GC压缩(compact_phase)底层原理浅谈
· 现代计算机视觉入门之:什么是图片特征编码
阅读排行:
· 手把手教你在本地部署DeepSeek R1,搭建web-ui ,建议收藏!
· Spring AI + Ollama 实现 deepseek-r1 的API服务和调用
· 数据库服务器 SQL Server 版本升级公告
· 程序员常用高效实用工具推荐,办公效率提升利器!
· C#/.NET/.NET Core技术前沿周刊 | 第 23 期(2025年1.20-1.26)
点击右上角即可分享
微信分享提示