用urllib库几行代码实现最简单爬虫 

"""
使用urllib.request()请求一个网页内容，并且把内容打印出来。

"""

from urllib import request

import chardet

if __name__ == '__main__':

    # 有的网站url使用不了
    url = "https://www.cnblogs.com/gshelldon/p/13332798.html"

    # 打开url把内容赋值给rsp
    rsp = request.urlopen(url)

    # 存取到内存当中是bytes流，使用read方法把rsp的内容读取出来，赋值给变量html。
    html = rsp.read()

    # 使用decode解码成我们能够看懂的格式。
    # print(type(html))         # 查看返回的格式

    html = html.decode('utf-8')  # 默认的是utf-8
    print(html)

返回的内容是html格式的文本

D:\ProgramData\Anaconda3\envs\spider\python.exe D:/爬虫/v1-最简单的爬虫.py
<!DOCTYPE html>
<html lang="zh-cn">
<head>
    <meta charset="utf-8" />
    <meta name="viewport" content="width=device-width, initial-scale=1.0" />
    <meta name="referrer" content="origin" />
    <meta property="og:description" content="nginx 动静分离 不需要运维来做，开发做的。 动态请求：该请求会调用数据库中的数据。 静态请求：用户请求不会调用数据库。 动态页面：后端开发写的需要调用数据库的页面(python、java、C、p" />
    <meta http-equiv="Cache-Control" content="no-transform" />
 
省略。。。。。。。
posted @   Gshelldon  阅读(146)  评论(0)  编辑  收藏  举报
编辑推荐：
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列：向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列：如何用heaptrack跟踪.NET程序的非托管内存泄露
· 开发者必知的日志记录最佳实践
阅读排行：
· winform 绘制太阳，地球，月球 运作规律
· TypeScript + Deepseek 打造卜卦网站：技术与玄学的结合
· AI 智能体引爆开源社区「GitHub 热点速览」
· Manus的开源复刻OpenManus初探
· 写一个简单的SQL生成工具
点击右上角即可分享
微信分享提示