随笔 - 172  文章 - 52  评论 - 6  阅读 - 17万

urllib中的get使用,以访问智联为例

python3中的urllib库的get使用,以访问智联为例,虽然现在智联需要验证码了,但是也不妨我们做个练习,巩固下get的使用。

复制代码
#如果一个网站屏蔽了你
#解决办法: (1)模拟浏览器  ; (2)伪装浏览器
import urllib
import urllib.request
from urllib import parse
def download1(addr,mytype):
    url="https://sou.zhaopin.com/?"
    headers={"User-Agent" : "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36 QIHU 360SE"}  #header 字典形式
    #选择代码  ctrl + 鼠标左键 查看变量或者函数或者类的定义

    word={"jl":addr,"kw":mytype}    #接口
    word=parse.urlencode(word)  #编码成字符串
    url=url+word     #拼接url


    request=urllib.request.Request(url,headers=headers)   # 发送请求
    #也可以通过调用Request.add_header()  添加/修改一个特定的  header
    request.add_header("Connection","keep-alive")  #一直活着
    response=urllib.request.urlopen(request)  #打开请求
    data=response.read()    #读取数据
    print(response.code)    #可以查看相应状态码
    return data


addr="上海"  #urlopen只能处理http,不可以处理https
mytype="python"
print(download1(addr,mytype).decode("utf-8"))    #decode("utf-8")  二进制解码为utf-8
复制代码
posted on   共感的艺术  阅读(220)  评论(0编辑  收藏  举报
编辑推荐:
· AI与.NET技术实操系列(二):开始使用ML.NET
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识(上)
· 浏览器原生「磁吸」效果!Anchor Positioning 锚点定位神器解析
阅读排行:
· DeepSeek 开源周回顾「GitHub 热点速览」
· 物流快递公司核心技术能力-地址解析分单基础技术分享
· .NET 10首个预览版发布:重大改进与新特性概览!
· AI与.NET技术实操系列(二):开始使用ML.NET
· 单线程的Redis速度为什么快?
< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

点击右上角即可分享
微信分享提示