python 爬虫 基本库使用urllib之urlopen(一)

  • urllib是python内置的请求库。它主要包含四个模块:
  1. request :是最基本的HTTP请求模块,可以用来模拟发送请求。
  2. error:异常处理模块,如果请求出现错误,可以捕获异常,然后进行其他操作,保证程序不会意外终止。
  3. parse:工具模块,提供了很多URL处理方法,比如拆分、解析、合并等。
  4. robotparser:主要用来识别网站的robots.txt文件,然后判断哪些网站可以爬。
     
  • 使用urllib的request模块中的方法urlopen抓取python官网,这样我们想要的东西就可以提取出来了
import urllib.request

response = urllib.request.urlopen('https://www.python.org')
print(type(response))  #类型
print(response.read().decode('utf-8'))

posted @ 2020-01-08 00:55  手可摘星辰/*  阅读(2394)  评论(0编辑  收藏  举报