入门爬虫-requests模块

　　　　requests模块：python原生的一款基于网络请求的模块，功能非常强大，简单便捷，效率极高，

　　作用：模拟浏览器发送请求。

　　需要在你的应用程序中导入该模块，首先安装。

搜索requests

 

 

 

 

 

 

然后点击下面的install即可，在项目中就可用通过，import requests引用

 

 

　　requests编码流程：

　　　　1、指定url地址

　　　　2、发送请求

　　　　3、获取响应数据

　　　　4、持久化存储

　　测试代码：

　　　　

import requests

url = "https://www.sogou.com/"
resp = requests.get(url=url)
# 解决爬到内容的中文乱码问题
resp.encoding = 'utf-8'
resp_text = resp.text
print(resp_text)
with open('D:\StudyPython\scrapy\sougou.html','w',encoding='utf-8') as fp:
    fp.write(resp_text)
    print("爬取成功")

 

　　　　学习网站推荐：https://www.bilibili.com/video/BV1Yh411o7Sz?p=5