爬虫基础

01-爬虫介绍

什么是爬虫？

　　爬虫就是编写程序模拟浏览器上网，然后让其去去互联网上抓取数据的过程。

补充：

urllib

01-浏览器的基本访问流程

 

02-第一个爬虫程序

import urllib.request

#1.指定url
url = 'https://www.sogou.com'

#2.发起请求:urlopen可以根据指定的url发起请求，且返回一个响应对象
response = urllib.request.urlopen(url=url)

#3.获取页面数据:read函数返回的就是响应对象中存储的页面数据（byte）
page_text = response.read()

#4.持久化存储
with open('./sougou.html','wb') as fp:
    fp.write(page_text)
    print('写入数据成功！')