day05

目录

• 什么是文件
• 什么是文本
• 如何通过文本编辑控制文件
  • 1.找到文件路径
  • 2.打开文件
  • 3.读取/修改文件
  • 4.保存文件
  • 5.关闭文件
• 打开文件的三种方式
  • 1.r--》read（只读不写 ）
  • 2.w--》（只写不读，清空文本内容）
  • 3.a--》append（只写不读，追加 ）
• 打开文件的t和b模式
• 高级应用
• 爬虫原理
  • 1、发送请求（填入一个url）
  • 2、获取数据
  • 3、解析数据
  • 4、保存数据
• requests模块
• re模块
• 爬取图片
• 爬取视频
• 爬取文本

什么是文件

文件是操作系统提供的一个虚拟概念，用来存储信息

什么是文本

.txt/.word/.md/.py/.ini/.xml

如何通过文本编辑控制文件

1.找到文件路径

2.打开文件

3.读取/修改文件

4.保存文件

5.关闭文件

打开文件的三种方式

1.r--》read（只读不写 ）

2.w--》（只写不读，清空文本内容）

3.a--》append（只写不读，追加 ）

打开文件的t和b模式

gbk/utf8只针对文本，所以音频通过rb模式打开-->读取二进制，b模式下没有encoding这个参数，b不单独使用，一般与r/w/a一起配合使用

t模式支队文本文件，t模式不单独使用，必读的和r/w/a一起使用

高级应用

r+可写可读

a+可写可读

w+可写可读（清空文件）

使用with open 在缩进结束后会自动关闭文件

爬虫原理

1、发送请求（填入一个url）

2、获取数据

3、解析数据

4、保存数据

requests模块

import requests
res = requests.get(url = '目标网站')
# 文本
res.text
# 二进制流，凡是二进制流数据，不需要指定字符编码
res.content

re模块

# re.S 全局搜索
data_list = re.findall(正则匹配规则，解析内容，re.S)
# 贪婪匹配 .*? 过滤任何内容
# 非贪婪匹配 (.*?) 提取内容

爬取图片

# 爬取视觉中国图片

import requests
# 使用requests.get()发送请求
response = requests.get(url = 'http://goss.cfp.cn/creative/vcg/nowarter800/new/VCG211235767437.jpg' )

# print(response) 对象
# 接受二进制流
# print(response.content)

# 保存数据
with open('VCG_GET.jpg', 'wb') as f:
    f.write(response.content)
    print('图片下载成功')

爬取视频

# 爬取二更视频

# 往视频地址发送请求, 获取二进制流
import requests
response = requests.get(url= 'http://v1.ergengtech.com/transcode/9c55722e379a9523b51e36f7cd3945cb/2fcc5d2709dd5aa1d03982f040410d6a.mp4')

# 把二进制 流数据保存到本地
# wb: write + bytes  写二进制流模式
# 凡是二进制流数据,不需要指定字符编码
with open('ergen_video.mp4', 'wb') as f:
    f.write(response.content)
    print('视频下载成功')

爬取文本

# 爬取豆瓣top25电影
# 电影名称/电影详情链接/低电影评分
# 1.发送请求
import requests
import re
response = requests.get(url='https://movie.douban.com/top250')

# print(response.text)

# 2.析提取数据
# 查找所有
# re.S 全局查找
# re.findall('正则匹配规则', '解析文本', re.S)
movie_list = re.findall('<div class="item">.*?<a href="(.*?)">.*?<span class="title">(.*?)</span>.*?<span class="rating_num" property="v:average">(.*?)</span>.*?<span>(.*?)人评价</span>', response.text, re.S)

# print(movie_list)

# 循环写入

with open('douban.txt', 'a', encoding='utf-8') as f:
    for line in movie_list:
        movie_name = line[1]
        movie_score = line[2]
        movie_num_of_comm = line[3]
        movie_website = line[0]
        f.write(movie_name + '---' + movie_score + '---' + movie_num_of_comm + '---' + movie_website + '\n')
    print('文本爬取成功')