爬虫程序的实现

0.学习爬虫的入门

看的第一个视频就是手把手的讲解怎么写爬虫程序，对小白非常的友好,强烈推荐。（写新的程序就是照葫芦画瓢）

【Python+爬虫】爆肝两个月！拜托三连了！这绝对是全B站最用心（没有之一）的Python+爬虫公开课程，从入门到（不）入狱 ！_哔哩哔哩_bilibili

1.插件

所有的爬虫程序都要用到requests插件，有了这个才能实现对网页的访问（好像是），而在获取了网站的数据后还要进行数据的处理，这是一个非常繁杂的过程，需要用到bs4包里的"BeautifulSoup" 插件，就可以化繁为简。

 import requests
 from bs4 import BeautifulSoup

2.前期配置

绝大部分网站都不能允许爬虫程序打直球地访问，在写代码之前要先伪装一下自己的代码，让网站以为是一个正经八百的浏览器在浏览他。

随便找一个网页，右键点击检查，在网络界面中，选择任意一串，之后找到”User-Agent“这一项，把他复制后按照如下形式写出

headers = {
    "User-Agent": "xxxxxxxx"(此处为你获取的数据)
}

至此，前期所有的准备都结束了，可以正式进行代码的实现了

3.代码主体

用"url"来代表进行访问的网址。

url  = 'xxx'

接下来使用两个插件开始访问和获取网站的数据

response = requests.get(url, headers=headers)
content = response.content.decode('utf8')
soup = BeautifulSoup(content, "lxml")

之后通过筛选来的得出自己想要的内容

4.代码实例（包含csv）

以https://www.ign.com.cn/top-100-180327/20749/top100/li-shi-zui-jia-top-100you-xi-pan-dian为例

# 爬ign历史100佳游戏排名 原网址https://www.ign.com.cn/top-100-180327/20749/top100/li-shi-zui-jia-top-100you-xi-pan-dian
# 排名顺序从100到1
 
import requests
import csv
from bs4 import BeautifulSoup
 
 
url = 'https://www.ign.com.cn/top-100-180327/20749/top100/li-shi-zui-jia-top-100you-xi-pan-dian'
 
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36"
}
 
response = requests.get(url, headers=headers)
content = response.content.decode('utf8')
soup = BeautifulSoup(content, "lxml")
ranks = soup.findAll(id="id_title")
output = ranks
print(type(output))
with open('游戏排名.csv', 'a+', encoding='utf-8',newline='') as f:
    w = csv.writer(f)
    w.writerows(output)
 
with open('游戏排名.csv', 'r', encoding='utf-8',newline='') as f:
    csv_reader = csv.reader(f)
    for row in csv_reader:
        print(row)
 
 
 

完成了数据的获取