Python爬虫实例:爬取豆瓣Top250
入门第一个爬虫一般都是爬这个,实在是太简单。用了 requests 和 bs4 库。
1、检查网页元素,提取所需要的信息并保存。这个用 bs4 就可以,前面的文章中已经有详细的用法阐述。
2、找到下一个 url 地址。本例中有两种方法,一是通过 url 的规则,本例中通过比较发现,只要更改 url 中的 start 参数值就可以;二是通过下一个页的标签获取下一页的 url。代码中采用了第一种方法。
3、判断退出条件,爬虫不可能无限制循环下去。
在这个最简单的示例中,实现以上三步一个爬虫就完成了。简单到不想做其他说明,直接看代码吧。
""" 爬取豆瓣电影Top250 """ import os import re import time import requests from bs4 import BeautifulSoup def download(url, page): print(f"正在爬取:{url}") html = requests.get(url).text # 这里不加text返回<Response [200]> soup = BeautifulSoup(html, 'html.parser') lis = soup.select("ol li") for li in lis: index = li.find('em').text title = li.find('span', class_='title').text rating = li.find('span', class_='rating_num').text strInfo = re.search("(?<=<br/>).*?(?=<)", str(li.select_one(".bd p")), re.S | re.M).group().strip() infos = strInfo.split('/') year = infos[0].strip() area = infos[1].strip() type = infos[2].strip() write_fo_file(index, title, rating, year, area, type) page += 25 if page < 250: time.sleep(2) download(f"https://movie.douban.com/top250?start={page}&filter=", page) def write_fo_file(index, title, rating, year, area, type): f = open('movie_top250.csv', 'a') f.write(f'{index},{title},{rating},{year},{area},{type}\n') f.closed def main(): if os.path.exists('movie_top250.csv'): os.remove('movie_top250.csv') url = 'https://movie.douban.com/top250' download(url, 0) print("爬取完毕。") if __name__ == '__main__': main()
相关博文推荐:
Python爬虫实例:爬取B站《工作细胞》短评——异步加载信息的爬取
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· Linux系列:如何用 C#调用 C方法造成内存泄露
· AI与.NET技术实操系列(二):开始使用ML.NET
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识(上)
· 阿里最新开源QwQ-32B,效果媲美deepseek-r1满血版,部署成本又又又降低了!
· 单线程的Redis速度为什么快?
· SQL Server 2025 AI相关能力初探
· 展开说说关于C#中ORM框架的用法!
· AI编程工具终极对决:字节Trae VS Cursor,谁才是开发者新宠?