第一个爬虫程序:爬取豆瓣电影top250
运行该程序需要下载两个扩展库
requestsL:在终端或cmd中运行
pip install requests
BeautifulSoup:
pip install bs4
代码:
import requests
from bs4 import BeautifulSoup
headers = {
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Safari/537.36 Edg/112.0.1722.34"
}
for start_num in range(0, 250, 25):
reponse = requests.get(f"https://movie.douban.com/top250?start={start_num}", headers=headers)
html = reponse.text
soup = BeautifulSoup(html, "html.parser")
all_titles = soup.findAll("span", attrs={"class": "title"})
for title in all_titles:
title_string = title.string
if "/" not in title_string:
print(title_string)
运行结果:
肖申克的救赎
霸王别姬
阿甘正传
泰坦尼克号
这个杀手不太冷
美丽人生
千与千寻
辛德勒的名单
盗梦空间
星际穿越
楚门的世界
忠犬八公的故事
海上钢琴师
三傻大闹宝莱坞
放牛班的春天
机器人总动员
无间道
疯狂动物城
控方证人
大话西游之大圣娶亲
熔炉
教父
当幸福来敲门
触不可及
怦然心动
龙猫
末代皇帝
寻梦环游记
活着
蝙蝠侠:黑暗骑士
哈利·波特与魔法石
指环王3:王者无敌
乱世佳人
我不是药神
素媛
飞屋环游记
何以为家
十二怒汉
哈尔的移动城堡
摔跤吧!爸爸
鬼子来了
少年派的奇幻漂流
让子弹飞
猫鼠游戏
海蒂和爷爷
钢琴家
大话西游之月光宝盒
天空之城
指环王2:双塔奇兵
闻香识女人
天堂电影院
罗马假日
绿皮书
死亡诗社
大闹天宫
指环王1:护戒使者
黑客帝国
教父2
狮子王
辩护人
饮食男女
搏击俱乐部
美丽心灵
本杰明·巴顿奇事
穿条纹睡衣的男孩
窃听风暴
情书
两杆大烟枪
西西里的美丽传说
音乐之声
看不见的客人
阿凡达
拯救大兵瑞恩
飞越疯人院
小鞋子
哈利·波特与死亡圣器(下)
沉默的羔羊
布达佩斯大饭店
禁闭岛
蝴蝶效应
致命魔术
海豚湾
功夫
心灵捕手
低俗小说
美国往事
春光乍泄
哈利·波特与阿兹卡班的囚徒
摩登时代
超脱
喜剧之王
致命ID
七宗罪
杀人回忆
红辣椒
加勒比海盗
哈利·波特与密室
狩猎
一一
被嫌弃的松子的一生
7号房的礼物
唐伯虎点秋香
请以你的名字呼唤我
断背山
剪刀手爱德华
勇敢的心
入殓师
爱在黎明破晓前
第六感
重庆森林
蝙蝠侠:黑暗骑士崛起
幽灵公主
超能陆战队
菊次郎的夏天
爱在日落黄昏时
甜蜜蜜
天使爱美丽
阳光灿烂的日子
小森林 夏秋篇
完美的世界
借东西的小人阿莉埃蒂
无人知晓
消失的爱人
倩女幽魂
寄生虫
侧耳倾听
小森林 冬春篇
时空恋旅人
幸福终点站
驯龙高手
教父3
萤火之森
一个叫欧维的男人决定去死
未麻的部屋
怪兽电力公司
哈利·波特与火焰杯
玩具总动员3
傲慢与偏见
釜山行
神偷奶爸
新世界
玛丽和马克思
被解救的姜戈
告白
大鱼
哪吒闹海
射雕英雄传之东成西就
阳光姐妹淘
头号玩家
喜宴
我是山姆
模仿游戏
恐怖直播
血战钢锯岭
花样年华
九品芝麻官
七武士
茶馆
头脑特工队
色,戒
黑客帝国3:矩阵革命
惊魂记
你的名字。
电锯惊魂
三块广告牌
达拉斯买家俱乐部
疯狂原始人
心迷宫
卢旺达饭店
上帝之城
谍影重重3
英雄本色
纵横四海
风之谷
海街日记
爱在午夜降临前
绿里奇迹
记忆碎片
岁月神偷
忠犬八公物语
荒蛮故事
疯狂的石头
雨中曲
小偷家族
爆裂鼓手
无敌破坏王
背靠背,脸对脸
2001太空漫游
小丑
贫民窟的百万富翁
无间道2
冰川时代
东邪西毒
恐怖游轮
心灵奇旅
牯岭街少年杀人事件
真爱至上
你看起来好像很好吃
遗愿清单
魔女宅急便
东京教父
黑天鹅
大佛普拉斯
可可西里
城市之光
雨人
源代码
恋恋笔记本
海边的曼彻斯特
初恋这件小事
人工智能
虎口脱险
波西米亚狂想曲
青蛇
终结者2:审判日
萤火虫之墓
罗生门
疯狂的麦克斯4:狂暴之路
新龙门客栈
千钧一发
奇迹男孩
无耻混蛋
崖上的波妞
二十二
末路狂花
彗星来的那一夜
黑客帝国2:重装上阵
血钻
房间
爱乐之城
花束般的恋爱
战争之王
步履不停
魂断蓝桥
火星救援
哈利·波特与死亡圣器(上)
谍影重重2
芙蓉镇
千年女优
阿飞正传
燃情岁月
弱点
谍影重重
朗读者
再次出发之纽约遇见你
香水
哈利·波特与凤凰社
海洋
穿越时空的少女
地球上的星星
以上就是目前豆瓣top250的电影