用requests库和BeautifulSoup4库爬取新闻列表
用requests库和BeautifulSoup4库,爬取校园新闻列表的时间、标题、链接、来源。
import requests from bs4 import BeautifulSoup url='http://news.gzcc.cn/html/xiaoyuanxinwen/' res=requests.get(url) res.encoding='utf-8' soup=BeautifulSoup(res.text,'html.parser') for news in soup.select('li'): if len(news.select('.news-list-title'))>0: title=news.select('.news-list-title')[0].text time=news.select('.news-list-info')[0].contents[0].text tag=news.select('.news-list-description')[0].text url=news.select('a')[0]['href'] thumb=news.select('.news-list-thumb')[0].contents[0] print(time,title,url,tag,thumb)
选一个自己感兴趣的主题,做类似的操作,为“爬取网络数据并进行文本分析”做准备。
import requests from bs4 import BeautifulSoup url='http://gz.58.com/ershouche/?utm_source=market&spm=b-31580022738699-pe-f-829.hao360_101&PGTID=0d100000-0000-3ada-ba49-dc2ff301240a&ClickID=1' res=requests.get(url) res.encoding='utf-8' soup=BeautifulSoup(res.text,'html.parser') for esc in soup.select('dd'): if len(esc.select('a'))>0: url=esc.select('a')[0]['href'] title=esc.select('a')[0].text print(title,url)
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步