新浪新闻标题爬取
先说一下自己进行网络爬虫的经过吧,我首先是跟着嵩天教授的《Python网络爬虫与信息提取》课程先对爬虫的基本知识进行学习了解,在学习的过程中,我会跟着视频中讲解的实例自己手头也进行编码,虽然是跟着视频一起编写但是还是会总出现错误,
就是会出现一直爬取失败的现象,但反复地看视频并进行修改,最终也能爬取成功。
在了解了基本知识后,我选择了使用requests库和beautifulsoup库对新浪新闻标题进行爬取,开始爬取的时候也遇到了很多问题,从网上搜索和看教学视频后终于能爬取下来:
import requests
from bs4 import BeautifulSoup
a=requests.get("https://news.sina.com.cn/")
a.encoding="utf-8"
b=BeautifulSoup(a.text,"html.parser")
for i in b.select("ul.list_14>li>a"):
print(i.text)
得到的结果是
这只是其中的一部分,我在看到很长的结果后原本是打算只输出前20个,但是因本人能力有限不能有效改写编码,所以输出的仍然是全部标题。
因个人水平实在有限,只能爬到这个程度,如有不当之处,还请多批评指正。