【Python】【爬虫】+爬取新闻

目录

• 一、爬取今日头条的新闻
  • step1：获取新闻列表 找出要查找的新闻的ID
  • step2：根据新闻ID获取此新闻的详细数据
  •  step3：解析HTML数据

 

---

参考文章：https://www.cnblogs.com/lizm166/p/9634306.html

破解参数（as ,cp，_cp_signature）：https://blog.csdn.net/weixin_39416561/article/details/82111455

---

 

回到顶部

一、爬取今日头条的新闻

step1：获取新闻列表 找出要查找的新闻的ID

• url=https://www.toutiao.com/api/pc/feed/?category=news_hot&utm_source=toutiao&widen=1&max_behot_time=0&max_behot_time_tmp=0&tadrequire=true&as=A1552DAB860A86B&cp=5DB60AA876CB0E1&_signature=e9pbGAAAJm-CIbMXRdNvUHvaWw
• 动态参数：“_signature” （估计应该是按天的 每天请求都要用不同的值）
• 请求方式：GET
• 请求头：user-agent：加上自己对应的值即可（只需要添加这一个请求头即可）

 

 

step2：根据新闻ID获取此新闻的详细数据

• 注意：ID前有个“a”、获取到的数据为HTML格式的
• url=https://www.toutiao.com/a6752705668907532808/
• 请求方式：GET

 

 

 

 step3：解析HTML数据

把获取到的HTML信息中的数据解析

• 此新闻的链接（共需要查看时用）
• 此新闻的标题
• 此新闻的内容