随笔分类 - Python3网络爬虫 / 05.Ajax数据爬取
摘要：在用 requests 抓取页面的时候，得到的结果可能和在浏览器中看到的不一样：在浏览器中可以看到正常显示的页面数据，而使用 requests 得到的结果并没有。这是因为 requests 获取的都是原始的 HTML 文档，而浏览器中的页面则是经过 JavaScript 处理数据后生成的结果，这些数
阅读全文
摘要：Ajax 分析与爬取实战 准备工作 安装好 Python3 了解 Python HTTP 请求库 requests 的基本用法 了解 Ajax 基础知识和分析 Ajax 的基本方法 爬取目标 以一个示例网站来实验一下 Ajax 的爬取，链接为：https://spa1.scrape.center/，
阅读全文
摘要：Ajax 分析方法 以前面的微博为例，拖动刷新的内容由 Ajax 加载，而且页面的 URL 没有变化，那么应该到哪里去查看这些 Ajax 请求呢？ 查看请求 需要借助浏览器的开发者工具，下面以 Chrome 浏览器为例。 用 Chrome 浏览器打开微博的链接 https://m.weibo.cn/
阅读全文
