摘要:
一、前言 有时候我们在用 requests 抓取页面的时候,得到的结果可能和在浏览器中看到的不一样,在浏览器中可以看到正常显示的页面数据,但是使用 requests 得到的结果并没有。这是因为 requests 获取的都是原始的 HTML 文档,而浏览器中的页面则是经过 JavaScript 处理数 阅读全文
摘要:
Ajax 简介 Ajax 分析方法 Ajax 结果提取 阅读全文
摘要:
将爬取到的数据以 CSV 文件形式存储: 阅读全文
摘要:
将爬取到的数据以 Json 文件形式存储: 结果如下: 阅读全文
摘要:
将爬取的数据以 TXT 文本形式存储: 阅读全文
摘要:
使用 TXT 文本存储 使用 Json 文件存储 使用 CSV 文件存储 使用 MySQL 存储 使用 MongoDB 存储 使用 Redis 存储 阅读全文
摘要:
PyQuery 用法: (1) 前面我们爬取一个网页,都是使用正则表达式来提取想要的信息,但是这种方式比较复杂,一旦有一个地方写错,就匹配不出来了,因此我们可以使用 PyQuery(2) PyQuery 是一个网页解析库,如果你觉得正则写起来太麻烦,如果你觉得 BeautifulSoup 语法太难记 阅读全文