摘要: '''爬取内涵吧段子所有笑话(带标题,作者)总结:解码上,使用gbk2312编码的,我们可以采取gbk解码。 不会报错'''from fake_useragent import FakeUserAgentimport requestsimport chardetimport refrom lxml 阅读全文
posted @ 2019-06-10 19:18 猫有九命 阅读(235) 评论(0) 推荐(0) 编辑
摘要: """本案例不涉及数据提取,仅指导 网页分页爬取的两种方式 思路非第一种:利用while Ture,传参,然后在设定一个判断条件,案例中用的是如果找不到下一页,循环退出(可用于异步刷新网站)第二种:利用while Ture不断循环, 获取下一页url,获取不到,循环退出。 优化了异常处理。当输入的贴 阅读全文
posted @ 2019-06-10 11:30 猫有九命 阅读(194) 评论(0) 推荐(0) 编辑