04 2021 档案

多线程爬虫链家基本信息
摘要：一、代码 这里没有什么反爬措施，所以就不分析了，直接上代码 import hashlib import re from concurrent.futures import ThreadPoolExecutor from urllib import parse import requests from 阅读全文
posted @ 2021-04-20 10:46 Maple_feng 阅读(144) 评论(0) 推荐(0) 编辑
python装饰器实现函数重试
摘要：一、介绍 在执行爬虫requests库时，经常会碰到各种的请求失败，有时是超时，有时是代理失败。那么此时我们还是需要拿到数据就必须重试执行几次函数 在代码中就是多来几次函数加括号，或者是来个递归函数，直到执行成功。但还是比较麻烦的。 那么使用装饰器来实现是最好的，需要重试的就加上装饰器，不需要的就不 阅读全文
posted @ 2021-04-06 16:01 Maple_feng 阅读(488) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示