摘要:
爬虫爬取信息时,需要把爬取的内容存到txt文档中,且爬虫是每天执行,以日期命名能避免出现名称重复等问题,解决方法如下 import time import os import sys path = os.path.abspath(os.path.dirname(sys.argv[0])) local 阅读全文
摘要:
爬虫爬取网页数据的时候,有时候因访问频率太过于规律导致被服务器发现,出现访问超时或者被封ip的情况。所以,每一轮爬取,后面加一个随时等待时间,可以减少被发现的概率 主要用到random和time库 实现脚本如下 import random import time for a in range(10) 阅读全文