python批量检测链接是否可正常打开

通过一些爬虫脚本爬取图站图片，但是发现有些图片是没法打开的，可能返回404的code码

所以设计一个脚本，对所有的图片地址进行检查，返回200的保存到另外一个文本内，然后再去下载

 

脚本逻辑很简单，直接贴代码，从‘’待检查地址.txt‘中循环取地址，requests请求地址，’返回码等于200，循环取出的地址写到“生成地址.txt”中，

import os
import requests

soure = open('待检查地址.txt', 'r')
value = soure.readlines()
soure.close()

def stepb(value):
    for url in value:
        url=url[:-1]#去掉换行符，然后url后面会带个空格，访问不了链接
        r=requests.get(url=url)
        code = r.status_code
        if str(code) == '200':
            print(url+"可正常打开")
            with open('生成地址.txt', 'a') as w:
                w.write(url+'\n')
                w.close()
    print("检查完成")

stepb(value)

 

下图1522是本次案例的脚本