检测web服务器指定位置大文件是否存在

在bugscan群里看到有人问有一个大文件，想探测其是否存在。如果使用curl的话，会将整个文件下载到节点，对于扫描没有任何用处，反而浪费了扫描时间。

 

于是我想到的解决办法是不使用curl，直接用底层socket，发包之后接收http head部分，然后拿到返回码之后就断开链接。不知道这样做有没有什么弊端，如果有的话，请指出。

 

下面直接贴上源码：

#!/usr/bin/env python
# -*- coding: utf-8 -*-
#__author__ = 'Medici.Yan'
#
'''测试文件是wps官网上的提供的下载安装包'''
import socketdef assign(service, arg):
    if service == "ip":
        return True, arg
def audit(arg):
    doGet(arg,'/wdl1.cache.wps.cn/wps/download/W.P.S.4954.19.552.exe')

def doGet(host,path):
    payload='''GET %s HTTP/1.1\r\nHost: %s\r\nConnection: keep-alive\r\nAccept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8\r\nUser-Agent: Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36\r\nAccept-Encoding: gzip, deflate, sdch\r\nAccept-Language: zh-CN,zh;q=0.8,en;q=0.6\r\n\r\n''' % (path,host)
    print payload
    s = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
    try:
        socket.setdefaulttimeout(20)#超时
        s.connect((host,80))#连接对应主机和端口
        s.send(payload)
        data=s.recv(len(payload))
        httphead=data.split('\r\n')
        if '200 OK' in httphead[0]:
            print 'exist'
        else:
            print 'error or not exist'
    except Exception :
        pass
    finally:
        s.close()

if __name__ == '__main__':
    from dummy import *
    audit(assign('ip', '222.178.202.37')[1])

测试结果：