扫描网站服务器真实IP的小脚本
1 #!/usr/bin/env python 2 # -*- coding: gbk -*- 3 # -*- coding: utf_8 -*- 4 # Date: 2015年9月11日 5 # Author:蔚蓝行 6 # 博客 http://www.cnblogs.com/duanv/ 7 8 import requests 9 import threading 10 import Levenshtein 11 import re 12 13 def scan(original_r,cip,ip_begin,original_match,header): 14 ip=cip+str(ip_begin) 15 try: 16 r=requests.get('http://'+ip,headers=header,timeout=1) 17 except Exception: 18 pass 19 else: 20 if(r.status_code==original_r.status_code): 21 if r.content==original_r.content: 22 print '---everything is match!---\n'+ip+'\n--------------------------\n\n\n', 23 else: 24 if Levenshtein.ratio(r.text,original_r.text)>0.8: 25 match=re.search(r"<title>(.*?)</title>",r.content) 26 try: 27 if match==original_match or match.group()==original_match.group(): 28 print '--matches>0.8-same title--\n'+ip+'\n--------------------------\n\n\n', 29 else: 30 print '--matches>0.8-diff title--\n'+ip+'\n--------------------------\n\n\n', 31 except Exception: 32 if match==None: 33 #扫描网页无标题 34 print '-matches>0.8-none title-s-\n'+ip+'\n--------------------------\n\n\n', 35 else: 36 #原始网页无标题 37 print '-matches>0.8-none title-o-\n'+ip+'\n--------------------------\n\n\n', 38 39 def loop(original_r,cip,original_match,header): 40 global ip_begin,ip_end,mutex 41 while 1: 42 mutex.acquire() 43 if ip_begin > ip_end: 44 mutex.release() 45 break 46 ip=ip_begin 47 ip_begin += 1 48 mutex.release() 49 scan(original_r,cip,ip,original_match,header) 50 51 def start(): 52 global ip_begin,ip_end,mutex 53 54 ip_begin=1 55 ip_end=254 56 mutex=threading.Lock() 57 58 cip='180.97.33.' 59 address='www.baidu.com' 60 61 #cip='220.181.136.' 62 #address='www.219.me' 63 64 header={"host":address,"Accept-Encoding":"identity","User-Agent":""} 65 r=requests.get('http://'+address,headers=header) 66 67 original_match=re.search(r"<title>(.*?)</title>",r.content) 68 69 threads=[] 70 for i in range(254): 71 threads.append(threading.Thread(target=loop,args=(r,cip,original_match,header))) 72 for t in threads: 73 t.start() 74 75 if __name__ == '__main__': 76 start()
1,由于是多线程，输出时如果用print xxx会出现因线程抢占而造成的输出乱序，改用print xxx+‘\n’,可以不用线程锁并解决这个问题
2,扫描网段时请求头加上host:domain_name，可以解决单一IP对应多域名的问题
3,发送请求时将UA头置空，可以防止某些网站服务器返回内容过大和不完全相同的问题，提高效率。比如请求百度，有UA头情况下返回的页面内容相当大，而且不同IP返回内容有细微差别，脚本就会进行相似度比较，耗时巨大，如果置空UA头，请求响应内容就比较小，而且不同IP返回内容相同
