用浏览器控制台抓取shodan、搜索引擎、zone-h的结果

0x00 前言

大部分内容来自参考连接的内容，只是一种爬取内容的思路。

在很久以前自己会有爬取zone-h做目标测试的需求，但是总是有各种反爬限制。而且个别网址还有前端自动生成内容的功能，使用JavaScript可以很方便的让我们得到自己想要得结果做数据整理。

• 会用到DOM属性如下：

document.getElementsByClassName()	返回文档中所有指定类名的元素集合，作为 NodeList 对象。
document.getElementById()	返回对拥有指定 id 的第一个对象的引用。
document.getElementsByName()	返回带有指定名称的对象集合。
document.getElementsByTagName()	返回带有指定标签名的对象集合。

• js截取指定字符前面或后面的内容

function getCaption(obj,state) {
    var index=obj.lastIndexOf("\-");
    if(state==0){
        obj=obj.substring(0,index);
    }else {
        obj=obj.substring(index+1,obj.length);
    }
    return obj;
}
var data = 'aaa-bbb'
//截取符号前面部分
getCaption(data,0)  //输出aaa
//截取符号后面部分
getCaption(data,1)  //输出bbb

0x01 提取zone-h结果

function getIpByTag(){
    var trVal = document.getElementsByTagName("tr");
    var retStr="\n";
	var tmpStr="";
    for(var i=1;i< trVal.length-4;i++)
    {
	  
	   tmpStr = trVal[i].getElementsByTagName('td')[7].innerHTML.trim();
	   var index = tmpStr.indexOf('/');
	   if(index>0)
	   {
	       retStr= retStr + tmpStr.substring(0,index) + "\n";}
	   else
	   {
	       retStr= retStr + tmpStr+ "\n"; 
	   }
	   
	   console.log(i,tmpStr)
    }
	return retStr;
}
getIpByTag();

0x02 提取Shodan结果ip

Shadan
//方法1：获取标签提取
console.log(document.getElementsByClassName("ip")[0].firstChild.innerHTML)
function getIpByTag()
{
    var ip = document.getElementsByClassName("ip");
    var str = "\n";
    
    for(var i=0; i < ip.length; i++)
    {
        var node = ip[i].firstChild;
        str = str + node.innerHTML + "\n";
    }
    return str;
}
getIpByTag();


//方法2：正则提取
function getIpByTag(){
    var tag = document.getElementsByClassName("span9")[0];
    var re = new RegExp();
    var str = tag.innerHTML; 
    var re = /\d+\.\d+\.\d+\.\d+/g;
    var arr = str.match(re);
    console.log(arr);
    //数组去重
    arr.sort();
    for(var i = 0; i < arr.length-1;) {
        //用当前的元素与他的前一个元素进行对比
        if(arr[i] == arr[i + 1]) {
        //如果相同的话,就删除掉第i个元素
        arr.splice(i, 1);
    }else{ i++;}
}
console.log(arr);

0x03 抓取Google结果

Google
console.log(document.getElementsByClassName("r")[0.].firstChild.href)
function getIpByTag()
{
    var r = document.getElementsByClassName("r");
    var str = '\n';
    
    for(var i=0;i< r.length;i++)
    {
        str = str + r[i].firstChild.href + '\n';
    }
    
    return str;
}
getIpByTag();

0x04 提取百度结果

Baidu
console.log(document.getElementsByClassName("t")[0].getElementsByTagName('a')[0].href)
function getIpByTag()
{
    var t = document.getElementsByClassName("t");
    var str = '\n';
    
    for(var i=0;i< t.length;i++)
    {
        str = str + '"' + t[i].getElementsByTagName('a')[0].href + '",\n';
    }
    str = str.substring(0,str.length-2)
    str = str + '\n'
    return str;
}
getIpByTag();

将百度加密后的url转成真正的地址：

import requests
urlList = [
"http://www.baidu.com/link?url=M1SN1OPmF9xM43i4jwjeDVvn-uD-i7xOf1nDxZDdIh4iCQRPXnmJnpzEFaRpcLNbSzXJGnlGiRClt_kX_KjXo_",
"http://www.baidu.com/link?url=9J00kAi9Fu07zxr4q4v_WZ2b0lW6WM-eIuzzcRtKQSS8Hd2u7hqAyBYyDOm1JbAwGgrUAubK8cR3V2_7RFJ1j_",
"http://www.baidu.com/link?url=kJuAmhEDNtu9VT5tpF_Grdi5fv246Dyf6ESnWqyBrR9HZD8BniQXVqOEinUox_hn",
"http://www.baidu.com/link?url=9Zlb9C0SnpP01To84341TBe2Tr1888CY8vkv86ZJAB94GoDO0II9m19lJpAKmSlm",
"http://www.baidu.com/link?url=e-jNCpBOgKCFOAGakRSt7jsqeKM4Z7kAKxmzFXyizOybrMP3Ig5MVmIHd6cwgsug",
"http://www.baidu.com/link?url=mhPGHLye4mCUdZOKGZz-RY_d7vzNThy_ifVZ8qGpAkvEGYUspJKT5wvHX0LSvPVd",
"http://www.baidu.com/link?url=NOw1rL9Juxdl-_FYexMJq8n1I3vliWRPjMAVZT8YQ-S9nHOXn-EuI8YnIz6-8EXF",
"http://www.baidu.com/link?url=3iCH4yJeE6UA_Pura3WMiNcoLBOYKePK0teNAwELb3667oy-RXOSuanprur6GjUN",
"http://www.baidu.com/link?url=w_7v1e_uvw8YSQyZEA-SN1vnIIljpmknKaVLTtdZqxM8qLXi0C0LwLAUQJyrZYTY8aU4DjPnXtQeUQlP-zqzXK",
"http://www.baidu.com/link?url=DjXRm8KwbnSAOaPtt3NtR7XzwCnWizbgJDxeC9DPB0GBeSJIiYb2ObZHQ5mLsYjP"
]
for someurl in urlList:
    response = requests.get(someurl)
    if response.history:
        print(response.url)
    else:
        print("Request was not redirected")

0x05 获取fofa结果

function getIpByTag()
{
    var t = document.getElementById('ajax_content').getElementsByClassName('re-domain');
    var str = '\n';
    for(var i=0;i< t.length;i++)
    {
        if(document.getElementById('ajax_content').getElementsByClassName('re-domain')[i].getElementsByTagName('a').length>=2)
        {
            str = str + '"' + document.getElementById('ajax_content').getElementsByClassName('re-domain')[i].getElementsByTagName('a')[1].href + '",\n';
        }
        else
        {
            str = str + '"' + document.getElementById('ajax_content').getElementsByClassName('re-domain')[i].getElementsByTagName('a')[0].href + '",\n';
        }

    }
    str = str + '\n';
    return str;
}
getIpByTag();

参考

[1] 使用Chrome console提取页面数据
https://www.cnblogs.com/liun1994/p/7265828.html

[2] Google浏览器URL采集的一种思路
https://blog.csdn.net/qq_29647709/article/details/84379170

[3] 使用浏览器控制台抓取信息
https://lufe1.cn/2017/09/20/使用浏览器控制台抓取信息/

[4] js截取指定字符前面或后面的内容
https://blog.csdn.net/caiyongshengCSDN/article/details/88420416