crawlab 实现批量添加爬虫的功能

1.  前言

　　crawlab 是基于Golang的分布式爬虫管理平台，但是没有实现批量添加爬虫的功能。

　　作为党国的优秀青年，怎么可以容忍这件事情呢，那就实现一个脚本去批量添加爬虫吧。

2. 主要解决的问题是

　　需要抓取的网站有几百个，爬虫代码编写完毕，但是需要手动的去添加爬虫代码，一个一个的去添加，累死人了，

　　因此想办法去编写一个脚本去实现爬虫的功能。

3. 难点

　　文件上传使用的是   multipart/form-data; boundary=----WebKitFormBoundaryxHvDD0BUGzUw2qhS

　　

 

 

 　瞬间懵逼了，multipart/form-data; 是什么玩意呢?boundary=----WebKitFormBoundaryxHvDD0BUGzUw2qhS 又是干啥的啊？然后就去疯狂的搜索资料

　　

根据http/1.1 rfc 2616的协议规定，我们的请求方式只有OPTIONS、GET、HEAD、POST、PUT、DELETE、TRACE等，
那为为何我们还会有multipart/form-data请求之说呢？这就要从头来说了。

http协议规定以ASCII码传输，建立在tcp，ip协议智商的引用规范，规范内容把http请求分成3个部分，状态行，请求头，请求体。
所有的方法，实现都是围绕如何使用和组织这三部分来完成了，万变不离其宗，http的知识大家可以问度娘。

既然上面请求方式里面没有multipart/form-data那这个请求又是怎么回事呢，
其实是一回事，multipart/form-data也是在post基础上演变而来的，具体如下：

1.multipart/form-data的基础方式是post，也就是说通过post组合方式来实现的。
2.multipart/form-data于post方法的不同之处在于请求头和请求体。
3.multipart/form-data的请求头必须包含一个特殊的头信息：Content-Type，
其值也必须为multipart/form-data，同时还需要规定一个内容分割用于分割请求提中多个post的内容，
如文件内容和文本内容是需要分隔开来的，不然接收方就无法解析和还原这个文件了，
具体的头信息如下：
    Content-Type: multipart/form-data; boundary=${bound}

 

下一步直接上代码吧：

代码仅仅是演示作用，如果有需要请评论后获得指导

xxxxxxxxxxxxxxxxxxxxxxx  请根据自己的代码去修改

file_name = "xxxxxxxxxxxxxxxxxxxxxxx"

f = zipfile.ZipFile( file_name + '.zip', 'w', zipfile.ZIP_DEFLATED)
for i in ["contest.py", file_name + ".py"]:
    file = i.split('/')[-1]
    f.write(i, file)  
f.close()


url = 'xxxxxxxxxxxxxxxxxxxxxxx'
params = {
    'name': file_name,
    'display_name': file_name,
    'col': "undefined",
    'cmd': "",

}
print(json.dumps(params))

with open('xxxxxxxxxxxxxxxxxxxxxxx.zip', 'rb') as f_:
    m = MultipartEncoder(
        fields={
            "params":json.dumps(params),
            'file': (file_name + '.zip', f_,'application/x-zip-compressed'),
        },
    )

    headers = {

        'Content-Type': m.content_type,
        "Authorization": "xxxxxxxxxxxxxxxxxxxxxxx",
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36",
        "Accept": "*/*",
        "Origin": "xxxxxxxxxxxxxxxxxx",
        "Referer": "xxxxxxxxxxxxxxxxxxxxxxxx",
        "Accept-Encoding": "gzip, deflate, br",
        "Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8",
        "Cookie": "xxxxxxxxxxxxxxxxxxxxxxx"

    }
    response = requests.post(url,data=m,verify=False,headers=headers)
    content = json.loads(response.content)

上面的代码仅仅实现的文件的上传功能，但是没有 项目 和执行命令，在爬虫详情页有一个保存的功能，同样可以用爬虫技术实现这个修改保存的功能

　　

 

 

 

 

　　　　代码如下：

　　　　　　　　

content = json.loads(response.content)
_id = content['data']['_id']
file_id = content['data']['file_id']
print(content)

false = False

data = {

        "_id": _id,
        "name": file_name,
        "display_name": file_name,
        "type": "customized",
        "file_id":file_id ,
        "col": "",
        "site": "",
        "envs": [],
        "remark": "",
        "src": "/app/spiders/" + file_name,
        "project_id": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
        "is_public": false,
        "cmd": "python3 " + file_name + ".py",
        "is_scrapy": false,
        "spider_names": [],
        "template": "",
        "is_git": false,
        "git_url": "",
        "git_branch": "",
        "git_has_credential": false,
        "git_username": "",
        "git_password": "",
        "git_auto_sync": false,
        "git_sync_frequency": "",
        "git_sync_error": "",
        "is_long_task": false,
        "is_dedup": false,
        "dedup_field": "",
        "dedup_method": "",
        "is_web_hook": false,
        "web_hook_url": "",
        "last_run_ts": "0001-01-01T00:00:00Z",
        "last_status": "",
        "config": {
        "name": "",
        "display_name": "",
        "col": "",
        "remark": "",
        "Type": "",
        "engine": "",
        "start_url": "",
        "start_stage": "",
        "stages": [],
        "settings": {},
        "cmd": ""
    },
    "latest_tasks": [],
    "username": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
    "project_name": "",
    "user_id": "61246ad5a3abed001dfccd82",
    "create_ts": "2021-09-02T02:22:40.9Z",
    "update_ts": "2021-09-02T02:22:40.905Z"
}

url = "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"

headers1 = {

    "Host":"crawler.uibe.info",
    "Connection":"keep-alive",
    "Content-Length":"1045",
    "Accept":"application/json, text/plain, */*",
    "Authorization":"xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
    "sec-ch-ua-mobile":"?0",
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36",
    "Content-Type":"application/json;charset=UTF-8",
    "Origin":"xxxxxxxxxxxxxxxxxxxxxxxxx",
    "Sec-Fetch-Site":"same-origin",
    "Sec-Fetch-Mode":"cors",
    "Sec-Fetch-Dest":"empty",
    "Referer":"xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
    "Accept-Encoding":"gzip, deflate, br",
    "Accept-Language":"zh-CN,zh;q=0.9,en;q=0.8",
    "Cookie":"xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",


}

res = requests.post(url=url,data=json.dumps(data),headers=headers1).text
print(res)