会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
英雄莫问出处,富贵当思缘由
博客园
首页
新随笔
联系
订阅
管理
2021年8月22日
crawlab 实现批量添加爬虫的功能
摘要: 1. 前言 crawlab 是基于Golang的分布式爬虫管理平台,但是没有实现批量添加爬虫的功能。 作为党国的优秀青年,怎么可以容忍这件事情呢,那就实现一个脚本去批量添加爬虫吧。 2. 主要解决的问题是 需要抓取的网站有几百个,爬虫代码编写完毕,但是需要手动的去添加爬虫代码,一个一个的去添加,累死
阅读全文
posted @ 2021-08-22 11:35 淋哥
阅读(516)
评论(0)
推荐(0)
编辑
公告