摘要: 此项目主要适用于文本标注多元组使用: 只需创建项目,上传数据并开始注释。您可以在数小时内生成数据集。 标注页面: 项目搭建: python3 + django + django-rest-framewor + mysql 后端 https://github.com/Jaccccccccccccccc 阅读全文
posted @ 2020-05-14 18:12 Jacck 阅读(2483) 评论(9) 推荐(0) 编辑
摘要: 服务器:centos6.7 安装logstash sudo yum install logstash 启动: 其中scrapyd_conllect.conf为配置文件 nohup sudo /usr/share/logstash/bin/logstash -f scrapyd_collect.con 阅读全文
posted @ 2020-05-14 16:30 Jacck 阅读(336) 评论(5) 推荐(0) 编辑
摘要: 环境是Centos 7.6 首先使用yum安装python3,可以选择其他版本 sudo yum install python36 因为正常使用过程中需要把python3作为主力基本弃用python2的情况下,把python和pip命令直接指向到python3和pip3 sudo alias pyt 阅读全文
posted @ 2020-05-14 16:16 Jacck 阅读(1186) 评论(0) 推荐(0) 编辑
摘要: scrapy写的爬虫都需要短时间进行循环爬取,但是频繁的调度在scrapy和scrapyd部署情况下日志非常难以收集及查错 所以在爬虫内添加了一个middlewares,作用是在爬虫要结束的时候并不结束爬虫,1.等待一个预先设定的时间,然后将整个爬虫的任务重新开启 2.或者爬虫结束的时候已经超过了设 阅读全文
posted @ 2020-05-14 16:03 Jacck 阅读(739) 评论(0) 推荐(1) 编辑
摘要: # For more information on configuration, see: # * Official English Documentation: http://nginx.org/en/docs/ # * Official Russian Documentation: http:/ 阅读全文
posted @ 2020-05-14 15:49 Jacck 阅读(2249) 评论(0) 推荐(0) 编辑