scrapyd spiderkeeper docker部署

Dockerfile

1
2
3
4
5
6
7
FROM python:3.5
RUN cp -f /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && pip install --upgrade pip && pip install scrapy scrapyd sqlalchemy scrapy-redis mysql_connector scrapyd-client spiderkeeper
COPY scrapyd.conf /etc/scrapyd/
COPY config.txt /
VOLUME /data
VOLUME /images
EXPOSE 6800

config.txt

1
2
3
4
5
6
7
[mysql]
db_host=root:123456@localhost:3306/scrapy
[redis]
db_host=localhost
db_port=7501
[img]
path = /images/

scrapyd.conf

1
2
3
4
5
6
[scrapyd]
bind_address = 0.0.0.0
eggs_dir    = /data/eggs
logs_dir    = /data/logs
dbs_dir     = /data/dbs
http_port   = 6800

docker-compose.yml

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
version: '2'
services:
    worker_1:
        image: scrapy
        hostname: worker_1
        volumes:
            - /Project/docker/worker_1:/data
            - /Project/docker/images:/images
        command: scrapyd
     
    worker_2:
        image: scrapy
        hostname: worker_2
        volumes:
            - /Project/docker/worker_2:/data
            - /Project/docker/images:/images
        command: scrapyd
     
    spiderkeeper:
        image: scrapy
        hostname: spiderkeeper
        ports:
            - '5000:5000'
        volumes:
            - /Project/docker/spiderkeeper:/data
        external_links:
            - worker_1
            - worker_2
        command: spiderkeeper --database-url=sqlite:////data/SpiderKeeper.db --server=http://worker_1:6800 --server=http://worker_2:6800 --username=admin --password=admin

  

posted on   大师兄^..^  阅读(804)  评论(0编辑  收藏  举报

编辑推荐:
· 为什么说在企业级应用开发中,后端往往是效率杀手?
· 用 C# 插值字符串处理器写一个 sscanf
· Java 中堆内存和栈内存上的数据分布和特点
· 开发中对象命名的一点思考
· .NET Core内存结构体系(Windows环境)底层原理浅谈
阅读排行:
· 为什么说在企业级应用开发中,后端往往是效率杀手?
· DeepSeek 解答了困扰我五年的技术问题。时代确实变了!
· 本地部署DeepSeek后,没有好看的交互界面怎么行!
· 趁着过年的时候手搓了一个低代码框架
· 推荐一个DeepSeek 大模型的免费 API 项目!兼容OpenAI接口!

导航

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

统计

点击右上角即可分享
微信分享提示