云锁docker部署注意点

注意事项目

一、将阿里云服务器80、8088、9000、3306四个端口打开；
二、部署顺序：mysql》》》nginx》》》redis》》》django》》》fastapi
三、mysql
1、修改远程访问密码，跟django和fastapi中设置文件（settings.py和config.py）的密码一致；
2、字符集修改为utf-8；
四、nginx
1、nginx原有的设置文件nginx.conf不做任何改动；
2、添加自有配置文件 xiaoyan到目录conf.d；
3、启动容器后，进入容器bash界面，使用命令（nginx -c /etc/nginx/conf.d/xiaoyan）装入自有配置。
五、django
1、修改代码设置文件（/yunshuo/django/code/xiaoyanwebsite/XiaoyanWebsite/settings.py）中的mysql的host地址和访问密码；
2、django容器启动后，到code目录中运行命令（uwsgi --ini uwsgi.ini），以启动uwsgi服务。
六、fastapi
1、修改代码设置文件（/yunshuo/fastapi/code/DataManager/MySQLManager.py）中的mysql的host地址和访问密码；
2、fastapi容器启动后，到code目录中运行命令（gunicorn -c config.py main:app），以启动gunicorn服务。

 

nginx部署（原nginx.conf不动，自有配置内容在/yunshuo/nginx/conf.d/xiaoyan文件中）

一、dockerfile

FROM nginx:1.14

COPY nginx/conf.d /etc/nginx/conf.d

WORKDIR /etc/nginx
RUN mkdir html log

二、build docker

docker build -f nginx_dockerfile -t xiaoyan-nginx:1.0 .

三、运行docker

docker run -d --restart=always -p 9000:9000 -p 80:80 -p 8088:8088 -v /yunshuo/nginx/conf.d:/etc/nginx/conf.d -v /yunshuo/nginx/log:/etc/nginx/log -v /yunshuo/nginx/html:/etc/nginx/html --name my-nginx xiaoyan-nginx:1.0

四、进入容器bash中装载自有配置文件

[root@sam4core yunshuo]# docker exec -it b9d60c1e68f2 /bin/bash

root@b9d60c1e68f2:/etc/nginx/conf.d# nginx -c /etc/nginx/conf.d/xiaoyan
2022/05/26 06:34:28 [emerg] 14#14: open() "/etc/nginx/log/frontend/nginx_access.log" failed (2: No such file or directory)
nginx: [emerg] open() "/etc/nginx/log/frontend/nginx_access.log" failed (2: No such file or directory)

root@b9d60c1e68f2:/etc/nginx/log# mkdir fastapi
root@b9d60c1e68f2:/etc/nginx/log# mkdir frontend
root@b9d60c1e68f2:/etc/nginx/log# mkdir django

root@b9d60c1e68f2:/etc/nginx/conf.d# nginx -c /etc/nginx/conf.d/xiaoyan

五、解决nginx中访问后端的跨域问题

      1、后端访问有2种方式

　　　 跨域       https://www.xiaoyan.link:9000/            跨域        http://www.xiaoyan.link:8088/api/test/ 
          非跨域    https://www.xiaoyan.link/fastapi          非跨域     https://www.xiaoyan.link/django/api/test/

      2、非跨域访问方式，跟前端用同样的端口号（80或443），增加标志性的后缀，转发前删除后缀，如下列例子中的 django 和 fastapi     

        #后端django API地址暴露为：http://www.xiaoyan.link/django
        #http://www.xiaoyan.link/django/api/test/
        location /django {
            proxy_pass http://127.0.0.1:8080/;
            proxy_pass_request_headers on;
            # 重写URL，去掉django
            rewrite "^/django/(.*)$" /$1 break;
        }    
        #后端fastapi API地址暴露为：http://www.xiaoyan.link/fastapi
        #http://www.xiaoyan.link/fastapi
        location /fastapi {
            proxy_pass http://127.0.0.1:9001/;
            proxy_pass_request_headers on;
            # 重写URL，去掉fastapi
            rewrite "^/fastapi/(.*)$" /$1 break;
        }        

       3、跨域方式，使用单独的端口号

    server {
        listen 8088;
        server_name 121.43.147.156 xiaoyan.link;

        index index.html;
        location / {
            proxy_pass http://django/; # 将指定的ip或者域名的http请求转发到upstream池中
            proxy_set_header Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_set_header X-Forwarded-Proto $scheme;
        }
        access_log      /etc/nginx/log/django/nginx_access.log;
        error_log       /etc/nginx/log/django/nginx_error.log;
    }


    server {
        listen 9000;
        ssl    on;
        server_name 121.43.147.156 xiaoyan.link;

        #ssl configuration
        ssl_certificate    /etc/nginx/conf.d/7852698_www.xiaoyan.link.pem; #open here
        ssl_certificate_key     /etc/nginx/conf.d/7852698_www.xiaoyan.link.key; #open here
        ssl_session_timeout    5m;
        ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:ECDHE:ECDH:AES:HIGH:!NULL:!aNULL:!MD5:!ADH:!RC4;
        ssl_protocols    TLSv1 TLSv1.1 TLSv1.2;
        ssl_prefer_server_ciphers    on;

        location / {
            proxy_pass http://fastapi/; # 将指定的ip或者域名的http请求转发到upstream池中
            proxy_set_header Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_set_header X-Forwarded-Proto $scheme;
        }
        access_log      /etc/nginx/log/fastapi/nginx_access.log;
        error_log       /etc/nginx/log/fastapi/nginx_error.log;
    }

六、前端echo浏览器的文件类型必须正确，有专门的类型配置语句

http {
    include    /etc/nginx/mime.types;
    default_type  application/octet-stream;

    upstream django {
        server 127.0.0.1:8080; # django.gunicorn(0.0.0.0:8080)
    }
    upstream fastapi {
        server 127.0.0.1:9001; # fastapi.gunicorn(0.0.0.0:9001)
    }

七、配置ssl文件，要将ssl pem和key文件拷贝到相应位置

    server {
        listen 80;
        listen 443 ssl; #open here
        server_name 121.43.147.156 xiaoyan.link;

        #ssl configuration
        ssl_certificate    /etc/nginx/conf.d/7852698_www.xiaoyan.link.pem; #open here
        ssl_certificate_key     /etc/nginx/conf.d/7852698_www.xiaoyan.link.key; #open here
        ssl_session_timeout    5m;
        ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:ECDHE:ECDH:AES:HIGH:!NULL:!aNULL:!MD5:!ADH:!RC4;
        ssl_protocols    TLSv1 TLSv1.1 TLSv1.2;
        ssl_prefer_server_ciphers    on;

 

redis部署 （可用配置文件：/yunshuo/redis/redis.conf）

最佳参考 https://blog.csdn.net/wangyue23com/article/details/110194399

一、配置文件关键点

      修改redis.conf配置：

      1.dir 配置，改为如下 /data 工作目录

        # Note that you must specify a directory here, not a file name.
        dir /data
      2.logfile配置，修改log路径 为/data目录下

        # output for logging but daemonize, logs will be sent to /dev/null
        logfile /data/redis.log

      3、在共用nginx网络模式下无法确认redis已经正常工作，可以设置loglevel=debug，这样每次写入数据和连接redis都可以在log上实时看到

# Specify the server verbosity level.
# This can be one of:
# debug (a lot of information, useful for development/testing)
# verbose (many rarely useful info, but not a mess like the debug level)
# notice (moderately verbose, what you want in production probably)
# warning (only very important / critical messages are logged)
loglevel debug

# Specify the log file name. Also the empty string can be used to force
# Redis to log on the standard output. Note that if you use standard
# output for logging but daemonize, logs will be sent to /dev/null
logfile /data/redis.log

二、redis docker有2个主要工作目录

      1、/etc目录下放置 redis.conf文件

      2、/data目录下放置 db文件和log文件

三、运行部署容器命令

云锁部署方式，与nginx网络联结
docker run -d --restart=always --name my-redis --network container:my-nginx --privileged=true -v /yunshuo/redis/redis.conf:/etc/redis.conf -v /yunshuo/redis/data:/data redis:6.0 redis-server /etc/redis.conf
网上例子
docker run -itd  --name  redis --privileged=true -v /etc/redis.conf:/etc/redis.conf -v /usr/local/redis/data:/data  -p 6379:6379  redis redis-server /etc/redis.conf

四、进入容器确认安装好

进入容器命令
[root@sam4core yunshuo]# docker exec -it cd4c8ce8dabc bash

查看/etc/redis.conf和/data目录内容
root@b9d60c1e68f2:/# ls /etc/redis.conf
/etc/redis.conf
root@b9d60c1e68f2:/# cd /data        
root@b9d60c1e68f2:/data# ls
dump.rdb  redis-server.log  redis.log
root@b9d60c1e68f2:/data# cat redis.log
1:C 26 May 2022 08:37:43.708 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
1:C 26 May 2022 08:37:43.708 # Redis version=6.0.16, bits=64, commit=00000000, modified=0, pid=1, just started
1:C 26 May 2022 08:37:43.708 # Configuration loaded

查看log内容
root@a0436e256c18:/data# cat redis.log

 

mysql部署 （mysql只认3306端口，外面用3308还是3307，都要映射到docker内3306，密码见笔记和连接软件）

一、拷贝配置文件

      /docker/mysql001/config   >>>>>>   /yunshuo/mysql/conf.d

二、运行run命令生成容器     

1、run生成容器
[root@sam4core yunshuo]# docker run -d -p 3308:3306 --privileged=true -v /yunshuo/mysql/log:/var/log/mysql -v /yunshuo/mysql/data:/var/lib/mysql -v /yunshuo/mysql/my.conf:/etc/mysql/my.conf -e MYSQL_ROOT_PASSWORD=emi,.123456 --name my-mysql mysql:5.7
c114cf48cdb7e7620d627d39867f15af38161c0db3b5c9274f5ed9a2f1673de8
2、进入容器
[root@sam4core yunshuo]# docker exec -it c114cf48cdb7 bash
3、进入数据库管理设置
root@c114cf48cdb7:/# mysql -uroot -p
Enter password: 
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 2
Server version: 5.7.36 MySQL Community Server (GPL)
4、设置远程登陆密码
mysql> grant all privileges on *.* to root@'%' identified by 'emi.123456';
Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)
5、设置本地登陆密码
mysql> SET PASSWORD FOR 'root'@'localhost' = PASSWORD('emi.123456'); 
Query OK, 0 rows affected, 1 warning (0.00 sec)

 

django部署

最佳参考：https://www.jianshu.com/p/12fd6fb59d4d

一、build命令

[root@sam4core yunshuo]# docker build -f django_dockerfile -t xiaoyan-django:1.0 .

二、run命令生成容器

[root@sam4core yunshuo]# docker run -it  --restart=always --name my-django -v /yunshuo/django/code/xiaoyanwebsite:/code/xiaoyanwebsite -v /yunshuo/django/log:/code/log --network container:my-nginx xiaoyan-django:1.0

三、启动uwsgi服务

# uwsgi --ini uwsgi.ini
[uWSGI] getting INI configuration from uwsgi.ini

 

四、gunicorn部署django

docker run命令
docker run -it  --restart=always --name my-django -v /yunshuo/django/code:/code --network container:my-nginx xiaoyan-django:1.0
容器内启动gunicorn
gunicorn xiaoyan.wsgi:application -c gunicorn.conf.py
build命令
docker build -f gunicorn_dockerfile -t xiaoyan-django:1.0 .
容器启动命令（宿主机端口映射方式）
docker run -d  --restart=always --name my-django -v /yunshuo/django/code:/code  -p 3000:8080 xiaoyan-django:1.0 /bin/bash -c "gunicorn XiaoyanWebsite.wsgi:application -c gunicorn.conf.py"
容器启动命令（nginx网络联结方式）
docker run -d  --restart=always --name my-django -v /yunshuo/django/code:/code  --network container:my-nginx xiaoyan-django:1.0 /bin/bash -c "gunicorn XiaoyanWebsite.wsgi:application -c gunicorn.conf.py"

gunicorn.conf.py配置文件

# -*- coding: utf-8 -*-
#import multiprocessing
#from pathlib import Path

#BASE_DIR = Path(__file__).resolve(strict=True).parent.parent.parent.parent

debug = True

# ============================================================
# gunicorn要切换到的目的工作目录
# ============================================================

#chdir = str(BASE_DIR)
#chdir = '/code/xiaoyanwebsite'

# ============================================================
# server socket相关
# ============================================================

# 指定绑定的ip和端口   注：docker映射端口时默认IP使用0.0.0.0，而不是django平时测试使用的127.0.0.1，
用gunicorn部署主机IP必须设置为0.0.0.0，更奇怪的是nginx送过来的IP必须是127.0.0.1，gunicorn才接受。
bind = "0.0.0.0:8080"

# 服务器中排队等待的最大连接数，建议值64-2048，超过2048时client连接会得到一个error
backlog = 2048

# ============================================================
# 调试相关
# ============================================================

# 当代码有修改时，自动重启workers，适用于开发环境
reload = False

# 以守护进程形式来运行Gunicorn进程，其实就是将这个服务放到后台去运行
daemon = False

# ============================================================
# worker进程相关
# ============================================================

# 用于处理工作的进程数
workers = 1

# worker进程的工作方式，有sync、eventlet、gevent、tornado、gthread, 默认是sync,
# django使用gevent容易造成阻塞, 使用gthread的方式好一些
worker_class = 'sync'

# 指定每个工作进程开启的线程数
threads = 3

# 访问超时时间
timeout = 30

# 接收到restart信号后，worker可以在graceful_timeout时间内，继续处理完当前requests
graceful_timeout = 60

# server端保持连接时间
keepalive = 30

# ============================================================
# 日志相关
# ============================================================

"""日志文件格式，其每个选项的含义如下：
h          remote address
l          '-'
u          currently '-', may be user name in future releases
t          date of the request
r          status line (e.g. ``GET / HTTP/1.1``)
s          status
b          response length or '-'
f          referer
a          user agent
T          request time in seconds
D          request time in microseconds
L          request time in decimal seconds
p          process ID
"""
access_log_format = '%(t)s %(h)s "%(r)s" %(s)s %(b)s "%(f)s" "%(L)s"'

LOG_DIR = '/code'
#LOG_DIR = Path(BASE_DIR, 'log')
#if not LOG_DIR.exists():
#    LOG_DIR.mkdir(parents=True)

# 错误日志输出等级，访问日志的输出等级无法设置
loglevel = "debug"

# 正常的日志文件路径，'-'表示输出到终端
accesslog = '/code/xiaoyanwebsite/gunicorn_accesslog.log'

# 错误日志文件路径，'-'表示输出到终端
errorlog =  '/code/xiaoyanwebsite/gunicorn_error.log'

# ============================================================
# 进程名相关
# ============================================================

# 设置进程名称，默认是gunicorn
proc_name = 'gunicorn_yunsuo'

 

gunicorn_dockerfile

# 从仓库拉取带有python3.8的Linux环境
FROM python:3.8.6

# 镜像维护者的姓名和邮箱地址
MAINTAINER chenxiaojie  <390976522@qq.com>

# 因为墙的关系，有时安装库可能会很慢或者失败，所以推荐使用国内镜像源
# 此处是创建一个指向阿里云镜像源的参数，以便后面引用
#ARG pip_url=http://mirrors.aliyun.com/pypi/simple/
#ARG pip_host=mirrors.aliyun.com

# 设置python环境变量
ENV PYTHONUNBUFFERED 1

# 容器默认的时间是UTC时间，此处设置为上海时间
RUN cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

# 定义一个变量，其值为项目在docker容器中的工作目录
ARG work_home=/code

# 在容器中创建code文件夹
RUN mkdir ${work_home}

# 将容器中的room文件夹设置为工作目录，拷贝代码到工作目录
WORKDIR /code/xiaoyanwebsite

# 拷贝代码到容器的code目录，因为build中指定的context环境目录为project这一层，所以当前目录即项目目录
COPY django/code ${work_home}

# 将django/code下的startapp.sh 文件拷贝到容器的根目录下
COPY django/code/gunicorn_start.sh /gunicorn_start.sh
# 将django/code下的wait-for-it.sh文件拷贝到容器的根目录下
COPY django/code/wait-for-it.sh /wait-for-it.sh

# 修改文件权限 ，为sh文件增加可执行
RUN chmod +x /gunicorn_start.sh
RUN chmod +x /wait-for-it.sh
RUN chmod +x /code/gunicorn_start.sh
RUN chmod +x /code/wait-for-it.sh

# 更新pip
#RUN pip install pip -U
RUN python -m pip install --upgrade pip -i http://pypi.douban.com/simple/ --trusted-host=pypi.douban.com/simple/

# 安装所有依赖库
#RUN pip install -r ./xiaoyanwebsite/requirements.txt -i ${pip_url} --trusted-host ${pip_host}
RUN pip install -r ./xiaoyanwebsite/requirements.txt -i http://pypi.douban.com/simple/ --trusted-host=pypi.douban.com/simple/


CMD ["sh"]

 

fastapi部署思路

fastapi部署总体思路：uvicorn运行代码，gunicorn当服务器

if __name__ == '__main__':
    uvicorn.run(app='main:app', host="127.0.0.1", port=8000, reload=True, debug=True)

# 启动命令
gunicorn main:app -b 0.0.0.0:8001 -w 4 -k uvicorn.workers.UvicornWorker  # -D 守护启动 -c 配置文件

 

dockerfile

FROM tiangolo/uvicorn-gunicorn-fastapi:python3.7
#FROM python:3.8.6-slim

COPY fastapi/code /code

WORKDIR /code

RUN python -m pip install --upgrade pip -i http://pypi.douban.com/simple/ --trusted-host=pypi.douban.com/simple/
RUN pip install -r requirements.txt -i http://pypi.douban.com/simple/ --trusted-host=pypi.douban.com/simple/

CMD ["sh"]

 

build命令

docker build -f fastapi_dockerfile -t xiaoyan-fastapi:1.1 .

容器run运行命令

docker run -itd --name my-fastapi -v /yunshuo/fastapi/code:/code  -p 3000:9001  xiaoyan-fastapi:1.1 /bin/bash -c "gunicorn main:app -k uvicorn.workers.UvicornWorker -c gunicorn.conf.py"
项目名：main:app  （main.py启动代码中有）
类别：-k uvicorn.workers.UvicornWorker 
设置文件：-c gunicorn.conf.py

设置文件（gunicorn.conf.py）

# -*- coding: utf-8 -*-
#import multiprocessing
#from pathlib import Path

#BASE_DIR = Path(__file__).resolve(strict=True).parent.parent.parent.parent

debug = True

# ============================================================
# gunicorn要切换到的目的工作目录
# ============================================================

#chdir = str(BASE_DIR)
#chdir = '/code/xiaoyanwebsite'

# ============================================================
# server socket相关
# ============================================================

# 指定绑定的ip和端口， 注：docker默认映射主机是0.0.0.0，而不是django项目通常的127.0.0.1
bind = "0.0.0.0:9001"

# 服务器中排队等待的最大连接数，建议值64-2048，超过2048时client连接会得到一个error
backlog = 2048

# ============================================================
# 调试相关
# ============================================================

# 当代码有修改时，自动重启workers，适用于开发环境
reload = False

# 以守护进程形式来运行Gunicorn进程，其实就是将这个服务放到后台去运行
daemon = False

# ============================================================
# worker进程相关
# ============================================================

# 用于处理工作的进程数
workers = 1

# worker进程的工作方式，有sync、eventlet、gevent、tornado、gthread, 默认是sync,
# django使用gevent容易造成阻塞, 使用gthread的方式好一些
worker_class = 'sync'

# 指定每个工作进程开启的线程数
threads = 3

# 访问超时时间
timeout = 30

# 接收到restart信号后，worker可以在graceful_timeout时间内，继续处理完当前requests
graceful_timeout = 60

# server端保持连接时间
keepalive = 30

# ============================================================
# 日志相关
# ============================================================

"""日志文件格式，其每个选项的含义如下：
h          remote address
l          '-'
u          currently '-', may be user name in future releases
t          date of the request
r          status line (e.g. ``GET / HTTP/1.1``)
s          status
b          response length or '-'
f          referer
a          user agent
T          request time in seconds
D          request time in microseconds
L          request time in decimal seconds
p          process ID
"""
access_log_format = '%(t)s %(h)s "%(r)s" %(s)s %(b)s "%(f)s" "%(L)s"'

LOG_DIR = '/code'
#LOG_DIR = Path(BASE_DIR, 'log')
#if not LOG_DIR.exists():
#    LOG_DIR.mkdir(parents=True)

# 错误日志输出等级，访问日志的输出等级无法设置
loglevel = "debug"

# 正常的日志文件路径，'-'表示输出到终端
accesslog = '/code/logs/gunicorn_accesslog.log'

# 错误日志文件路径，'-'表示输出到终端
errorlog =  '/code/logs/gunicorn_error.log'

# ============================================================
# 进程名相关
# ============================================================

# 设置进程名称，默认是gunicorn
proc_name = 'fastapi_yunsuo'