openresty + gor+minio 集成
以前有写过简单的容器集成，以下是关于s3集成的，主要是测试数据的捕捉以及回放
参考流程
简单说明
gor 与openresty 部署在一起，为了方便基于supervisord 管理，默认已经开启请求捕捉（80端口），同时supervisord集成了管理，可以通过ui操作是否捕捉
对于捕捉的数据存储在minio s3中，如果需要回放操作，我们直接可以基于gor tools 将存储的数据回放给需要测试的服务
环境准备
- docker-compose 文件
version: "3"
services:
minio:
image: minio/minio
command: server /data
volumes:
- "./data:/data"
ports:
- "9000:9000"
environment:
- "MINIO_ACCESS_KEY=minio"
- "MINIO_SECRET_KEY=minio123"
api:
image: dalongrong/openresty-gor:s3
build:
dockerfile: ./Dockerfile-openresty
context: ./
privileged: true
cap_add:
- ALL
volumes:
- "./supervisor.conf:/etc/supervisord.conf"
- "./nginx.conf:/usr/local/openresty/nginx/conf/nginx.conf"
- "./demoapps:/opt/demoapps"
- "./capture:/app/capture"
- "./logs/access-test.log:/usr/local/openresty/nginx/logs/access-test.log"
ports:
- "80:80"
- "8080:8080"
- "9001:9001"
- supervisord.conf 配置
[program:website]
command = /usr/local/openresty/bin/openresty
[inet_http_server]
port = :9001
[program:gor]
# 此处需要指定关于s3 的配置
environment=AWS_ACCESS_KEY_ID="minio",AWS_SECRET_ACCESS_KEY="minio123",AWS_REGION="demo",AWS_ENDPOINT_URL="http://minio:9000",AWS_DEBUG="true"
stdout_logfile = gor.log, /dev/stdout
command = gor --input-raw :80 --output-file s3://logs/%Y-%m-%d-%H-%M.gz
- openresty+gor dockerfile
添加了时区以及gor+supervisord的集成
FROM openresty/openresty:alpine
ENV PATH=$PATH:/app
RUN /bin/sed -i 's,http://dl-cdn.alpinelinux.org,https://mirrors.aliyun.com,g' /etc/apk/repositories
ENV TZ Asia/Shanghai
RUN apk add --update --no-cache \
tzdata && ln -snf /usr/share/zoneinfo/$TZ /etc/localtime && echo $TZ > /etc/timezone
COPY --from=dalongrong/gor /app/gor /app/gor
COPY --from=ochinchina/supervisord:latest /usr/local/bin/supervisord /usr/local/bin/supervisord
EXPOSE 9001 8080 80
COPY supervisor.conf /etc/supervisor.conf
CMD ["/usr/local/bin/supervisord"]
- 启动
docker-compose up -d
- s3 bucket 创建
需要创建logs（和自己使用gor 的配置有关系）
测试效果
- supervisord 管理界面
我们可以通过此管理界面控制gor 是否进行数据捕捉
- minio 存储
- 回放
我使用了本地工具，同时注意需要配置关于s3的信息
export AWS_ACCESS_KEY_ID=minio
export AWS_REGION=demo
export AWS_SECRET_ACCESS_KEY=minio123
export AWS_ENDPOINT_URL=http://127.0.0.1:9000
export AWS_DEBUG=true
./gor-mac --input-file s3://logs/2020-07-20-10-19_13.gz --output-http "http://localhost"
对于回放效果的查看可以通过查看openresty 的log
类似可以集成的工具
mountebank（可以mock http,https,tcp,smtp）,diffy (请求比较，主要是http)
hoverfly 一个不错的流量处理工具，nginx 的mirrror也是一个不错的选择
说明
以上只是一个简单的集成试用，实际如果我们需要基于捕捉的数据进行业务操作回放，还有好多事情需要做
参考资料
https://github.com/buger/goreplay
https://github.com/opendiffy/diffy
https://github.com/bbyars/mountebank
https://github.com/spectolabs/hoverfly
https://github.com/rongfengliang/openresty_rewrite_static/tree/gor
