运维人员入项指引
服务器环境
服务器使用华为云,鲲鹏内存优化型
系统:Huawei Cloud EulerOS 2.0 等保2.0三级版 64位 ARM版
内网网段:10.200.1.0/24
CCE集群环境
华为云 CCE Standard v1.27 | 50 节点
集群名称:yeythnew
CCE集群网络:
如需添加容器网段,使用10.200.10.0/24 以上网段,避免网络冲突。
不能使用10.200.0.0/16网络
NAT网关
使用 nat-67e5
云数据库GaussDB(for MySQL)
实例名称gauss-YC-Test
读写内网地址 10.240.0.153
读写公网地址 1.95.4.90
数据库端口13306
实例名称gauss-YC-prod
读写内网地址 10.240.0.45
数据库端口3306
云服务器内网访问数据库,需要在vpc网络创建对等路由
Gitlab
安装所在服务器:
项目管理和源码管理服务器 10.200.1.6
gitlab 使用docker-compose方式安装
docker-compose 目录: /data/gitlab/docker-compose.yaml
gitlab数据目录:/mnt/paas/gitlab
启动 docker-compose start
停止docker-compose stop
配置
修改配置文件访问地址 vim /mnt/paas/gitlab/conf/gitlab.rb
xternal_url 'http://1.95.9.40:30080'
gitlab_rails['gitlab_ssh_host'] = '1.95.9.40'
gitlab_rails['gitlab_shell_ssh_port'] = 30022
Taiga
安装所在服务器:
开发Redis服务器 10.200.1.57
taiga 使用docker-compose方式安装
docker-compose 目录: /data/taiga/
taiga 数据目录: /mnt/paas/docker/volumes/taiga_*
启动 docker-compose start
停止 docker-compose stop
DataHub
安装所在服务器:
开发Redis服务器 10.200.1.57
datahub 使用docker-compose方式安装
docker-compose 目录/root/.datahub/quickstart/
datahub 数据目录/mnt/paas/docker/volumes/datahub_*
启动 docker-compose start
停止 docker-compose stop
Nacos
安装所在服务器:
开发RocketMQ服务器 10.200.1.70
安装目录:/data/nacos/
启动 :
cd /data/nacos/bin/
sh startup.sh -m standalone
停止:
sh shutdown.sh
配置
修改配置文件数据库连接 vim /data/nacos/conf/application.properties
spring.datasource.platform=mysql
### Count of DB:
db.num=1
### Connect URL of DB:
db.url.0=jdbc:mysql://127.0.0.1:3306/nacos?characterEncoding=utf8&connectTimeout=1000&socketTimeout=3000&autoReconnect=true&useUnicode=true&useSSL=false&serverTimezone=UTC
db.user.0=root
db.password.0=Kunpeng0001.
Jenkins
安装所在服务器:
项产物仓库和CI丨CD服务器 10.200.1.125
jenkins安装目录:/data/jenkins.war
jenkins数据目录:/mnt/paas/jenkins_home
JDK安装目录:/usr/local/lib/jdk-11.0.22
maven安装目录:/usr/local/apache-maven-3.6.3
启动 /data/jenkins_start.sh start
停止/data/jenkins_start.sh stop
Nexus
安装所在服务器:
项目管理和源码管理服务器 10.200.1.6 dev
项目管理和源码管理服务器 10.200.1.25 test
nexus 使用docker-compose方式安装
docker-compose 目录/data/nexus/
nexus数据目录:/mnt/paas/nexus
启动 docker-compose start
停止 docker-compose stop
sonrQube
安装所在服务器:
项目管理和源码管理服务器 10.200.1.6
sonrqube使用docker-compose方式安装
docker-compose 目录/data/sonrqube/
sonrqube数据目录:/mnt/paas/sonarqube、/mnt/paas/postgres
启动 docker-compose start
停止 docker-compose stop
Redis
安装所在服务器:
开发Redis服务器 10.200.1.57
开发RocketMQ服务器 10.200.1.70
redis 一主两从,方式安装
10.200.1.57:7001 主节点
10.200.1.57:7001 10.200.1.57:7002 从节点
安装目录:
/data/redis
启动:
/data/redis/start_redis.sh start
停止:
/data/redis/start_redis.sh stop
修改配置文件redis.conf vim /data/redis/7001/redis.conf
bind 0.0.0.0
protected-mode no
replicaof 10.200.1.57 7001
port 7001
dir "/data/redis/7001"
daemonize yes
requirepass BYAcDH2EK?uQ
masterauth BYAcDH2EK?uQ
dbfilename dump.rdb
apache rocketmq
安装所在服务器:
开发Redis服务器 10.200.1.57
开发RocketMQ服务器 10.200.1.70
rocketmq 一主一从集群安装
安装目录:/usr/local/rocketmq
启动
- nameServer 启动 : /usr/local/rocketmq/mqname_start.sh
- broker启动 : /usr/local/rocketmq/start.sh
停止
cd /usr/local/rocketmq
关闭namesrv : sh bin/mqshutdown namesrv
关闭broker: sh bin/mqshutdown broker
配置
修改配置文件 /usr/local/rocketmq/conf/broker.conf
storePathRootDir=/usr/local/rocketmq/data/store/
storePathCommitLog=/usr/local/rocketmq/data/commitlog/
aclEnable=true
namesrvAddr=1.95.53.216:9876;1.95.41.26:9876
brokerIP1=1.95.41.26
修改配置用户认证 /usr/local/rocketmq/conf/plain_acl.yml
globalWhiteRemoteAddresses:
- *
# 配置用户信息
accounts:
- accessKey: RocketMQ
secretKey: qweasd123456
whiteRemoteAddress:
admin: true
seata
安装所在服务器:
开发Redis服务器 10.200.1.57
开发RocketMQ服务器 10.200.1.70
seata 两节点集群安装
安装目录 /data/seata
启动 /mnt/paas/seata/bin/start.sh start
停止 /mnt/paas/seata/bin/start.sh stop
配置
vim /mnt/paas/seata/conf/application.yml
server:
port: 7091
spring:
application:
name: seata-server
console:
user:
username: seata
password: BYAcDH2EK?uQ
seata:
config:
# support: nacos, consul, apollo, zk, etcd3
type: nacos
nacos:
server-addr: 127.0.0.1:8848
namespace: fb1d35d9-dc77-4cef-b7e7-ef962baf57c1
group: SEATA_GROUP
username: nacos
password: BYAcDH2EK?uQ
context-path:
##if use MSE Nacos with auth, mutex with username/password attribute
#access-key:
#secret-key:
data-id: seataServer.properties
registry:
# support: nacos, eureka, redis, zk, consul, etcd3, sofa
type: nacos
nacos:
application: seata-server
server-addr: 127.0.0.1:8848
group: SEATA_GROUP
namespace: fb1d35d9-dc77-4cef-b7e7-ef962baf57c1
cluster: default
username: nacos
password: BYAcDH2EK?uQ
context-path:
store:
# support: file 、 db 、 redis
mode: db
db:
datasource: druid
db-type: mysql
driver-class-name: com.mysql.jdbc.Driver
url: jdbc:mysql://10.240.0.153:13306/financlials-middleware-seata?serverTimezone=UTC&rewriteBatchedStatements=true
user: yc_user
password: YLFprY6H6pKqMqrF
min-conn: 10
max-conn: 100
global-table: global_table
branch-table: branch_table
lock-table: lock_table
distributed-lock-table: distributed_lock
query-limit: 1000
max-wait: 5000
sentilnel
安装所在服务器:
开发Redis服务器 10.200.1.57
开发RocketMQ服务器 10.200.1.70
sentilnel 两节点集群安装
sentilnel安装目录:/data/sentinel
启动: /data/sentinel/start.sh start
停止 : /data/sentinel/start.sh stop
skywalking
安装所在服务器:
开发Redis服务器 10.200.1.57
开发RocketMQ服务器 10.200.1.70
skywalking两节点集群安装
skywalking 安装目录/mnt/paas/apache-skywalking-apm-bin
启动
cd /mnt/paas/apache-skywalking-apm-bin/bin
nohup oapService.sh &
nohup webappService.sh &
停止
cd /mnt/paas/apache-skywalking-apm-bin/bin
sh stop.sh oapService
sh stop.sh webappService
配置
/mnt/paas/apache-skywalking-apm-bin/config/application.yml
cluster:
selector: ${SW_CLUSTER:nacos}
nacos:
serviceName: ${SW_SERVICE_NAME:"SkyWalking_OAP_Cluster"}
hostPort: ${SW_CLUSTER_NACOS_HOST_PORT:10.200.1.70:8848}
# Nacos Configuration namespace
namespace: ${SW_CLUSTER_NACOS_NAMESPACE:"skywalking"}
# Nacos auth username
username: ${SW_CLUSTER_NACOS_USERNAME:"nacos"}
password: ${SW_CLUSTER_NACOS_PASSWORD:"BYAcDH2EK?uQ"}
# Nacos auth accessKey
accessKey: ${SW_CLUSTER_NACOS_ACCESSKEY:""}
secretKey: ${SW_CLUSTER_NACOS_SECRETKEY:""}
internalComHost: ${SW_CLUSTER_INTERNAL_COM_HOST:""}
internalComPort: ${SW_CLUSTER_INTERNAL_COM_PORT:-1}
storage:
selector: ${SW_STORAGE:mysql}
mysql:
properties:
jdbcUrl: ${SW_JDBC_URL:"jdbc:mysql://10.240.0.153:13306/skywalking?rewriteBatchedStatements=true&allowMultiQueries=true"}
dataSource.user: ${SW_DATA_SOURCE_USER:yc_user}
dataSource.password: ${SW_DATA_SOURCE_PASSWORD:YLFprY6H6pKqMqrF}
dataSource.cachePrepStmts: ${SW_DATA_SOURCE_CACHE_PREP_STMTS:true}
dataSource.prepStmtCacheSize: ${SW_DATA_SOURCE_PREP_STMT_CACHE_SQL_SIZE:250}
dataSource.prepStmtCacheSqlLimit: ${SW_DATA_SOURCE_PREP_STMT_CACHE_SQL_LIMIT:2048}
dataSource.useServerPrepStmts: ${SW_DATA_SOURCE_USE_SERVER_PREP_STMTS:true}
metadataQueryMaxSize: ${SW_STORAGE_MYSQL_QUERY_MAX_SIZE:5000}
maxSizeOfBatchSql: ${SW_STORAGE_MAX_SIZE_OF_BATCH_SQL:2000}
asyncBatchPersistentPoolSize: ${SW_STORAGE_ASYNC_BATCH_PERSISTENT_POOL_SIZE:4}
elasticsearch
安装所在服务器:
开发Redis服务器 10.200.1.57
开发RocketMQ服务器 10.200.1.70
elasticsearch两节点集群安装
安装目录 /mnt/paas/elasticsearch-7.8.0
启动 /mnt/paas/elasticsearch-7.8.0/es_start.sh start
停止/mnt/paas/elasticsearch-7.8.0/es_start.sh stop
配置
/mnt/paas/elasticsearch-7.8.0/config/elasticsearch.yml
cluster.name: es-cluster
# 节点名称,仅仅是描述名称,用于在日志中区分
node.name: node2
# 当前节点的IP地址
network.host: 0.0.0.0
http.port: 8200
node.master: true
node.data: true
#数据存放的位置
path.data: /mnt/paas/elasticsearch-7.8.0/data
#日志存放的位置
path.logs: /mnt/paas/elasticsearch-7.8.0/logs
# head 插件需要这打开这两个配置
http.cors.allow-origin: "*"
http.cors.enabled: true
http.max_content_length: 200mb
#es7.x之后新增的配置,初始化一个新的集群时需要配置来选举master
cluster.initial_master_nodes: ["node1"]
discovery.seed_hosts: ["10.200.1.57:9300","10.200.1.70:9300"]
gateway.recover_after_data_nodes: 2
network.tcp.keep_alive: true
network.tcp.no_delay: true
transport.compress: true
#集群内同时启动的数据任务个数,默认是2个
cluster.routing.allocation.cluster_concurrent_rebalance: 8
#初始化数据恢复时,兵法恢复线程的个数,默认4个
cluster.routing.allocation.node_initial_primaries_recoveries: 8
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.key: x-pack/instance/instance.key
xpack.security.transport.ssl.certificate: x-pack/instance/instance.crt
xpack.security.transport.ssl.certificate_authorities: x-pack/ca/ca.crt
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.client_authentication: required