【k8s】java 微服务部署示例
1. 环境
-
k8s：1.20
k8s-master1 192.168.110.235 8s-node1 192.168.110.236 k8s-node2 192.168.110.237 harbor,nfs 192.168.110.239 -
java：1.8
2. java 微服务部署
2.1 安装 java jdk1.8
yum -y install java-1.8.0-openjdk java-1.8.0-openjdk-devel maven
2.2 下载代码示例：
版本介绍：
- dev3 分支会 mysql 连接错误，暂时无法解决请抛弃
- dev4 分支是加了 pinpoint APM 服务
- dev4-skywalking 分支如所见
git clone git@github.com:ZhaoUncle/simple-microservice.git
#切换dev4-skywalking 分支
cd simple-microservice
git checkout remotes/origin/dev4-skywalking
部署须知
- 导入db目录下数据库文件到自己的MySQL服务器
- 默认的 db 文件，没有 use DATABASES；所以会导致报错，参考 2.4 做法。
- k8s/docker_build.sh 这个是部署脚本，可以参考2.6来使用，用来推送 build 好的 images，然后启动 deployment。
- 修改配置环境（xxx-service/src/main/resources/application.yml，active值决定启用环境配置文件）
- 默认使用 fat 文件调用 mysql 和 eureka 链接，无需更改。
- 修改连接数据库配置（xxx-service/src/main/resources/application-fat.yml）
- 参考 2.5 做法
- 修改前端页面连接网关地址（portal-service/src/main/resources/static/js/productList.js和orderList.js）
- 默认无需修改，不过当你访问 portal，配置的是 ingress 暴露的域名，具体可以看 k8s/目录下的 yaml 文件。
- 服务启动顺序：eureka -> mysql -> product,stock,order -> gateway -> portal
- 访问办法：
kubectl get pod,svc,ing -n ms可以看出是由 nginx-ingress-controller暴露的域名访问，- 绑定 hosts进行访问，192.168.110.235是我的 master IP，你也可以绑定为 node IP：
192.168.110.235 eureka.ctnrs.com gateway.ctnrs.com portal.ctnrs.com
构建 java 命令介绍
mvn clean package -D maven.test.skip=true
mvn clean package：清除目录中生成的结果，做一个清除，重新打新的包。
-D maven.test.skip: 跳过单元测试，写的测试用例，如果写的有问题，是编译不过去的
2.3 helm 安装 mysql 介绍
mkdir -p /root/helm/mysql
cd /root/helm/mysql
# vi config.yaml
persistence: #如果你只是简单测试，可以把 persistence 这里的所有配置都去掉，只保留 service 的配置即可。
enabled: true
storageClass: "managed-nfs-storage"
accessMode: ReadWriteOnce
size: 8Gi
service:
type: NodePort #暴露 nodeport，可以用宿主机 ip+port 访问
nodePort: 32000
#helm 创建 db
helm install db -f config.yaml stable/mysql
#查看发布状态，这里会显示获取密码、host、port 的命令，下面那条获取 root 密码的命令就是在这里面看到的
helm status db
#查看mysql 的 root 密码：
kubectl get secret --namespace default db-mysql -o jsonpath="{.data.mysql-root-password}" | base64 --decode; echo
一步登录 mysql：这里的命令和下面的一步登录 mysql 步骤不能与你通用，具体要由上面那条helm status得出，因为 pod name 不一定一样，如果你创建的不是这个名字的话。
MYSQL_ROOT_PASSWORD=$(kubectl get secret --namespace default db-mysql -o jsonpath="{.data.mysql-root-password}" | base64 --decode; echo)
MYSQL_HOST=$(kubectl get nodes --namespace default -o jsonpath='{.items[0].status.addresses[0].address}')
MYSQL_PORT=$(kubectl get svc --namespace default db-mysql -o jsonpath='{.spec.ports[0].nodePort}')
mysql -h ${MYSQL_HOST} -P${MYSQL_PORT} -u root -p${MYSQL_ROOT_PASSWORD}
创建结果：
[root@node01 mysql]# kubectl get secret --namespace default db-mysql -o jsonpath="{.data.mysql-root-password}" | base64 --decode; echo
W5hcn4PvTI
[root@node01 mysql]# kubectl get pod,svc |grep db-mysql
pod/db-mysql-7f897f4d95-bc7js 1/1 Running 0 80s
service/db-mysql NodePort 10.0.0.121 <none> 3306:32000/TCP 80s
[root@node01 mysql]# helm list|grep db
db default 1 2021-04-06 22:04:19.545636699 +0800 CST deployed mysql-1.6.9 5.7.30
删除你所创建的 db 数据库
helm delete db #kubectl get pod 就会就看不见了
2.4 mysql 登录然后创建 db 和 tables 数据
MySQL [(none)]> CREATE DATABASE /*!32312 IF NOT EXISTS*/`tb_order` /*!40100 DEFAULT CHARACTER SET utf8mb4 */;
MySQL [(none)]> use tb_order;
MySQL [(none)]> source /data/simple-microservice/db/order.sql
MySQL [(none)]> CREATE DATABASE /*!32312 IF NOT EXISTS*/`tb_product` /*!40100 DEFAULT CHARACTER SET utf8mb4 */;
MySQL [(none)]> use tb_product;
MySQL [(none)]> source /data/simple-microservice/db/product.sql
MySQL [(none)]> CREATE DATABASE /*!32312 IF NOT EXISTS*/`tb_stock` /*!40100 DEFAULT CHARACTER SET utf8mb4 */;
MySQL [(none)]> use tb_stock;
MySQL [(none)]> source /data/simple-microservice/db/stock.sql
虽然 sql 文件介绍说使用的mysql5.6 的版本，但是经过测试 5.7 这里是正常使用，所以你想用 helm 安装 mysql5.6，可以参考另一篇文章K8s环境 Helm 安装 mysql 多版本
2.5 修改配置文件密码和 mysql ip 端口，创建 namesapce
语法介绍：sed -i 's#abc#def#g' filename，将 filename 文件里面所有的 abc 替换成 def。
cd /data/simple-microservice
### 修改 docker_build.sh 里面的 register 为我们创建的 harbor 仓库地址
sed -i 's#docker_registry=192.168.31.90#docker_registry=192.168.110.239#g' k8s/docker_build.sh
### 创建 namespace ms
kubectl create namespace ms
### 修改 jdbc 的 mysql 连接
for i in `find ./ -name "application-fat.yml"`;do sed -i 's#mysql:3306#192.168.110.235:32000#g' $i;done
###修改 root 密码，2.3有告诉我们 root 密码是多少哦，当然，你也可以进 mysql 或者修改 helm 的 config.yaml 定义自己的初始密码，这里就不多做介绍了
for i in `find ./ -name "application-fat.yml"`;do sed -i 's#password: 123456#password: W5hcn4PvTI#g' $i;done
### 我们还要修改 skywalking 的 ip+端口，skywalking 用的是 nodeport 的部署方式，skywalking 尽管在 java 启动命令中被调用，但是就算不存在，java 服务也不会退出。
for i in `find ./ -name "Dockerfile"`;do sed -i 's#192.168.31.90:11800#192.168.110.235:11800#g' $i;done
2.6 docker_build.sh 介绍
vi /data/simple-microservice/k8s/docker_build.sh
#!/bin/bash
###这里是 harbor 地址
docker_registry=192.168.110.239
###创建 harbor 登录secret，以后就不需要每次都手动登录了
kubectl create secret docker-registry registry-pull-secret --docker-server=$docker_registry --docker-username=admin --docker-p
assword=Harbor12345 --docker-email=admin@ctnrs.com -n ms
### 下面是构建 mvn jar 包然后上传到 harbor，在部署 k8s yaml
service_list="eureka-service gateway-service order-service product-service stock-service portal-service"
service_list=${1:-${service_list}}
work_dir=$(dirname $PWD)
current_dir=$PWD
cd $work_dir
mvn clean package -Dmaven.test.skip=true
for service in $service_list; do
cd $work_dir/$service
if ls |grep biz &>/dev/null; then
cd ${service}-biz
fi
service=${service%-*}
image_name=$docker_registry/microservice/${service}:$(date +%F-%H-%M-%S)
docker build -t ${image_name} .
docker push ${image_name}
sed -i -r "s#(image: )(.*)#\1$image_name#" ${current_dir}/${service}.yaml
kubectl apply -f ${current_dir}/${service}.yaml
done
2.7 部署 ms java 服务
部署：
cd /data/simple-microservice/k8s
sh docker_build.sh
删除：
cd /data/simple-microservice/k8s
kubectl delete -f *.yaml
部署结果：
[root@node01 k8s]# kubectl get pod,svc,ing -n ms
NAME READY STATUS RESTARTS AGE
pod/eureka-0 0/1 Running 0 3s
pod/eureka-1 1/1 Running 0 3m2s
pod/eureka-2 1/1 Running 0 6m53s
pod/gateway-7b47c8d997-znkfx 1/1 Running 0 7m49s
pod/order-59f6d5d786-htxtg 1/1 Running 0 7m36s
pod/portal-6c79b876c9-h8vsd 1/1 Running 0 6m27s
pod/product-8c88fbf8-hm7k6 1/1 Running 0 6m51s
pod/stock-8944b6585-ccp8w 1/1 Running 0 6m51s
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/eureka ClusterIP None <none> 8888/TCP 6h17m
service/gateway ClusterIP 10.0.0.113 <none> 9999/TCP 6h17m
service/portal ClusterIP 10.0.0.104 <none> 8080/TCP 6h15m
NAME CLASS HOSTS ADDRESS PORTS AGE
ingress.networking.k8s.io/eureka <none> eureka.ctnrs.com 80 6h17m
ingress.networking.k8s.io/gateway <none> gateway.ctnrs.com 80 6h17m
ingress.networking.k8s.io/portal <none> portal.ctnrs.com 80 6h15m
由 ing 那里得知，需要绑定的 hosts 如下；
192.168.110.235 eureka.ctnrs.com gateway.ctnrs.com portal.ctnrs.com
3. 接入 skywalking
3.1 Skywalking server 版部署，请参考
3.2 下载 skywalking 8.4.0版本
我们主要使用 agen 端，一定要与 server 端版本对应
cd /data
wget https://mirror-hk.koddos.net/apache/skywalking/8.4.0/apache-skywalking-apm-es7-8.4.0.tar.gz
tar xf apache-skywalking-apm-es7-8.4.0.tar.gz
### 这条是删除命令，你们可别乱来。。。。
for i in `find /data/simple-microservice/ -name skywalking`;do rm -rf $i && cp -rp /data/apache-skywalking-apm-bin-es7/agent/ $i;done
3.3 修改 Dockerfile 中 java 的启动命令
之前我们改成了 ip+nodeport 的形式，现在改回去直接 k8s 内部 serviceName+namespace 的访问形式。
for i in `find ./ -name "Dockerfile"`;do sed -i 's#192.168.31.90:11800#skywalking-oap.skywalking:11800#g' $i;done
skywalking 的 svc 状态如下，只要 oap 的接口
[root@node01 k8s]# kubectl get svc -n skywalking
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
skywalking-oap ClusterIP 10.0.0.3 <none> 12800/TCP,11800/TCP 5h22m
skywalking-ui NodePort 10.0.0.232 <none> 80:30008/TCP 5h22m
3.4 查看 skywalking 的 java 微服务
