Springcloud aliBaBa+k8s+hadoop 20240219笔记本
项目并发量(线程)
1、线程数(Web服务)=>单tomcat:250>数量>150
集tomcat:>500
2、线程数(系统进程)=>Window:2000/linux:1000
注:线程数提高(根据硬件扩展)
3、秒查询率 QPS:Query Per Second
垂扩:单机 水扩:集群
水扩:多ng(dns)-->ng反向(n:web项目)-->web项目(n:service服务层)
-->数据库(读写)
https://www.cnblogs.com/matd/p/10460947.html
4、并发(重复支付)/海量(分库分表)/限流Ng
https://www.cnblogs.com/smallfa/p/17147062.html
https://www.cnblogs.com/smallfa/p/17147128.html
微服务/普通项目 差别
1、第三方订单接口:URL+端口
1)、普通项目==>配置:第三方接口参数(URL+端口)
2)、微服务项目==>直接调用‘service-order’
【微服务注册中心Nacos:'第三方订单接口',注册名'service-order'】
3)、第三方订单接口变动;
普通项目需要修改配置:第三方接口参数(URL+端口);
微服务项目,只要注册名'service-order'无变动,不需要任何调整
4)、普通项目 限防问量:ng
https://www.cnblogs.com/smallfa/p/16831352.html
2、CAP
微服务项目(springcloud aliBaBa)
1)、服务注册/配置中心 Nacos
https://group.cnblogs.com/topic/115396.html
2)、服务限流/开关 Sentinal
可限服务接口 访问量
3)、调用服务网关 gateWay
客户端不能直接访问服务接口,加一层网关隔离,限访问量
https://www.cnblogs.com/smallfa/p/16935439.html
4)、调用服务客户端openFeign(低层httpclient)
gateWay+Sentinal+Nacos
外部请求RestAPI
内部请求性能:Dubbo:RPC>Feign(声明式http)
5)、分布事务 Seate
同时调用多个服务接口,若其中一个服务接口异常,则全部回滚
注:MQ分布式事务
https://www.cnblogs.com/smallfa/p/17292257.html
6)、消息组件stream:Rabbit/Kafka
配置参数:绑定器; Rabbit: Exchanges=extestxxx/Kafka:topic=topicxxxxx
Kafka:支持分区、10几万数据几秒响应
如: 群发短信
https://group.cnblogs.com/topic/112893.html
https://www.cnblogs.com/smallfa/p/17045715.html
7)、服务调用日志Zipkin
可定位异常服务接口日志
8)、微服开源项目
https://gitee.com/y_project/RuoYi-Cloud
SpringCloud alibaba2.2
服务注册/配置Nacos
服务限流/开关 Sentinal
服务网关 gateWay
服务客户端 openFeign(低层httpclient)
loadbalancer负载均衡(客户端)
dubbo(高能)
https://gitee.com/lcg0124/clouddo
SpringCloud 2.2.*新版
注:Netflix公司,部分组件停便
服务注册eureka
配置config+git
服务限流熔断/开关 hystrix
服务网关 zuul
服务客户端 openFeign(低层httpclient)
ribbon负载均衡(客户端)
Docker公/私有镜像
1、docker容器发布方式
1)、dockerFile(单组件)
项目部署(dockerfile文件-->生成镜像build、发布容器run)
https://www.cnblogs.com/smallfa/p/14969472.html
2)、docker compose(多组件)
容器编排技术
项目部署(docker-compose.yml-->生成镜像build、发布容器run)
https://www.cnblogs.com/smallfa/p/15170397.html
2、docker可视化工具Portainer
1)、可视化管理、修改、新增容器、新建网络IP段
https://www.cnblogs.com/smallfa/p/16463843.html
3、docker容器其他
docker如何分配资源给容器
https://www.cnblogs.com/smallfa/p/16147565.html
注:一台主机 通过内存扩容、固体硬盘阵列、至强Cpu(多核多线程)够满足实际使用
k8s
k8s多宿机/docker单宿机
k8s集群:主Master/从Node节点
https://www.cnblogs.com/smallfa/p/15958210.html
https://www.cnblogs.com/smallfa/p/15962817.html
k8s发布
####pod(容器)--->deployment(服务)--->service(服务映射到外网端口:端口暴露)
######################################################################
1)、发布服务kind:deployment
https://www.cnblogs.com/smallfa/p/16181312.html
i):部署deployment.yaml
kubel apply -f xxx.yaml
###发布一个deployment生成3个pod;
kind:Deployment
replicas:3 #pod副本数量
imgage:nginx1.16
ii):镜像升级
####滚动升级################1.16 -->1.17 --> 1.18
###kubel set image deployment/web nginx=nginx:1.17
iii)、升级回滚
kubectl rollout history deployment/web ###查看历史发布版本
#### ###1.18--->1.17
kubectl rollout undo deployment/web ###回滚上一个版本
iiii)、镜像扩/宿容
a)、水平扩####replicas 副本数
b)、####修yaml的repli cas值,再apply -f
iiiii)、镜像下线
a)、#####kubectl delete -f deployment.yaml
2)、发布服务kind:service
#####(服务映射外网端口:暴露端口)
https://www.cnblogs.com/smallfa/p/15930131.html
i):部署service.yaml
kubel apply -f xxx.yaml
kind:service
3)、Ingress组件:专门管理==> (服务映射外网端口:端口暴露)
避免(发布一个服务kind:deployment;
就要发布一次kind:service)
https://www.cnblogs.com/smallfa/p/16275401.html
k8s 可视化组件Kuboard v3
https://www.cnblogs.com/smallfa/p/16027423.html
IntelliJ IDEA插件
k8s插件 可视化编辑.yaml 亚麻欧文件
DokcerYun插件 dockefile直接发布到服务端docker
Jenkins插件 配置常用组件发布dockefile直接发布到服务端docker
大数据:数据平台Hadoop/数据仓(hive、建模)/数据挖掘(算法)/报表组(java报表)
1、Hadoop
1)、集群
https://www.cnblogs.com/smallfa/p/10102969.html
a)、3组件: hdfs(文件系统)、mapreduce(计算组件)、yarn(资源调度)
b)、配置文件、hdfs-site.xml mapred-site.xml yarn-site.xml
c)、存储以文件为主 如 a.txt之类
2)、生态圈组件
--------报表组件-----------------------数据展现
-------------------------------------------数据分析
Hive(查询)/Spark Mlib(挖掘)
Spark R(分析)/Spark SQL(查询)
------------
MapReduce/Spark Core(计算优)
- ------Hbase(nosql)---------------数据存储
hdfs
------------------------------------数据采集
Sqoop(关系库)、Flume(日志)、
Kafka(消息)、视频
3)、Hadoop可视化工具Hue
离线
数据源-->数据采(flume/sqoop/DataX)-->处理 oozie/azkaban(HDFS读写-->MR/Hive)-->推送(LOAP)
实时
日志-->数据采(flume)-->处理(kafka/redis/mysql读hbase写-->Spark/Flink)-->推送(API)
实时采Flume/logstash/filebeat日志
Spark/Flink/Storm(小)
Hbase/Cassandra/MongoDB/Redis
2、Hbase(nosql)
https://www.cnblogs.com/smallfa/p/16399213.html
版本/时间戳
行健+列族:
3、Hive(HQL)数据分析
https://www.cnblogs.com/smallfa/p/16480086.html
1)、引擎: SQL查询以MapReduce引擎
Hive 2.x开始以Spark作为引擎
2)、对比Hadoop
Hive hadoop
-------------------
表 目录
数据 文年
注:Pig也是数据分析组件
4、CDH组件 /HUE
大数据组件管理工具
项目并发量(线程)
微服务/普通项目 差别
1、第三方订单接口:URL+端口 1)、普通项目==>配置:第三方接口参数(URL+端口) 2)、微服务项目==>直接调用‘service-order’
【微服务注册中心Nacos:'第三方订单接口',注册名'service-order'】 3)、第三方订单接口变动; 普通项目需要修改配置:第三方接口参数(URL+端口); 微服务项目,只要注册名'service-order'无变动,不需要任何调整
4)、普通项目 限防问量:ng
微服务项目(springcloud aliBaBa)
1)、服务注册/配置中心 Nacos https://group.cnblogs.com/topic/115396.html
2)、服务限流/开关 Sentinal
可限服务接口 访问量 3)、调用服务网关 gateWay
客户端不能直接访问服务接口,加一层网关隔离,限访问量
4)、调用服务客户端openFeign(低层httpclient)
gateWay+Sentinal+Nacos 外部请求RestAPI 内部请求性能:Dubbo:RPC>Feign(声明式http)
5)、分布事务 Seate 同时调用多个服务接口,若其中一个服务接口异常,则全部回滚
6)、消息组件stream:Rabbit/Kafka 配置参数:绑定器; Rabbit: Exchanges=extestxxx/Kafka:topic=topicxxxxx
Kafka:支持分区、10几万数据几秒响应 如: 群发短信 https://group.cnblogs.com/topic/112893.html
https://www.cnblogs.com/smallfa/p/17031394.html
7)、服务调用日志Zipkin 可定位异常日志
8)、微服开源项目
https://gitee.com/y_project/RuoYi-Cloud
SpringCloud alibaba2.2
服务注册/配置Nacos 服务限流/开关 Sentinal 服务网关 gateWay 服务客户端 openFeign(低层httpclient) loadbalancer负载均衡(客户端) dubbo(高能)
https://gitee.com/lcg0124/clouddo SpringCloud 2.2.*新版 注:Netflix公司,部分组件停便 服务注册eureka
配置config+git 服务限流熔断/开关 hystrix 服务网关 zuul 服务客户端 openFeign(低层httpclient) ribbon负载均衡(客户端)
Docker公/私有镜像
1、docker容器发布方式 1)、dockerFile(单组件)
项目部署(dockerfile文件-->生成镜像build、发布容器run) https://www.cnblogs.com/smallfa/p/14969472.html 2)、docker compose(多组件) 容器编排技术 项目部署(docker-compose.yml-->生成镜像build、发布容器run) https://www.cnblogs.com/smallfa/p/15170397.html
2、docker可视化工具Portainer 1)、可视化管理、修改、新增容器、新建网络IP段 https://www.cnblogs.com/smallfa/p/16463843.html
3、docker容器其他 docker如何分配资源给容器 https://www.cnblogs.com/smallfa/p/16147565.html
注:一台主机 通过内存扩容、固体硬盘阵列、至强Cpu(多核多线程)够满足实际使用
k8s
k8s多宿机/docker单宿机k8s集群:主Master/从Node节点https://www.cnblogs.com/smallfa/p/15958210.htmlhttps://www.cnblogs.com/smallfa/p/15962817.html
k8s发布####pod(容器)--->deployment(服务)--->service(服务映射到外网端口:端口暴露)###################################################################### 1)、发布服务kind:deployment https://www.cnblogs.com/smallfa/p/16181312.html
i):部署deployment.yaml kubel apply -f xxx.yaml ###发布一个deployment生成3个pod; kind:Deployment replicas:3 #pod副本数量 imgage:nginx1.16
ii):镜像升级 ####滚动升级################1.16 -->1.17 --> 1.18 ###kubel set image deployment/web nginx=nginx:1.17
iii)、升级回滚 kubectl rollout history deployment/web ###查看历史发布版本 #### ###1.18--->1.17 kubectl rollout undo deployment/web ###回滚上一个版本
iiii)、镜像扩/宿容 a)、水平扩####replicas 副本数 b)、####修yaml的repli cas值,再apply -f
iiiii)、镜像下线 a)、#####kubectl delete -f deployment.yaml
2)、发布服务kind:service #####(服务映射外网端口:暴露端口)
https://www.cnblogs.com/smallfa/p/15930131.html i):部署service.yaml kubel apply -f xxx.yaml
kind:service
3)、Ingress组件:专门管理==> (服务映射外网端口:端口暴露) 避免(发布一个服务kind:deployment; 就要发布一次kind:service) https://www.cnblogs.com/smallfa/p/16275401.html
k8s 可视化组件Kuboard v3https://www.cnblogs.com/smallfa/p/16027423.html
IntelliJ IDEA插件k8s插件 可视化编辑.yaml 亚麻欧文件DokcerYun插件 dockefile直接发布到服务端dockerJenkins插件 可配常用组件发布dockefile直接发布到服务端docker
大数据:数据平台Hadoop/数据仓(hive、建模)/数据挖掘(算法)/报表组(java报表)
1、Hadoop 1)、集群 https://www.cnblogs.com/smallfa/p/10102969.html a)、3组件: hdfs(文件系统)、mapreduce(计算组件)、yarn(资源调度) b)、配置文件、hdfs-site.xml mapred-site.xml yarn-site.xml c)、存储以文件为主 如 a.txt之类
2)、生态圈组件
--------报表组件-----------------------数据展现
-------------------------------------------数据分析
Hive(查询)/Spark Mlib(挖掘) Spark R(分析)/Spark SQL(查询) ------------ MapReduce/Spark Core(计算优)
- ------Hbase(nosql)---------------数据存储 hdfs
------------------------------------数据采集 Sqoop(关系库)、Flume(日志)、 Kafka(消息)、视频
3)、Hadoop可视化工具Hue
离线 数据源-->数据采(flume/sqoop/DataX)-->处理 oozie/azkaban(HDFS读写-->MR/Hive)-->推送(LOAP)
实时 日志-->数据采(flume)-->处理(kafka/redis/mysql读hbase写-->Spark/Flink)-->推送(API)
实时采Flume/logstash/filebeat日志
Spark/Flink/Storm(小)
Hbase/Cassandra/MongoDB/Redis
2、Hbase(nosql) https://www.cnblogs.com/smallfa/p/16399213.html 版本/时间戳 行健+列族:
3、Hive(HQL)数据分析 https://www.cnblogs.com/smallfa/p/16480086.html 1)、引擎: SQL查询以MapReduce引擎 Hive 2.x开始以Spark作为引擎
2)、对比Hadoop Hive hadoop ------------------- 表 目录 数据 文年
注:Pig也是数据分析组件
4、CDH组件 /HUE 大数据组件管理工具
RP
字体:12px,日期、注解
14px,普通
16/18px.标题
页面:PC宽1200px推/960px/760px(1024*768)
H5宽375px(高度=顶状20栏+导航栏44+二级导40+低栏49;一按44,字体10,开始(0,0))
行距/段距:字1.5/字2倍
https://www.cnblogs.com/smallfa/p/17275195.html
PM 5 =》启、Plan(分解)、执行(dev)、监控(进度)、收尾(验收)
https://www.zentao.net/book/zentaopms/38.html 禅道的使用说明
8核:需求池、需求、任务、Bug、用例、代码、反馈、工单
scrum模型:操作性强,快速迭代,Bug、测试用例、发布、文档管理,覆盖软件项目生命周期
瀑布模型/CMM能力成熟模型:CMMI2.0进设计,强计划/规划式管理模式,
通过详尽计划,按阶段逐步实施,每个阶段设里程碑点
bug及时处理,按照既定规划实施,达到预期目标
CMMI2.0能力成熟度模型
IPD模型:IPD整体框架/思想设计。从市管、需管、路标管理、立项管理到IPD项目管理、TR评审、决策评审等核能
企业结构化、流程化、规范化的产品体系,华为.IBM
技术栈https://www.cnblogs.com/smallfa/p/18120447
整体架构https://www.cnblogs.com/smallfa/p/18120451
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· 清华大学推出第四讲使用 DeepSeek + DeepResearch 让科研像聊天一样简单!
· 实操Deepseek接入个人知识库
· CSnakes vs Python.NET:高效嵌入与灵活互通的跨语言方案对比
· Plotly.NET 一个为 .NET 打造的强大开源交互式图表库
2011-07-18 mysqldump -u root -p 数据库>d:\test.sql
2007-07-18 标准体重计算查询
2007-07-18 三层开发中容易犯的错误