04 2023 档案
摘要：一、概述 Kubernetes中的健康检查主要使用 就绪性探针（readinessProbes）和 存活性探针（livenessProbes） 来实现，service即为负载均衡，k8s保证 service 后面的 pod 都可用，是k8s中自愈能力的主要手段，主要基于这两种探测机制，可以实现如下需
阅读全文
摘要：前言 业务层可以直接写入到kafka队列中，不用担心elasticsearch的写入效率问题。 消息系统主要功能 1、解耦 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束 2、冗余 消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采
阅读全文
摘要：一、版本信息 JDK 1.8 spark 3.2.1 二、安装部署 1）上传解压缩文件 tar -zxvf spark-3.2.1-bin-hadoop3.2.tgz 2）配置环境变量 vim /etc/profile # Spark export SPARK_HOME=/opt/spark-3.2
阅读全文
摘要：一、版本信息 JDK 1.8 flink 1.16.0 二、部署架构 采用flink-on-yarn架构，无需配置集群。客户端把 Flink 应用提交给 Yarn 的 ResourceManager,Yarn 的 ResourceManager 会向 Yarn 的 NodeManager 申请容器。
阅读全文
摘要：一、版本信息 Postgresql 14.5 timescaledb 2.8.1 二、部署架构 主机及IP地址 Hostname IP Address 别名 pg02 192.168.11.222 AN pg03 192.168.11.223 DN1 pg04 192.168.11.224 DN2
阅读全文
摘要：一、版本信息 JDK 1.8 Hive 3.1.3 MySQL 8.0.30 二、安装部署Mysql 参考地址：离线安装MySql8.0(主从模式) 三、安装部署Hive 1. 安装准备 1） 把 apache-hive-3.1.3-bin.tar.gz 上传到 linux 的/opt/src 目录
阅读全文
摘要：基础环境：Centos 7.9 一、版本信息 JDK 1.8 Hadoop 3.1.3 二、部署前准备： 1.执行init.sh（环境初始化脚本） 2.执行java.sh（安装java环境） 3.hosts主机名映射 4.ssh免密登录（管理节点对数据节点） 5.集群时间同步 6.部署zookeep
阅读全文
摘要：一、版本信息 JDK 1.8 kafka 3.3.1 二、集群架构 Kafka-Kraft 架构介绍 左图为 Kafka 原有架构，元数据在 zookeeper 中，运行时动态选举 controller，由controller 进行 Kafka 集群管理。右图为 kraft 模式架构， 不再依赖 z
阅读全文
摘要：（1） 将/data/zookeeper/conf 这个路径下的 zoo_sample.cfg 修改为 zoo.cfg mv zoo_sample.cfg zoo.cfg （2） 打开 zoo.cfg 文件，修改 dataDir 路径： vim zoo.cfg 修改数据存储路径配置 dataDir=
阅读全文
摘要：文件下载： ansible_v2.9.9 flink-1.16.0 hadoop-3.1.3 hive-3.1.3 kafka_2.13-3.3.1 python-3.8.10 spark-3.2.1 tools.tgz zookeeper-3.6.3 一、安装并配置ansible自动化工具 1）上
阅读全文
摘要：CDH介绍： CDH 全称 Cloudera’s Distribution Including Apache Hadoop，是 Cloudera 公司提供的一个 Apache Hadoop 发行版。CDH 将 Hadoop 与其他十几个关键的开源项目集成，并且加入了集群自动化安装、中心化管理、集群监
阅读全文
阅读目录(Content)
此页目录为空
