摘要：
Python Flume DataX HDFS 数仓建模分层：ODS、DIM、DWD、DWS、APS Kettle、Informatica SQL（Oracle、MySQL） 阅读全文
摘要：
node_heart_check.sh #!/bin/bash scriptPath=$(dirname "$0") for ip in `cat /etc/hosts | grep 主机名关键字 | awk '{print $2}'`;do # ping命令返回3次,自行中断 ping -c 3 阅读全文
摘要：
1、使用NotePad++（或者其他文本编辑器）编辑如下内容 public class HelloWorld{ public static void main(String[] args){ System.out.println('Hello,World'); } } 2、使用cmd打开，并切换到文 阅读全文
摘要：
参考：https://blog.csdn.net/weixin_45271005/article/details/130091868 Step1：首先，变更之前，需要保证MySQL服务是停止运行的 Step2：MySQL安装路径变更之后，需要修改系统环境变量中MYSQL_HOME的值 Step3：在 阅读全文
摘要：
阅读全文
摘要： ![Ansible - [10] Vault（加密&解密）](https://img2024.cnblogs.com/blog/1729889/202401/1729889-20240124172418525-749146998.png)
加密文件 Ansible 有时需要访问一些敏感数据，如密码、Key等 使用ansible-vault可以加密和解密数据 # 创建测试文件 [root@control ansible]# echo 123456 > data.txt # 加密文件 [root@control ansible]# ans 阅读全文
加密文件 Ansible 有时需要访问一些敏感数据，如密码、Key等 使用ansible-vault可以加密和解密数据 # 创建测试文件 [root@control ansible]# echo 123456 > data.txt # 加密文件 [root@control ansible]# ans 阅读全文
摘要： ![Ansible - [09] 高级语法](https://img2024.cnblogs.com/blog/1729889/202401/1729889-20240124172355511-780924326.png)
error 处理机制 默认 ansible 在遇到 error 会立刻停止 playbook [root@control ansible]# cat ~/ansible/error.yml - hosts: test tasks: - name: start a service that does 阅读全文
error 处理机制 默认 ansible 在遇到 error 会立刻停止 playbook [root@control ansible]# cat ~/ansible/error.yml - hosts: test tasks: - name: start a service that does 阅读全文
摘要： ![Ansible - [08] 模块应用](https://img2024.cnblogs.com/blog/1729889/202401/1729889-20240124172333450-1757431119.png)
firewalld 模块 使用firewalld模块可以配置防火墙策略 [root@control ~]# cat ~/ansible/firewall.yml - hosts: agent tasks: - name: install firewalld. yum: name: firewalld 阅读全文
firewalld 模块 使用firewalld模块可以配置防火墙策略 [root@control ~]# cat ~/ansible/firewall.yml - hosts: agent tasks: - name: install firewalld. yum: name: firewalld 阅读全文
摘要： ![Ansible - [07] 定义变量的几种方式](https://img2024.cnblogs.com/blog/1729889/202401/1729889-20240124172308598-487374765.png)
题记部分 Ansible 支持十几种定义变量的方式 Inventory 变量 Host Facts 变量 Register 变量 Playbook 变量 Playbook 提示变量 变量文件 命令行变量 一、Inventory 变量 1、定义变量（在主机清单配置文件中进行定义） [root@cont 阅读全文
题记部分 Ansible 支持十几种定义变量的方式 Inventory 变量 Host Facts 变量 Register 变量 Playbook 变量 Playbook 提示变量 变量文件 命令行变量 一、Inventory 变量 1、定义变量（在主机清单配置文件中进行定义） [root@cont 阅读全文
摘要：
YarnClient YarnCluster 客户端（Client）通过YARN的ResourceManager提交应用程序。在此过程中，客户端进行权限验证，生成Job ID和资源上传路径，并将这些信息返回给客户端。 客户端将jar包、配置文件、第三方包等文件上传到指定的HDFS路径。完成后，客户端 阅读全文
摘要：
Spark是什么？答案：Apache Spark是一个快速、通用的大数据处理引擎，它提供了大规模数据集的内存计算和分布式计算能力。Spark可以处理各种数据源，如HDFS、Hive、Cassandra等，并提供了丰富的API和工具集，用于批处理、流处理、机器学习、图处理等多种计算场景。 Spark的 阅读全文
摘要：
什么是Hive？答案：Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 Hive的数据存储在哪里？答案：Hive的数据通常存储在Hadoop分布式文件系统（HDFS）上。Hive将HDFS上的数据映射成表格形式，并提供类似SQL的查询语 阅读全文
摘要：
什么是Zookeeper？答案：Zookeeper是一个分布式协调服务，主要用于管理和协调分布式系统中的各种服务和进程。它提供了一个集中式的配置管理、分布式同步、组服务等机制，使得分布式系统中的各种服务和进程能够协同工作。 Zookeeper的主要组件有哪些？答案：Zookeeper的主要组件包括Z 阅读全文
摘要：
Kafka是什么？它用于什么场景？答案：Kafka是一个分布式流平台，用于构建实时数据流管道和应用。它主要用于处理和传输大规模的流数据，例如日志、事件和其他类型的数据。Kafka广泛应用于大数据处理、实时流处理、消息队列等领域。 Kafka的主要组件有哪些？它们的作用是什么？答案：Kafka的主要组 阅读全文
摘要： ![Ansible - [06] Playbook](https://img2024.cnblogs.com/blog/1729889/202401/1729889-20240124172239877-5522679.png)
Playbook 概述 Ansible ad-hoc 可以通过命令行形式远程管理其他主机 适合执行一些临时性简单任务 Ansible playbook 中文名称叫 剧本 将经常需要执行的任务写入一个文件（剧本） 剧本中可以包含多个任务 剧本写好后，我们随时调用剧本，执行相关的任务名称 playboo 阅读全文
Playbook 概述 Ansible ad-hoc 可以通过命令行形式远程管理其他主机 适合执行一些临时性简单任务 Ansible playbook 中文名称叫 剧本 将经常需要执行的任务写入一个文件（剧本） 剧本中可以包含多个任务 剧本写好后，我们随时调用剧本，执行相关的任务名称 playboo 阅读全文