01 2024 档案
摘要:1、窗口函数 分组,分组聚合,聚合开窗函数和排序开窗函数 create table student_scores( id int, studentId int, language int, math int, english int, classId string, departmentId str
阅读全文
摘要:
CASE:输入某年某月某日,判断这一天是这一年的第几天? # 输入某年某月某日, 判断这一天是这一年的第几天? import datetime dtstr = input('Enter the datetime:(20240124):') dt = datetime.datetime.strptim
阅读全文

摘要:
1、字符串定义三种方式
2、字符串拼接
3、字符串格式化
......
阅读全文

摘要:
算术运算符 # 加 print("1 + 1 = ", 1 + 1) # 减 print("2 - 1 = ", 2 - 1) # 乘 print("3 * 3 = ", 3 + 3) # 除 print("4 / 2 = ", 4 / 2) # 取整除 print("11 // 2 = ", 11
阅读全文

摘要:
前言 Q1:什么是Roles 在实际生产环境中,会编写大量的playbook文件来实现不同的功能。而且,每个playbook还可能会调用其他文件(变量文件),对于海量的、无规律的文件,管理是个问题。Ansible 从1.2版本开始支持Roles,Roles是管理ansible文件的一种规范(目录结构
阅读全文
![Ansible - [11] Roles](https://img2024.cnblogs.com/blog/1729889/202401/1729889-20240124172441104-572562012.png)
摘要:谈谈你对 Spring MVC 的理解? 普通人:Spring MVC 它是一个MVC框架吧,就是,我们可以使用Spring MVC来开发Web应用...呃 它是基于Servlet上的一个扩展,就是它里面我记得好像有一个核心控制器,叫DispatcherServlet,然后扩展了之后,就是所有请求都
阅读全文
摘要:前言 Q1:ElasticSearch 是什么? 为什么要学习? ElasticSearch 是一个分布式、可扩展、实时的搜索和分析引擎,基于 Lucene 构建。它可以用于全文搜索、结构化搜索、分析以及日志和事件数据的存储。 在传统的数据库中模糊查询使用like %Harley%; 但是海量数据中
阅读全文
摘要:冒泡排序 升序排列 import java.util.Arrays; public class ArrayDemo07 { public static void main(String[] args) { int[] a = {1,4,5,3,14,12,51}; int[] sort = sort
阅读全文
摘要:Oracle >> HDFS sqoop import --connect jdbc:oracle:thin:@<oracle_host>:<oracle_port>/<database_name> \ --username <username> \ --password <password> \
阅读全文
摘要:将关系型数据库(Oracle、MySQL、PG等)数据与Hadoop数据进行转换的工具。 一、Sqoop1和Sqoop2的区别 Sqoop1由client端直接接入Hadoop,任务通过解析生成对应的MR执行。 Sqoop1拥有以下特点: 仅有一个客户端,架构简单明了,部署即用,使用门槛比较低。 但
阅读全文
摘要:Python Flume DataX HDFS 数仓建模分层:ODS、DIM、DWD、DWS、APS Kettle、Informatica SQL(Oracle、MySQL)
阅读全文
摘要:node_heart_check.sh #!/bin/bash scriptPath=0") for ip in `cat /etc/hosts | grep 主机名关键字 | awk '{print $2}'`;do # ping命令返回3次,自行中断 ping -c 3
阅读全文
摘要:1、使用NotePad++(或者其他文本编辑器)编辑如下内容 public class HelloWorld{ public static void main(String[] args){ System.out.println('Hello,World'); } } 2、使用cmd打开,并切换到文
阅读全文
摘要:参考:https://blog.csdn.net/weixin_45271005/article/details/130091868 Step1:首先,变更之前,需要保证MySQL服务是停止运行的 Step2:MySQL安装路径变更之后,需要修改系统环境变量中MYSQL_HOME的值 Step3:在
阅读全文
摘要:
加密文件 Ansible 有时需要访问一些敏感数据,如密码、Key等 使用ansible-vault可以加密和解密数据 # 创建测试文件 [root@control ansible]# echo 123456 > data.txt # 加密文件 [root@control ansible]# ans
阅读全文
![Ansible - [10] Vault(加密&解密)](https://img2024.cnblogs.com/blog/1729889/202401/1729889-20240124172418525-749146998.png)
摘要:
error 处理机制 默认 ansible 在遇到 error 会立刻停止 playbook [root@control ansible]# cat ~/ansible/error.yml - hosts: test tasks: - name: start a service that does
阅读全文
![Ansible - [09] 高级语法](https://img2024.cnblogs.com/blog/1729889/202401/1729889-20240124172355511-780924326.png)
摘要:
firewalld 模块 使用firewalld模块可以配置防火墙策略 [root@control ~]# cat ~/ansible/firewall.yml - hosts: agent tasks: - name: install firewalld. yum: name: firewalld
阅读全文
![Ansible - [08] 模块应用](https://img2024.cnblogs.com/blog/1729889/202401/1729889-20240124172333450-1757431119.png)
摘要:
题记部分 Ansible 支持十几种定义变量的方式 Inventory 变量 Host Facts 变量 Register 变量 Playbook 变量 Playbook 提示变量 变量文件 命令行变量 一、Inventory 变量 1、定义变量(在主机清单配置文件中进行定义) [root@cont
阅读全文
![Ansible - [07] 定义变量的几种方式](https://img2024.cnblogs.com/blog/1729889/202401/1729889-20240124172308598-487374765.png)
摘要:YarnClient YarnCluster 客户端(Client)通过YARN的ResourceManager提交应用程序。在此过程中,客户端进行权限验证,生成Job ID和资源上传路径,并将这些信息返回给客户端。 客户端将jar包、配置文件、第三方包等文件上传到指定的HDFS路径。完成后,客户端
阅读全文
摘要:Spark是什么?答案:Apache Spark是一个快速、通用的大数据处理引擎,它提供了大规模数据集的内存计算和分布式计算能力。Spark可以处理各种数据源,如HDFS、Hive、Cassandra等,并提供了丰富的API和工具集,用于批处理、流处理、机器学习、图处理等多种计算场景。 Spark的
阅读全文
摘要:什么是Hive?答案:Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。 Hive的数据存储在哪里?答案:Hive的数据通常存储在Hadoop分布式文件系统(HDFS)上。Hive将HDFS上的数据映射成表格形式,并提供类似SQL的查询语
阅读全文
摘要:什么是Zookeeper?答案:Zookeeper是一个分布式协调服务,主要用于管理和协调分布式系统中的各种服务和进程。它提供了一个集中式的配置管理、分布式同步、组服务等机制,使得分布式系统中的各种服务和进程能够协同工作。 Zookeeper的主要组件有哪些?答案:Zookeeper的主要组件包括Z
阅读全文
摘要:Kafka是什么?它用于什么场景?答案:Kafka是一个分布式流平台,用于构建实时数据流管道和应用。它主要用于处理和传输大规模的流数据,例如日志、事件和其他类型的数据。Kafka广泛应用于大数据处理、实时流处理、消息队列等领域。 Kafka的主要组件有哪些?它们的作用是什么?答案:Kafka的主要组
阅读全文
摘要:
Playbook 概述 Ansible ad-hoc 可以通过命令行形式远程管理其他主机 适合执行一些临时性简单任务 Ansible playbook 中文名称叫 剧本 将经常需要执行的任务写入一个文件(剧本) 剧本中可以包含多个任务 剧本写好后,我们随时调用剧本,执行相关的任务名称 playboo
阅读全文
![Ansible - [06] Playbook](https://img2024.cnblogs.com/blog/1729889/202401/1729889-20240124172239877-5522679.png)
摘要:
主配置文件 ansible.cfg 修改sudo相关配置,在实际工作中,可能使用ansible时,所使用的用户并不是root用户,而是管理员给的一个普通用户,所以需要考虑ansible相关配置文件需要怎么写才能支持日常工作。 [defaults] inventory=~/ansible/hosts
阅读全文
![Ansible - [05] 配置文件详解](https://img2024.cnblogs.com/blog/1729889/202401/1729889-20240124172213989-640254958.png)
摘要:
sudo sudo,以超级管理员或其他人的身份执行命令 基本流程 管理员需要先授权(修改/etc/sudoers文件) 普通用户以sudo的形式执行命令 可以通过sudo -l查看授权情况 配置suddoer:vim /etc/sudoers,进行如下配置,jerry用户可以无需输入密码即以root
阅读全文
![Ansible - [04] 关于sudo的一些配置](https://img2024.cnblogs.com/blog/1729889/202401/1729889-20240124172150870-883700137.png)
摘要:
一、前言 Q1:为什么需要主从复制? 1、在业务复杂的系统中,有一条SQL语句需要锁表,导致暂时不能使用读的服务,那么就很影响运行中的业务。使用主从复制,让主库负责写,从库负责读,这样即使主库出现了锁表的情景,通过读从库也可以保证业务的正常运作。 2、做数据的热备 3、架构的扩展。业务量越来越大,I
阅读全文
![MySQL - [04] 分布式部署&主从复制&读写分离](https://img2024.cnblogs.com/blog/1729889/202404/1729889-20240423224216423-1075101492.png)
摘要:
Ansible ad-hoc是一种通过命令行批量管理的方式 格式:ansible 主机集合 -m 模块名 -a "参数" 其他参数: -k 使用密码远程、-i 指定主机列表文件 以上是调用ping模块,模块就是脚本(多数为Python脚本),多数脚本都支持参数,默认模块是command comman
阅读全文
![Ansible - [03] Ansible ad-hoc模式](https://img2024.cnblogs.com/blog/1729889/202401/1729889-20240124172120056-870108793.png)
摘要:
Ansible 基础配置 主配置文件:/etc/ansible/ansible.cfg ansible配置文件查找顺序 首先检测ANSIBLE_CONFIG变量定义的配置 其次检查当前目录下的./ansible.cfg文件(可以在任意目录创建ansible目录,并参考默认ansible.cfg文件配
阅读全文
![Ansible - [02] 基础配置以及常用操作场景](https://img2024.cnblogs.com/blog/1729889/202401/1729889-20240124172052568-1821665630.png)
摘要:nmtui 执行以下命令可以进入一个可视化界面,进行IP的可视化配置、以及网络服务的重启(注意,这个重启是停止然后启动, 如果使用xshell进行操作会失去ssh连接,直连服务器时可这直接操作)、主机名的修改 nmtui nmcli # 以下命令可以将网卡ens160的ip修改为192.168.4.
阅读全文
摘要:
自动化运维工具,可以批量远程其他主机并进行管理操作 一、什么是 Ansible Ansible首次发布于2012年,作者:Michael DeHaan,同时也是Cobbler的作者,Ansible于2015年被RedHat收购; Ansible是一款自动化运维工具,基于Python开发。可以实现 批
阅读全文
![Ansible - [01] 入门&安装部署](https://img2024.cnblogs.com/blog/1729889/202401/1729889-20240124172025926-1083386672.png)
摘要:Step1:新建虚拟机 主页/文件 >> 创建新的虚拟机 新建虚拟机向导 典型(推荐)(T) 通过几个简单的步骤创建Workstation虚拟机 自定义(高级)(C) 创建带有SCSI控制器类型、虚拟磁盘类型以及旧版VMware产品兼容性等高级选项的虚拟机。 Step2:自定义(高级)(C) 1、选
阅读全文