01 2024 档案

摘要:1、窗口函数 分组,分组聚合,聚合开窗函数和排序开窗函数 create table student_scores( id int, studentId int, language int, math int, english int, classId string, departmentId str 阅读全文
posted @ 2024-01-25 13:31 HOUHUILIN 阅读(16) 评论(0) 推荐(0) 编辑
摘要:Python - 程序体验CASE:输入某年某月某日,判断这一天是这一年的第几天? # 输入某年某月某日, 判断这一天是这一年的第几天? import datetime dtstr = input('Enter the datetime:(20240124):') dt = datetime.datetime.strptim 阅读全文
posted @ 2024-01-24 23:15 HOUHUILIN 阅读(6) 评论(0) 推荐(0) 编辑
摘要:Python - “人生苦短,我用Python”1、字符串定义三种方式 2、字符串拼接 3、字符串格式化 ...... 阅读全文
posted @ 2024-01-24 16:43 HOUHUILIN 阅读(93) 评论(0) 推荐(0) 编辑
摘要:Python - 运算符算术运算符 # 加 print("1 + 1 = ", 1 + 1) # 减 print("2 - 1 = ", 2 - 1) # 乘 print("3 * 3 = ", 3 + 3) # 除 print("4 / 2 = ", 4 / 2) # 取整除 print("11 // 2 = ", 11 阅读全文
posted @ 2024-01-24 15:32 HOUHUILIN 阅读(4) 评论(0) 推荐(0) 编辑
摘要:Ansible - [11] Roles前言 Q1:什么是Roles 在实际生产环境中,会编写大量的playbook文件来实现不同的功能。而且,每个playbook还可能会调用其他文件(变量文件),对于海量的、无规律的文件,管理是个问题。Ansible 从1.2版本开始支持Roles,Roles是管理ansible文件的一种规范(目录结构 阅读全文
posted @ 2024-01-23 21:56 HOUHUILIN 阅读(16) 评论(0) 推荐(0) 编辑
摘要:谈谈你对 Spring MVC 的理解? 普通人:Spring MVC 它是一个MVC框架吧,就是,我们可以使用Spring MVC来开发Web应用...呃 它是基于Servlet上的一个扩展,就是它里面我记得好像有一个核心控制器,叫DispatcherServlet,然后扩展了之后,就是所有请求都 阅读全文
posted @ 2024-01-22 20:48 HOUHUILIN 阅读(34) 评论(0) 推荐(0) 编辑
摘要:前言 Q1:ElasticSearch 是什么? 为什么要学习? ElasticSearch 是一个分布式、可扩展、实时的搜索和分析引擎,基于 Lucene 构建。它可以用于全文搜索、结构化搜索、分析以及日志和事件数据的存储。 在传统的数据库中模糊查询使用like %Harley%; 但是海量数据中 阅读全文
posted @ 2024-01-19 18:59 HOUHUILIN 阅读(9) 评论(0) 推荐(0) 编辑
摘要:冒泡排序 升序排列 import java.util.Arrays; public class ArrayDemo07 { public static void main(String[] args) { int[] a = {1,4,5,3,14,12,51}; int[] sort = sort 阅读全文
posted @ 2024-01-19 18:27 HOUHUILIN 阅读(4) 评论(0) 推荐(0) 编辑
摘要:Oracle >> HDFS sqoop import --connect jdbc:oracle:thin:@<oracle_host>:<oracle_port>/<database_name> \ --username <username> \ --password <password> \ 阅读全文
posted @ 2024-01-19 17:00 HOUHUILIN 阅读(79) 评论(0) 推荐(0) 编辑
摘要:将关系型数据库(Oracle、MySQL、PG等)数据与Hadoop数据进行转换的工具。 一、Sqoop1和Sqoop2的区别 Sqoop1由client端直接接入Hadoop,任务通过解析生成对应的MR执行。 Sqoop1拥有以下特点: 仅有一个客户端,架构简单明了,部署即用,使用门槛比较低。 但 阅读全文
posted @ 2024-01-19 16:30 HOUHUILIN 阅读(134) 评论(0) 推荐(0) 编辑
摘要:Python Flume DataX HDFS 数仓建模分层:ODS、DIM、DWD、DWS、APS Kettle、Informatica SQL(Oracle、MySQL) 阅读全文
posted @ 2024-01-18 10:46 HOUHUILIN 阅读(6) 评论(0) 推荐(0) 编辑
摘要:node_heart_check.sh #!/bin/bash scriptPath=(dirname"0") for ip in `cat /etc/hosts | grep 主机名关键字 | awk '{print $2}'`;do # ping命令返回3次,自行中断 ping -c 3 阅读全文
posted @ 2024-01-17 22:37 HOUHUILIN 阅读(43) 评论(0) 推荐(0) 编辑
摘要:1、使用NotePad++(或者其他文本编辑器)编辑如下内容 public class HelloWorld{ public static void main(String[] args){ System.out.println('Hello,World'); } } 2、使用cmd打开,并切换到文 阅读全文
posted @ 2024-01-17 21:55 HOUHUILIN 阅读(4) 评论(0) 推荐(0) 编辑
摘要:参考:https://blog.csdn.net/weixin_45271005/article/details/130091868 Step1:首先,变更之前,需要保证MySQL服务是停止运行的 Step2:MySQL安装路径变更之后,需要修改系统环境变量中MYSQL_HOME的值 Step3:在 阅读全文
posted @ 2024-01-17 21:00 HOUHUILIN 阅读(146) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2024-01-17 17:53 HOUHUILIN 阅读(3) 评论(0) 推荐(0) 编辑
摘要:Ansible - [10] Vault(加密&amp;解密)加密文件 Ansible 有时需要访问一些敏感数据,如密码、Key等 使用ansible-vault可以加密和解密数据 # 创建测试文件 [root@control ansible]# echo 123456 > data.txt # 加密文件 [root@control ansible]# ans 阅读全文
posted @ 2024-01-15 17:48 HOUHUILIN 阅读(116) 评论(0) 推荐(0) 编辑
摘要:Ansible - [09] 高级语法error 处理机制 默认 ansible 在遇到 error 会立刻停止 playbook [root@control ansible]# cat ~/ansible/error.yml - hosts: test tasks: - name: start a service that does 阅读全文
posted @ 2024-01-15 17:34 HOUHUILIN 阅读(17) 评论(0) 推荐(0) 编辑
摘要:Ansible - [08] 模块应用firewalld 模块 使用firewalld模块可以配置防火墙策略 [root@control ~]# cat ~/ansible/firewall.yml - hosts: agent tasks: - name: install firewalld. yum: name: firewalld 阅读全文
posted @ 2024-01-15 15:30 HOUHUILIN 阅读(46) 评论(0) 推荐(0) 编辑
摘要:Ansible - [07] 定义变量的几种方式题记部分 Ansible 支持十几种定义变量的方式 Inventory 变量 Host Facts 变量 Register 变量 Playbook 变量 Playbook 提示变量 变量文件 命令行变量 一、Inventory 变量 1、定义变量(在主机清单配置文件中进行定义) [root@cont 阅读全文
posted @ 2024-01-13 14:16 HOUHUILIN 阅读(52) 评论(0) 推荐(0) 编辑
摘要:YarnClient YarnCluster 客户端(Client)通过YARN的ResourceManager提交应用程序。在此过程中,客户端进行权限验证,生成Job ID和资源上传路径,并将这些信息返回给客户端。 客户端将jar包、配置文件、第三方包等文件上传到指定的HDFS路径。完成后,客户端 阅读全文
posted @ 2024-01-11 22:38 HOUHUILIN 阅读(190) 评论(0) 推荐(0) 编辑
摘要:Spark是什么?答案:Apache Spark是一个快速、通用的大数据处理引擎,它提供了大规模数据集的内存计算和分布式计算能力。Spark可以处理各种数据源,如HDFS、Hive、Cassandra等,并提供了丰富的API和工具集,用于批处理、流处理、机器学习、图处理等多种计算场景。 Spark的 阅读全文
posted @ 2024-01-11 22:21 HOUHUILIN 阅读(53) 评论(0) 推荐(0) 编辑
摘要:什么是Hive?答案:Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。 Hive的数据存储在哪里?答案:Hive的数据通常存储在Hadoop分布式文件系统(HDFS)上。Hive将HDFS上的数据映射成表格形式,并提供类似SQL的查询语 阅读全文
posted @ 2024-01-11 22:16 HOUHUILIN 阅读(41) 评论(0) 推荐(0) 编辑
摘要:什么是Zookeeper?答案:Zookeeper是一个分布式协调服务,主要用于管理和协调分布式系统中的各种服务和进程。它提供了一个集中式的配置管理、分布式同步、组服务等机制,使得分布式系统中的各种服务和进程能够协同工作。 Zookeeper的主要组件有哪些?答案:Zookeeper的主要组件包括Z 阅读全文
posted @ 2024-01-11 22:11 HOUHUILIN 阅读(18) 评论(0) 推荐(0) 编辑
摘要:Kafka是什么?它用于什么场景?答案:Kafka是一个分布式流平台,用于构建实时数据流管道和应用。它主要用于处理和传输大规模的流数据,例如日志、事件和其他类型的数据。Kafka广泛应用于大数据处理、实时流处理、消息队列等领域。 Kafka的主要组件有哪些?它们的作用是什么?答案:Kafka的主要组 阅读全文
posted @ 2024-01-11 22:07 HOUHUILIN 阅读(22) 评论(0) 推荐(0) 编辑
摘要:Ansible - [06] PlaybookPlaybook 概述 Ansible ad-hoc 可以通过命令行形式远程管理其他主机 适合执行一些临时性简单任务 Ansible playbook 中文名称叫 剧本 将经常需要执行的任务写入一个文件(剧本) 剧本中可以包含多个任务 剧本写好后,我们随时调用剧本,执行相关的任务名称 playboo 阅读全文
posted @ 2024-01-11 18:26 HOUHUILIN 阅读(12) 评论(0) 推荐(0) 编辑
摘要:Ansible - [05] 配置文件详解主配置文件 ansible.cfg 修改sudo相关配置,在实际工作中,可能使用ansible时,所使用的用户并不是root用户,而是管理员给的一个普通用户,所以需要考虑ansible相关配置文件需要怎么写才能支持日常工作。 [defaults] inventory=~/ansible/hosts 阅读全文
posted @ 2024-01-11 17:51 HOUHUILIN 阅读(31) 评论(0) 推荐(0) 编辑
摘要:Ansible - [04] 关于sudo的一些配置sudo sudo,以超级管理员或其他人的身份执行命令 基本流程 管理员需要先授权(修改/etc/sudoers文件) 普通用户以sudo的形式执行命令 可以通过sudo -l查看授权情况 配置suddoer:vim /etc/sudoers,进行如下配置,jerry用户可以无需输入密码即以root 阅读全文
posted @ 2024-01-11 11:56 HOUHUILIN 阅读(118) 评论(0) 推荐(0) 编辑
摘要:MySQL - [04] 分布式部署&amp;主从复制&amp;读写分离一、前言 Q1:为什么需要主从复制? 1、在业务复杂的系统中,有一条SQL语句需要锁表,导致暂时不能使用读的服务,那么就很影响运行中的业务。使用主从复制,让主库负责写,从库负责读,这样即使主库出现了锁表的情景,通过读从库也可以保证业务的正常运作。 2、做数据的热备 3、架构的扩展。业务量越来越大,I 阅读全文
posted @ 2024-01-09 00:20 HOUHUILIN 阅读(119) 评论(0) 推荐(0) 编辑
摘要:Ansible - [03] Ansible ad-hoc模式Ansible ad-hoc是一种通过命令行批量管理的方式 格式:ansible 主机集合 -m 模块名 -a "参数" 其他参数: -k 使用密码远程、-i 指定主机列表文件 以上是调用ping模块,模块就是脚本(多数为Python脚本),多数脚本都支持参数,默认模块是command comman 阅读全文
posted @ 2024-01-07 22:14 HOUHUILIN 阅读(64) 评论(1) 推荐(0) 编辑
摘要:Ansible - [02] 基础配置以及常用操作场景Ansible 基础配置 主配置文件:/etc/ansible/ansible.cfg ansible配置文件查找顺序 首先检测ANSIBLE_CONFIG变量定义的配置 其次检查当前目录下的./ansible.cfg文件(可以在任意目录创建ansible目录,并参考默认ansible.cfg文件配 阅读全文
posted @ 2024-01-07 21:32 HOUHUILIN 阅读(39) 评论(0) 推荐(0) 编辑
摘要:nmtui 执行以下命令可以进入一个可视化界面,进行IP的可视化配置、以及网络服务的重启(注意,这个重启是停止然后启动, 如果使用xshell进行操作会失去ssh连接,直连服务器时可这直接操作)、主机名的修改 nmtui nmcli # 以下命令可以将网卡ens160的ip修改为192.168.4. 阅读全文
posted @ 2024-01-07 19:56 HOUHUILIN 阅读(19) 评论(0) 推荐(0) 编辑
摘要:Ansible - [01] 入门&amp;安装部署自动化运维工具,可以批量远程其他主机并进行管理操作 一、什么是 Ansible Ansible首次发布于2012年,作者:Michael DeHaan,同时也是Cobbler的作者,Ansible于2015年被RedHat收购; Ansible是一款自动化运维工具,基于Python开发。可以实现 批 阅读全文
posted @ 2024-01-07 19:48 HOUHUILIN 阅读(37) 评论(0) 推荐(0) 编辑
摘要:Step1:新建虚拟机 主页/文件 >> 创建新的虚拟机 新建虚拟机向导 典型(推荐)(T) 通过几个简单的步骤创建Workstation虚拟机 自定义(高级)(C) 创建带有SCSI控制器类型、虚拟磁盘类型以及旧版VMware产品兼容性等高级选项的虚拟机。 Step2:自定义(高级)(C) 1、选 阅读全文
posted @ 2024-01-06 21:54 HOUHUILIN 阅读(17) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示