2024年4月15日
MySQL - [11] InnoDB存储引擎
摘要： MySQL - [11] InnoDB存储引擎 Page 页。是真正理解InnoDB存储引擎的入口。 一、Page —— 页 1.1、InnoDB 数据页及其结构 为了避免一条一条读取磁盘数据，InnoDB采取页的方式，作为磁盘和内存之间交互的基本单位，一个页的大小一般是16KB。 InnoDB 为了不同的目的而设计了多种不同类型的页、存放und 阅读全文
posted @ 2024-04-15 15:35 HOUHUILIN 阅读(38) 评论(0) 推荐(0) 编辑
2024年4月11日
MySQL - [07] 查看库表数据所使用的空间大小
摘要： 1、切换数据库：use information_schema; 2、查看数据库使用大小 SELECT concat(round(sum(data_length/1024/1024),2),'MB') as data FROM information_schema.tables WHERE table 阅读全文
posted @ 2024-04-11 15:34 HOUHUILIN 阅读(64) 评论(0) 推荐(0) 编辑
2024年4月10日
Shell - [11] 开源Apache Zookeeper集群启停脚本
摘要： 一、集群角色部署 当前有Zookeeper集群如下 主机名 ctos79-01 ctos79-02 ctos79-03 Zookeeper ○ ○ ○ 二、脚本使用 三、脚本内容 #!/bin/bash # 定义ZooKeeper服务器列表 SERVERS=("ctos79-01" "ctos79- 阅读全文
posted @ 2024-04-10 10:27 HOUHUILIN 阅读(9) 评论(0) 推荐(0) 编辑
2024年4月9日
Linux - 安装centos7.x之后发现ping不了www.baidu.com
摘要： Linux - 安装centos7.x之后发现ping不了www.baidu.com 1、首先检查网络配置 /etc/sysconfig/network-scripts 下的网卡配置文件是否有误 检查方向：IP、网关、子网掩码、DNS、ONBOOT参数 2、检查防火墙是否关闭 # 查看防火墙状态 systemctl status firewalld # 关闭防火墙 systemctl 阅读全文
posted @ 2024-04-09 10:18 HOUHUILIN 阅读(519) 评论(0) 推荐(0) 编辑
2024年4月7日
Linux - centos6.6不使用ssh如何在服务器之间传输文件？
摘要： 根据上一篇的设定，如果升级openssh失败之后，又无法使用ssh，该怎么传输文件呢？ 可以使用busybox进行文件传输，首先需要准备两台centos6.6服务器：ctos66-01和ctos66-02 目标文件是test.txt，通过busybox将该文件传输到ctos66-02的root目录下 阅读全文
posted @ 2024-04-07 15:48 HOUHUILIN 阅读(208) 评论(0) 推荐(0) 编辑
2024年4月2日
Linux - centos6.6升级openssh9.7p1
摘要： Linux - centos6.6升级openssh9.7p1 一、注意事项 1、任何会被修改的配置文件都要提前备份 2、每一步操作都要记录 3、提前预演，知道可能遇到的问题，以及对应的解决方法，能够在生产环境上升级时，更快完成操作。 4、一开始用来操作的ssh会话窗口一定不要关。（如果有超时断开连接的，速度一定要快一些，不然只能去机房了。） 5、本文所需的工具 阅读全文
posted @ 2024-04-02 13:50 HOUHUILIN 阅读(626) 评论(0) 推荐(0) 编辑
2024年3月29日
MySQL - [06] 测试数据
摘要： MySQL - [06] 测试数据 题记部分 一、死神测试数据 嗷嗷待“补” 二、火影忍者测试数据 -- 忍村表 create table hy_villages( VillageID INT PRIMARY KEY, VillageName VARCHAR(50) NOT NULL, Country VARCHAR(50) NOT 阅读全文
posted @ 2024-03-29 17:03 HOUHUILIN 阅读(8) 评论(0) 推荐(0) 编辑
数仓 - [04] 数仓分层
摘要： 数仓分层是一种将数据仓库按照不同的层级进行组织和管理的方法。每个层级具有不同的功能和目的，旨在支持数据分析、报告和决策等不同的业务需求。 一、数仓分层的意义和目的 数仓分层的主要目的是实现数据的高效访问和分析，提高数据的可用性和性能，同时提供更好的灵活性和可扩展性。通过分层设计，可以方便地对数据进行 阅读全文
posted @ 2024-03-29 12:24 HOUHUILIN 阅读(160) 评论(0) 推荐(0) 编辑
数仓 - [03] 拉链表
摘要： 拉链表是一种特殊的数据结构，其应用场景十分广泛，主要如下： 1、监控系统：拉链表可以完整地记录系统的运行状态，方便进行监控和分析。 2、金融交易：在金融领域，拉链表可以记录每个交易的时间戳、交易金额、交易类型等信息，从而实现对金融风险的监控和控制。例如，可以通过拉链表查询某个时间段内的交易情况，分析 阅读全文
posted @ 2024-03-29 11:58 HOUHUILIN 阅读(197) 评论(0) 推荐(0) 编辑
2024年3月28日
hbase - [06] rowkey的设计
摘要： hbase - [06] rowkey的设计 HBase是三维有序存储的，通过rowkey（行键），column key（column family和qualifier）和TimeStamp（时间戳）这三个维度可以对HBase中的数据进行快速定位。 HBase中rowkey可以唯一标识一行记录，在HBase查询的时候，有下列几种方式： 1、通过 阅读全文
posted @ 2024-03-28 15:19 HOUHUILIN 阅读(92) 评论(0) 推荐(0) 编辑
hbase - [05] hbase关联hive
摘要： hbase - [05] hbase关联hive 一、配置 1、在hive的配置文件中配置HBASE_HOME（conf/hive-env.sh） export HBASE_HOME=/opt/module/hbase 2、将 conf/hive-env.sh 替换到hive的服务端和客户端，重启服务 二、验证 1、创建一张hive表 create 阅读全文
posted @ 2024-03-28 14:44 HOUHUILIN 阅读(6) 评论(0) 推荐(0) 编辑
hbase - [04] java访问hbase
摘要： hbase - [04] java访问hbase 需要导入jar包 HBASEHOME/lib下的所有jar包HADOOP_HOME/share/hadoop/common的所有jar包 package com.harley.hbase.test; import org.apache.hadoop.conf.Configuration; i 阅读全文
posted @ 2024-03-28 14:24 HOUHUILIN 阅读(15) 评论(0) 推荐(0) 编辑
hbase - [03] 客户端常用命令（hbase shell）
摘要： hbase - [03] 客户端常用命令（hbase shell） 1、列出所有namespace list_namespace 2、创建namespace create_namespace 'ns_name' 3、修改namespace属性 alter_namespace 'nsname', {METHOD => 'set', 'PROPERTY_NAME' => 阅读全文
posted @ 2024-03-28 14:19 HOUHUILIN 阅读(21) 评论(0) 推荐(0) 编辑
hbase - [02] 分布式安装部署
摘要： hbase - [02] 分布式安装部署 一、角色规划 主机名 node01 node02 node03 node04 Zookeeper ○ ○ ○ NameNode ○ ○ JournalNode ○ ○ ○ DataNode ○ ○ ○ ○ ResourceManager ○ ○ NodeManager ○ ○ ○ ○ Master 阅读全文
posted @ 2024-03-28 14:07 HOUHUILIN 阅读(11) 评论(0) 推荐(0) 编辑
MySQL - 数据更新场景
摘要： MySQL - 数据更新场景 Excel文件数据更新到表A的某两个字段 Excel文件中Sheet1页有两列，一列是序号，另一列是手机号。表A中有对应的序号列和手机号列。 1、首先，使用Navicat将Excel数据导入数据库，注意修改Excel字段和目标表字段的映射。 2、执行以下语句即可完成更新操作。 update tabl 阅读全文
posted @ 2024-03-28 10:47 HOUHUILIN 阅读(12) 评论(0) 推荐(0) 编辑
Linux - 批量清除失效软连接
摘要： 红底白字，并且一闪一闪的都是失效的软连接，需要批量清除它们... 1、打印所有失效软连接 find ./* -type l -exec test ! -e {} \; -exec echo {} \; 2、批量清除失效软连接 find /path/to/search -type l -exec te 阅读全文
posted @ 2024-03-28 10:14 HOUHUILIN 阅读(434) 评论(0) 推荐(0) 编辑
Linux - 安装JDK（.tar.gz）
摘要： Linux - 安装JDK（.tar.gz） 1、上传 jdk-8u351-linux-x64.tar.gz 到 /opt/module 目录下并解压 tar -zxvf jdk-8u351-linux-x64.tar.gz -C /opt/module/ 2、配置 /etc/profile文件 # 文件末尾进行配置 export JAVA_H 阅读全文
posted @ 2024-03-28 10:05 HOUHUILIN 阅读(421) 评论(0) 推荐(0) 编辑
2024年3月27日
Linux - 搭建一套Apache大数据集群
摘要： 一、服务器操作系统 主机名 操作系统 node01 Centos 7.9 node02 Centos 7.9 node03 Centot 7.9 二、大数据服务版本 服务 版本 下载 JDK jdk-8u351 Download Zookeeper 3.5.7 Download Hadoop 3.3 阅读全文
posted @ 2024-03-27 16:44 HOUHUILIN 阅读(29) 评论(0) 推荐(0) 编辑
Flink - [02] 安装部署（Standalone）
摘要： 一、准备 1、角色规划 Flink Standalone 角色规划 节点名称 node01 node02 node03 master ○ worker ○ ○ zookeeper ○ ○ ○ 二、部署 1、在node01上解压：tar -zxvf flink-1.11.2-bin-scala_2.1 阅读全文
posted @ 2024-03-27 12:08 HOUHUILIN 阅读(40) 评论(0) 推荐(0) 编辑
Java进阶 - [1-4] 反射
摘要： 一、类加载区别 当我们刚接触java语言的时候，我们最常见的代码应该就是初始化某个对象，然后调用该对象的方法。 1、使用new创建对象，返回对象的引用。Student student = new Student(); 2、调用方法：student.say(); 当我们想在运行期才能指定具体对象的类型 阅读全文
posted @ 2024-03-27 10:10 HOUHUILIN 阅读(7) 评论(0) 推荐(0) 编辑
2024年3月26日
Oracle - [03] 存储过程
摘要： 一、什么是存储过程 存储过程是一种数据库对象，是一种存储在数据库中的可执行程序，是一些经过编写、编译而存在数据库中的SQL语句集。 二、创建存储过程的语法 create or replace procedure pro_name [(参数1 [in]|out|in out 类型,参数2...)] i 阅读全文
posted @ 2024-03-26 10:58 HOUHUILIN 阅读(10) 评论(0) 推荐(0) 编辑
数仓 - [02] 数据仓库模型设计
摘要： 一、什么是数据模型 模型，指对于某个实际问题或者客观事物、规律进行抽象后的一种形式化表达方式。 数据模型，多指在设计和建立数据库时，用于提供数据表示和操作手段的形式架构。 企业数据模型，是企业数据特征的抽象，主要用来体现企业的业务规则以及信息。 二、数据模型的层次 概念模型：定义了重要的业务概念和彼 阅读全文
posted @ 2024-03-26 09:19 HOUHUILIN 阅读(35) 评论(0) 推荐(0) 编辑
2024年3月22日
Java - 冒泡排序
摘要： // 冒泡排序 public class BubbleSort{ public static void main(String[] args){ // 定义一个整型的数组 int[] array = {64,34,25,12,22,11,90} bubbleSort(array); for (int 阅读全文
posted @ 2024-03-22 16:34 HOUHUILIN 阅读(5) 评论(0) 推荐(0) 编辑
Data Warehouse - [00] 参考文献
摘要： 浪尖大数据：什么是数据仓库的架构？企业数据仓库架构如何建设？ 浪尖大数据：元数据管理在数据仓库的实践应用 — 要养成终生学习的习惯 — 阅读全文
posted @ 2024-03-22 11:44 HOUHUILIN 阅读(4) 评论(0) 推荐(0) 编辑
2024年3月20日
逆向思维 - 懂逆向思维的人有多厉害
摘要： 案例一 在人潮拥挤的火车上，你端着一碗泡面说：“麻烦让一让”，会被所有人当成耳风。 但是你说：“开水小心烫”，大家都会自觉地为你让出一条道！ 所以别人不帮你，是因为你没有触及到他人的利益，想办法把你的问题和他人的利益结合起来，才能引起对方的重视。 案例二 一位大爷到菜市场买菜，挑了3个西红柿到秤盘， 阅读全文
posted @ 2024-03-20 23:39 HOUHUILIN 阅读(18) 评论(0) 推荐(0) 编辑
Sqoop2 - [01] 安装部署
摘要： 1、启动Hadoop集群 2、将Sqoop2的安装包上传到合适的目录中解压 tar -zxvf sqoop-1.99.7-bin-hadoop200.tar.gz 3、修改Hadoop的配置文件core-site.xml <property> <name>hadoop.proxyuser.root. 阅读全文
posted @ 2024-03-20 20:38 HOUHUILIN 阅读(37) 评论(0) 推荐(0) 编辑
Flume - [05] Hbase sink
摘要： 一、概述 此接收器将数据写入Hbase。Hbase配置是从类路径中遇到的第一个Hbase-site.xml获取的。由配置指定的实现 HbaseEventSerializer 的类用于将事件转换为 hbase、put和/或增量。然后将这些put和增量写入hbase。此接收器提供与hbase相同的一致性 阅读全文
posted @ 2024-03-20 20:26 HOUHUILIN 阅读(41) 评论(0) 推荐(0) 编辑
Flume - [04] Hive Sink
摘要： 一、概述 HIVE Sink 将包含分割文本或JSON数据的事件直接流到Hive表或分区中。事件是使用Hive事务编写的。一旦一组事件被提交到Hive，它们就会立即对hive查询可见。流到其中的分区可以是预先创建的，也可以是可选的，如果它们丢失了，可以创建它们。传入事件数据中的字段映射到Hive标中 阅读全文
posted @ 2024-03-20 20:16 HOUHUILIN 阅读(66) 评论(0) 推荐(0) 编辑
Flume - [03] HDFS Sink
摘要： 一、概述 将事件写入 Hadoop 分布式文件系统（HDFS）。目前支持创建文本和序列文件。支持两种文件类型的压缩。可以根据经过的时间、数据大小或事件数 周期性地滚动文件（关闭当前文件并创建文件）。根据事件起源的时间戳或机器等属性对数据进行存储/分区。HDFS目录路径可能包好格式转义序列，这些转义序 阅读全文
posted @ 2024-03-20 20:11 HOUHUILIN 阅读(108) 评论(0) 推荐(0) 编辑
Flume - [02] Spooling Directory Source
摘要： 一、概述 可以通过将文件放入磁盘上的 "Spooldir" 目录中来获取数据。此源会监视指定目录中的新文件，并在新文件出现时解析新文件中的事件。事件解析逻辑是可插入的。在将指定文件完全读取到通道后，默认情况下通过重命名文件来指示文件来指示完成，或者可以删除它，或者使用 trackerDir 跟踪处理 阅读全文
posted @ 2024-03-20 20:04 HOUHUILIN 阅读(113) 评论(0) 推荐(0) 编辑
Java进阶 - [1-5] 集合容器
摘要： ArrayList add 1、先确认是否需要扩容，如果需要，则进行扩容操作ensureExplicitCapacity。 2、进行赋值 elementData[size++] = e; 扩容 1、如果所需的最小容量大于elementData数组的容量，则进行扩容操作。 private void e 阅读全文
posted @ 2024-03-20 19:33 HOUHUILIN 阅读(5) 评论(0) 推荐(0) 编辑
IDEA - 文件上方的文档注释如何自定义
摘要： 1、在设置中打开文件和代码模板，根据描述中的参考信息进行自定义配置 File > Settings > Editor > File and Code Templates 2、配置完成之后的效果如下 — 要养成终生学习的习惯 — 阅读全文
posted @ 2024-03-20 17:44 HOUHUILIN 阅读(47) 评论(0) 推荐(0) 编辑
Java进阶 - [1-5] 泛型
摘要： 一、什么是泛型 早期Java是使用Object来代表任意类型的，但是向下转型有强转的问题，这样程序并不安全。 针对List、Set、Map等集合类型，它们对存储的元素类型是没有任何限制的。例如向List中存储Dog类型的对象，但是有人把Cat对象也存储到这个List中了，那么在编译上是没有任何语法错 阅读全文
posted @ 2024-03-20 17:37 HOUHUILIN 阅读(13) 评论(0) 推荐(0) 编辑
2024年3月18日
FineReport - [01] 概述
摘要： Gartner报表平台全球市场唯一入选国产软件！ 一、FineReport 是什么？有什么用途？ FineReport 是一款企业级Web报表工具，由帆软自主研发，秉持零编码的理念，易学易用且功能强大。经过多年的发展，它已经成为了中国报表软件市场的领导品牌。 FineReport的主要用途包括： 报 阅读全文
posted @ 2024-03-18 15:03 HOUHUILIN 阅读(49) 评论(0) 推荐(0) 编辑
Linux - top相关的快捷键
摘要： q：退出top命令窗口（quit）。 k：按照进程ID终止（kill）一个进程。例如，你可以输入k，然后输入进程的PID来终止它。 r：重新设置进程的优先级。输入r后，你可以输入新的优先级值。 f：进入字段管理界面，可以选择要显示的列。 o 或 O：用于改变top命令输出字段的排序方式。例如，你可以 阅读全文
posted @ 2024-03-18 14:44 HOUHUILIN 阅读(291) 评论(0) 推荐(0) 编辑
Docker - 部署zyplayer_doc团队协作文档
摘要： 原文链接：https://mp.weixin.qq.com/s/ew3O0EKLo8KoOMkpT-IePw 一、介绍 zyplayer-doc是一款适合企业和个人使用的WIKI知识库管理工具，提供在线化的知识库管理功能，专为私有化部署而设计，最大程度上保证企业或个人的数据安全，公司小团队的话完全可 阅读全文
posted @ 2024-03-18 13:59 HOUHUILIN 阅读(758) 评论(0) 推荐(0) 编辑
2024年3月16日
SpringBoot - [00] 注解大全
摘要： 原文链接：https://mp.weixin.qq.com/s/DgNhohtJyEq4vMGEzqrP8A @SpringBootApplication 这个注解用于标识一个SpringBoot应用的主类。它整合了@Configuration，@EnableAutoConfiguration，@C 阅读全文
posted @ 2024-03-16 11:47 HOUHUILIN 阅读(13) 评论(0) 推荐(0) 编辑
Docker - 部署禅道
摘要： 原文链接：https://mp.weixin.qq.com/s/8L0Rv6Wc0lFsQU6Lw0QloQ 简单的看了一下原文，他使用的是Ubuntu的操作系统，第一步的Docker安装相关命令我确实没有使用过。不过对Linux熟悉的话，那些命令也不难理解。我的是Centos7.5安装的docke 阅读全文
posted @ 2024-03-16 11:30 HOUHUILIN 阅读(132) 评论(0) 推荐(0) 编辑
Docker - 在线音乐播放器 YesPlayMusic
摘要： 原文链接：https://mp.weixin.qq.com/s/D2778fnix6jAeZlCicWGdw（本文只作为跟练，不以盈利为目的） 1、下载镜像 [root@node ~]# docker pull fogforest/yesplaymusic Using default tag: la 阅读全文
posted @ 2024-03-16 11:18 HOUHUILIN 阅读(366) 评论(0) 推荐(0) 编辑
2024年3月14日
SpringBoot - [02] 第一个SpringBoot程序
摘要： jdk maven3.6.3 springboot最新版 idea 如果使用官网 Spring Initializr ，则需要jdk17、21、22，并且是Springboot3.x 可以在idea创建一个简单的maven项目，然后引入相关依赖即可进行Springboot的相关开发。 一、引入依赖 阅读全文
posted @ 2024-03-14 20:40 HOUHUILIN 阅读(8) 评论(0) 推荐(0) 编辑
点击右上角即可分享
微信分享提示