03 2024 档案

摘要:MySQL - [06] 测试数据题记部分 一、死神测试数据 嗷嗷待“补” 二、火影忍者测试数据 -- 忍村表 create table hy_villages( VillageID INT PRIMARY KEY, VillageName VARCHAR(50) NOT NULL, Country VARCHAR(50) NOT 阅读全文
posted @ 2024-03-29 17:03 HOUHUILIN 阅读(7) 评论(0) 推荐(0) 编辑
摘要:数仓分层是一种将数据仓库按照不同的层级进行组织和管理的方法。每个层级具有不同的功能和目的,旨在支持数据分析、报告和决策等不同的业务需求。 一、数仓分层的意义和目的 数仓分层的主要目的是实现数据的高效访问和分析,提高数据的可用性和性能,同时提供更好的灵活性和可扩展性。通过分层设计,可以方便地对数据进行 阅读全文
posted @ 2024-03-29 12:24 HOUHUILIN 阅读(157) 评论(0) 推荐(0) 编辑
摘要:拉链表是一种特殊的数据结构,其应用场景十分广泛,主要如下: 1、监控系统:拉链表可以完整地记录系统的运行状态,方便进行监控和分析。 2、金融交易:在金融领域,拉链表可以记录每个交易的时间戳、交易金额、交易类型等信息,从而实现对金融风险的监控和控制。例如,可以通过拉链表查询某个时间段内的交易情况,分析 阅读全文
posted @ 2024-03-29 11:58 HOUHUILIN 阅读(189) 评论(0) 推荐(0) 编辑
摘要:hbase - [06] rowkey的设计HBase是三维有序存储的,通过rowkey(行键),column key(column family和qualifier)和TimeStamp(时间戳)这三个维度可以对HBase中的数据进行快速定位。 HBase中rowkey可以唯一标识一行记录,在HBase查询的时候,有下列几种方式: 1、通过 阅读全文
posted @ 2024-03-28 15:19 HOUHUILIN 阅读(89) 评论(0) 推荐(0) 编辑
摘要:hbase - [05] hbase关联hive一、配置 1、在hive的配置文件中配置HBASE_HOME(conf/hive-env.sh) export HBASE_HOME=/opt/module/hbase 2、将 conf/hive-env.sh 替换到hive的服务端和客户端,重启服务 二、验证 1、创建一张hive表 create 阅读全文
posted @ 2024-03-28 14:44 HOUHUILIN 阅读(6) 评论(0) 推荐(0) 编辑
摘要:hbase - [04] java访问hbase需要导入jar包 HBASEHOME/libjarHADOOP_HOME/share/hadoop/common的所有jar包 package com.harley.hbase.test; import org.apache.hadoop.conf.Configuration; i 阅读全文
posted @ 2024-03-28 14:24 HOUHUILIN 阅读(13) 评论(0) 推荐(0) 编辑
摘要:hbase - [03] 客户端常用命令(hbase shell)1、列出所有namespace list_namespace 2、创建namespace create_namespace 'ns_name' 3、修改namespace属性 alter_namespace 'nsname', {METHOD => 'set', 'PROPERTY_NAME' => 阅读全文
posted @ 2024-03-28 14:19 HOUHUILIN 阅读(17) 评论(0) 推荐(0) 编辑
摘要:hbase - [02] 分布式安装部署一、角色规划 主机名 node01 node02 node03 node04 Zookeeper ○ ○ ○ NameNode ○ ○ JournalNode ○ ○ ○ DataNode ○ ○ ○ ○ ResourceManager ○ ○ NodeManager ○ ○ ○ ○ Master 阅读全文
posted @ 2024-03-28 14:07 HOUHUILIN 阅读(7) 评论(0) 推荐(0) 编辑
摘要:MySQL - 数据更新场景Excel文件数据更新到表A的某两个字段 Excel文件中Sheet1页有两列,一列是序号,另一列是手机号。表A中有对应的序号列和手机号列。 1、首先,使用Navicat将Excel数据导入数据库,注意修改Excel字段和目标表字段的映射。 2、执行以下语句即可完成更新操作。 update tabl 阅读全文
posted @ 2024-03-28 10:47 HOUHUILIN 阅读(11) 评论(0) 推荐(0) 编辑
摘要:红底白字,并且一闪一闪的都是失效的软连接,需要批量清除它们... 1、打印所有失效软连接 find ./* -type l -exec test ! -e {} \; -exec echo {} \; 2、批量清除失效软连接 find /path/to/search -type l -exec te 阅读全文
posted @ 2024-03-28 10:14 HOUHUILIN 阅读(408) 评论(0) 推荐(0) 编辑
摘要:Linux - 安装JDK(.tar.gz)1、上传 jdk-8u351-linux-x64.tar.gz 到 /opt/module 目录下并解压 tar -zxvf jdk-8u351-linux-x64.tar.gz -C /opt/module/ 2、配置 /etc/profile文件 # 文件末尾进行配置 export JAVA_H 阅读全文
posted @ 2024-03-28 10:05 HOUHUILIN 阅读(415) 评论(0) 推荐(0) 编辑
摘要:一、服务器操作系统 主机名 操作系统 node01 Centos 7.9 node02 Centos 7.9 node03 Centot 7.9 二、大数据服务版本 服务 版本 下载 JDK jdk-8u351 Download Zookeeper 3.5.7 Download Hadoop 3.3 阅读全文
posted @ 2024-03-27 16:44 HOUHUILIN 阅读(27) 评论(0) 推荐(0) 编辑
摘要:一、准备 1、角色规划 Flink Standalone 角色规划 节点名称 node01 node02 node03 master ○ worker ○ ○ zookeeper ○ ○ ○ 二、部署 1、在node01上解压:tar -zxvf flink-1.11.2-bin-scala_2.1 阅读全文
posted @ 2024-03-27 12:08 HOUHUILIN 阅读(34) 评论(0) 推荐(0) 编辑
摘要:一、类加载区别 当我们刚接触java语言的时候,我们最常见的代码应该就是初始化某个对象,然后调用该对象的方法。 1、使用new创建对象,返回对象的引用。Student student = new Student(); 2、调用方法:student.say(); 当我们想在运行期才能指定具体对象的类型 阅读全文
posted @ 2024-03-27 10:10 HOUHUILIN 阅读(6) 评论(0) 推荐(0) 编辑
摘要:一、什么是存储过程 存储过程是一种数据库对象,是一种存储在数据库中的可执行程序,是一些经过编写、编译而存在数据库中的SQL语句集。 二、创建存储过程的语法 create or replace procedure pro_name [(参数1 [in]|out|in out 类型,参数2...)] i 阅读全文
posted @ 2024-03-26 10:58 HOUHUILIN 阅读(9) 评论(0) 推荐(0) 编辑
摘要:一、什么是数据模型 模型,指对于某个实际问题或者客观事物、规律进行抽象后的一种形式化表达方式。 数据模型,多指在设计和建立数据库时,用于提供数据表示和操作手段的形式架构。 企业数据模型,是企业数据特征的抽象,主要用来体现企业的业务规则以及信息。 二、数据模型的层次 概念模型:定义了重要的业务概念和彼 阅读全文
posted @ 2024-03-26 09:19 HOUHUILIN 阅读(32) 评论(0) 推荐(0) 编辑
摘要:// 冒泡排序 public class BubbleSort{ public static void main(String[] args){ // 定义一个整型的数组 int[] array = {64,34,25,12,22,11,90} bubbleSort(array); for (int 阅读全文
posted @ 2024-03-22 16:34 HOUHUILIN 阅读(3) 评论(0) 推荐(0) 编辑
摘要:浪尖大数据:什么是数据仓库的架构?企业数据仓库架构如何建设? 浪尖大数据:元数据管理在数据仓库的实践应用 — 要养成终生学习的习惯 — 阅读全文
posted @ 2024-03-22 11:44 HOUHUILIN 阅读(3) 评论(0) 推荐(0) 编辑
摘要:案例一 在人潮拥挤的火车上,你端着一碗泡面说:“麻烦让一让”,会被所有人当成耳风。 但是你说:“开水小心烫”,大家都会自觉地为你让出一条道! 所以别人不帮你,是因为你没有触及到他人的利益,想办法把你的问题和他人的利益结合起来,才能引起对方的重视。 案例二 一位大爷到菜市场买菜,挑了3个西红柿到秤盘, 阅读全文
posted @ 2024-03-20 23:39 HOUHUILIN 阅读(17) 评论(0) 推荐(0) 编辑
摘要:1、启动Hadoop集群 2、将Sqoop2的安装包上传到合适的目录中解压 tar -zxvf sqoop-1.99.7-bin-hadoop200.tar.gz 3、修改Hadoop的配置文件core-site.xml <property> <name>hadoop.proxyuser.root. 阅读全文
posted @ 2024-03-20 20:38 HOUHUILIN 阅读(33) 评论(0) 推荐(0) 编辑
摘要:一、概述 此接收器将数据写入Hbase。Hbase配置是从类路径中遇到的第一个Hbase-site.xml获取的。由配置指定的实现 HbaseEventSerializer 的类用于将事件转换为 hbase、put和/或增量。然后将这些put和增量写入hbase。此接收器提供与hbase相同的一致性 阅读全文
posted @ 2024-03-20 20:26 HOUHUILIN 阅读(39) 评论(0) 推荐(0) 编辑
摘要:一、概述 HIVE Sink 将包含分割文本或JSON数据的事件直接流到Hive表或分区中。事件是使用Hive事务编写的。一旦一组事件被提交到Hive,它们就会立即对hive查询可见。流到其中的分区可以是预先创建的,也可以是可选的,如果它们丢失了,可以创建它们。传入事件数据中的字段映射到Hive标中 阅读全文
posted @ 2024-03-20 20:16 HOUHUILIN 阅读(62) 评论(0) 推荐(0) 编辑
摘要:一、概述 将事件写入 Hadoop 分布式文件系统(HDFS)。目前支持创建文本和序列文件。支持两种文件类型的压缩。可以根据经过的时间、数据大小或事件数 周期性地滚动文件(关闭当前文件并创建文件)。根据事件起源的时间戳或机器等属性对数据进行存储/分区。HDFS目录路径可能包好格式转义序列,这些转义序 阅读全文
posted @ 2024-03-20 20:11 HOUHUILIN 阅读(104) 评论(0) 推荐(0) 编辑
摘要:一、概述 可以通过将文件放入磁盘上的 "Spooldir" 目录中来获取数据。此源会监视指定目录中的新文件,并在新文件出现时解析新文件中的事件。事件解析逻辑是可插入的。在将指定文件完全读取到通道后,默认情况下通过重命名文件来指示文件来指示完成,或者可以删除它,或者使用 trackerDir 跟踪处理 阅读全文
posted @ 2024-03-20 20:04 HOUHUILIN 阅读(112) 评论(0) 推荐(0) 编辑
摘要:ArrayList add 1、先确认是否需要扩容,如果需要,则进行扩容操作ensureExplicitCapacity。 2、进行赋值 elementData[size++] = e; 扩容 1、如果所需的最小容量大于elementData数组的容量,则进行扩容操作。 private void e 阅读全文
posted @ 2024-03-20 19:33 HOUHUILIN 阅读(4) 评论(0) 推荐(0) 编辑
摘要:1、在设置中打开文件和代码模板,根据描述中的参考信息进行自定义配置 File > Settings > Editor > File and Code Templates 2、配置完成之后的效果如下 — 要养成终生学习的习惯 — 阅读全文
posted @ 2024-03-20 17:44 HOUHUILIN 阅读(45) 评论(0) 推荐(0) 编辑
摘要:一、什么是泛型 早期Java是使用Object来代表任意类型的,但是向下转型有强转的问题,这样程序并不安全。 针对List、Set、Map等集合类型,它们对存储的元素类型是没有任何限制的。例如向List中存储Dog类型的对象,但是有人把Cat对象也存储到这个List中了,那么在编译上是没有任何语法错 阅读全文
posted @ 2024-03-20 17:37 HOUHUILIN 阅读(11) 评论(0) 推荐(0) 编辑
摘要:Gartner报表平台全球市场唯一入选国产软件! 一、FineReport 是什么?有什么用途? FineReport 是一款企业级Web报表工具,由帆软自主研发,秉持零编码的理念,易学易用且功能强大。经过多年的发展,它已经成为了中国报表软件市场的领导品牌。 FineReport的主要用途包括: 报 阅读全文
posted @ 2024-03-18 15:03 HOUHUILIN 阅读(47) 评论(0) 推荐(0) 编辑
摘要:q:退出top命令窗口(quit)。 k:按照进程ID终止(kill)一个进程。例如,你可以输入k,然后输入进程的PID来终止它。 r:重新设置进程的优先级。输入r后,你可以输入新的优先级值。 f:进入字段管理界面,可以选择要显示的列。 o 或 O:用于改变top命令输出字段的排序方式。例如,你可以 阅读全文
posted @ 2024-03-18 14:44 HOUHUILIN 阅读(275) 评论(0) 推荐(0) 编辑
摘要:原文链接:https://mp.weixin.qq.com/s/ew3O0EKLo8KoOMkpT-IePw 一、介绍 zyplayer-doc是一款适合企业和个人使用的WIKI知识库管理工具,提供在线化的知识库管理功能,专为私有化部署而设计,最大程度上保证企业或个人的数据安全,公司小团队的话完全可 阅读全文
posted @ 2024-03-18 13:59 HOUHUILIN 阅读(707) 评论(0) 推荐(0) 编辑
摘要:原文链接:https://mp.weixin.qq.com/s/DgNhohtJyEq4vMGEzqrP8A @SpringBootApplication 这个注解用于标识一个SpringBoot应用的主类。它整合了@Configuration,@EnableAutoConfiguration,@C 阅读全文
posted @ 2024-03-16 11:47 HOUHUILIN 阅读(11) 评论(0) 推荐(0) 编辑
摘要:原文链接:https://mp.weixin.qq.com/s/8L0Rv6Wc0lFsQU6Lw0QloQ 简单的看了一下原文,他使用的是Ubuntu的操作系统,第一步的Docker安装相关命令我确实没有使用过。不过对Linux熟悉的话,那些命令也不难理解。我的是Centos7.5安装的docke 阅读全文
posted @ 2024-03-16 11:30 HOUHUILIN 阅读(127) 评论(0) 推荐(0) 编辑
摘要:原文链接:https://mp.weixin.qq.com/s/D2778fnix6jAeZlCicWGdw(本文只作为跟练,不以盈利为目的) 1、下载镜像 [root@node ~]# docker pull fogforest/yesplaymusic Using default tag: la 阅读全文
posted @ 2024-03-16 11:18 HOUHUILIN 阅读(350) 评论(0) 推荐(0) 编辑
摘要:jdk maven3.6.3 springboot最新版 idea 如果使用官网 Spring Initializr ,则需要jdk17、21、22,并且是Springboot3.x 可以在idea创建一个简单的maven项目,然后引入相关依赖即可进行Springboot的相关开发。 一、引入依赖 阅读全文
posted @ 2024-03-14 20:40 HOUHUILIN 阅读(6) 评论(0) 推荐(0) 编辑
摘要:一、什么是CDH CDH是Cloudera's Distribution Including Apache Hadoop的缩写,即Cloudera公司发布的Hadoop发行版。它是一个为Hadoop构建的企业级数据平台,提供了Hadoop核心组件的预编译、测试和优化的版本,以及管理这些组件的工具和附 阅读全文
posted @ 2024-03-14 17:33 HOUHUILIN 阅读(193) 评论(0) 推荐(0) 编辑
摘要:# 安装依赖包 yum install --downloadonly --downloaddir=/home/rpm-install rpm-build gcc gcc-c++ glibc glibc-devel openssl-devel openssl pcre-devel zlib zlib- 阅读全文
posted @ 2024-03-13 16:57 HOUHUILIN 阅读(99) 评论(0) 推荐(0) 编辑
摘要:一、什么是SpringBoot 是一个基于Spring框架的快速开发应用程序的工具,设计目的是为了简化Spring应用的创建、运行、调试、部署等开发过程,使开发人员能够更快地创建独立的、生产就绪的Spring应用程序。 采用了“约定优于配置”的原则,通过大量的默认配置来减少开发人员需要手动配置的步骤 阅读全文
posted @ 2024-03-13 00:38 HOUHUILIN 阅读(13) 评论(0) 推荐(0) 编辑
摘要:idea中配置的mybatis的mapper类和xml文件的图标怎么自动变为mybatis的logo?需要安装什么插件,怎么安装? 在 IntelliJ IDEA 中,要使 MyBatis 的 mapper 接口和 XML 文件自动显示为 MyBatis 的图标,你通常需要一个支持 MyBatis 阅读全文
posted @ 2024-03-12 14:39 HOUHUILIN 阅读(104) 评论(0) 推荐(0) 编辑
摘要:Maven - 项目的JDK编译level是1.5,修改不掉??背景 idea中的maven项目,父项目和子项目的Project Structure的language level都是1.5,怎么修改为8?尝试修改并应用后会失效,还是会自动恢复为1.5。 1、Settings中Java Compiler中,子项目的Target bytecode version都是 阅读全文
posted @ 2024-03-12 13:42 HOUHUILIN 阅读(236) 评论(0) 推荐(0) 编辑
摘要:原文链接:https://mp.weixin.qq.com/s/Ld9OLnmHP1IAc0Ofo-RzeQ 一、CAT介绍(略) 二、环境规划(略) 三、检查环境(略) 四、部署cat镜像 1、下载cat镜像 docker pull registry.cn-guangzhou.aliyuncs.c 阅读全文
posted @ 2024-03-12 10:34 HOUHUILIN 阅读(210) 评论(0) 推荐(0) 编辑
摘要:oracle - [11] 那些年使用的emp表和dept表那些年在学习编程时,Oracle自带的emp表和dept表,本文进行整理和记录,以便于在今后的学习和工作中作为示例数据。 雇员表(emp) CREATE TABLE EMP( EMPNO NUMBER(4) NOT NULL, -- 雇员编号,由四个数字组成。 ENAME VARCHAR2(10), 阅读全文
posted @ 2024-03-12 09:56 HOUHUILIN 阅读(539) 评论(0) 推荐(0) 编辑
摘要:mybatis - [02] 第一个Mybatis程序实现select * from user的mybatis demo 一、开发思路 二、搭建环境 2.1、数据库 -- 创建数据库 CREATE DATABASE `mybatis`; -- 切换数据库 USE `mybatis`; -- 创建表 CREATE TABLE IF NOT EXISTS 阅读全文
posted @ 2024-03-11 20:02 HOUHUILIN 阅读(7) 评论(0) 推荐(0) 编辑
摘要:mybatis - [01] 简介题记部分 一、什么是Mybatis? MyBatis是一款优秀的持久层框架。 它支持定制化SQL、存储过程以及高级映射。 MyBatis避免了几乎所有的JDBC代码和手动设置参数以及获取结果集。 MyBatis可以使用简单的XML或注解来配置和映射原生类型、接口和Java的POJO(Plain Ol 阅读全文
posted @ 2024-03-11 19:24 HOUHUILIN 阅读(3) 评论(0) 推荐(0) 编辑
摘要:IDEA 窗口快捷键 快捷键 描述 Ctrl + Alt + S Settings 面板 Ctrl + Shift + F/R 全局查找/替换 Ctrl + Shift + N 文件查找面板 Alt + Insert 快速生成面板 Ctrl + Shift + A Find Action 阅读全文
posted @ 2024-03-10 23:48 HOUHUILIN 阅读(2) 评论(0) 推荐(0) 编辑
摘要:Vue.js 是一个流行的前端JavaScript框架,用于构建用户界面。 001 || 通过CND快速开始 只需要在HTML文件中引入VUE的CDN链接即可 (1)创建HTML文件 <!DOCTYPE html> <html> <head> <title>Vue Quick Start</titl 阅读全文
posted @ 2024-03-08 16:57 HOUHUILIN 阅读(3) 评论(0) 推荐(0) 编辑
摘要:原文链接:https://blog.csdn.net/gdkyxy2013/article/details/117106691 案例一:把seaking的数据按id同步到seaking2,seaking2有相同id则更细数据案例二:使用作业执行上述转换,并且额外在表seaking2中添加一条数据案例 阅读全文
posted @ 2024-03-08 16:19 HOUHUILIN 阅读(19) 评论(0) 推荐(0) 编辑
摘要:import qrcode codeText = 'https://www.cnblogs.com/houhuilinblogs' img = qrcode.make(codeText) print("文件格式", type(img)) # 命令回显内容:文件格式 <class 'qrcode.im 阅读全文
posted @ 2024-03-06 14:54 HOUHUILIN 阅读(60) 评论(0) 推荐(0) 编辑
摘要:行转列(多行转一行) 1、创建表,并插入示例数据。 create table students_info( `SNO` string comment '学生编号', `name` string comment '姓名', `DEPART` string comment '选修课程' ) -- 学生信 阅读全文
posted @ 2024-03-06 10:57 HOUHUILIN 阅读(419) 评论(0) 推荐(0) 编辑
摘要:一、文件存储格式 Hive的文件存储格式包括:textfile、sequence、rcfile、orc、parquet textfile (简介)默认的文件格式,基于行存储。建表时不指定存储格式即为textfile,导入数据时把数据文件拷贝到hdfs不进行处理。 (优点)便于和其他工具(pig,gr 阅读全文
posted @ 2024-03-06 10:40 HOUHUILIN 阅读(38) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示