09 2023 档案
摘要：var code = "0c352920-80ec-468b-9148-348320a4a921" 明确jdbc的大概流程 注册驱动创建连接写sql创建statement(分不同statement是否赋值还是直接写进去)处理获取结果关闭资源 注册驱动 大致有两种方法 DriverManager.re
阅读全文
摘要：导入依赖 <dependencies> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> <version>2.4.11</version> <exclusions> <exc
阅读全文
摘要：删除变量:unset 变量名 定义只读变量:readonly 变量名 定义全局变量:GLOBAL_变量名 函数 read read -t 等待时间 "提示语" 赋予给的变量名 如果没有-t会一直等下去 basename basename [string /pathname][suffix] base
阅读全文
摘要：本hbase搭建前提已经搭建好hadoop和zookeeper,如果没有搭建好可以看我主页相应搭建或配置文章 环境变量 sudo vim /etc/profile.d/my_env.sh #HBASE_HOME export HBASE_HOME=/opt/module/hbase export P
阅读全文
摘要：SparkConf `SparkConf` 是 Apache Spark 中的一个类，用于配置和设置 Spark 应用程序的配置选项。通过 `SparkConf`，你可以指定各种参数，以控制 Spark 应用程序的行为，如集群连接信息、应用程序名称、执行模式、内存分配等。 import org.ap
阅读全文
摘要：在Apache Maven中，`groupId`、`artifactId`以及一些其他参数是用于定义和配置项目的元数据，以便Maven可以管理项目的构建、依赖和部署等方面的工作。以下是这些参数的解释： 1. `groupId`（组标识符）：`groupId`是项目的唯一标识符，通常采用逆序的Java
阅读全文
摘要：`log4j.properties` 是一个配置文件，用于配置和控制 Java 应用程序中使用的 Apache Log4j 日志框架的行为。Log4j 是一个用于生成日志信息的 Java 应用程序库，它允许你在应用程序中记录各种事件和信息，以便在开发、测试和生产环境中进行日志记录和监视。 `log4
阅读全文
摘要：二分法 要点: 确定目标区间究竟是左闭右开,还是左闭右闭对应理解while循环里的究竟是大于等于还是大于mid是left + (right - left) / 2 还是left + (right - left + 1)/2如果mid >x后面right = mid还是mid - 1 移除数组元素 要
阅读全文
摘要：优化 mysql的优化可以从,硬件,系统配置,表结构,sql语句几个方面优化 硬件 硬盘选择:使用高性能的固态硬盘代替机械硬盘,提高数据读写速度 增加内存:增加数据库服务器的内存,以提高缓存效果,减少磁盘IO操作 cpu升级:升级到更快的多核cpu,提高数据库处理能力 系统配置 调整缓冲池:数据库会
阅读全文
摘要：hdfs写流程 图片来源于尚硅谷 由命令向客户端发送要存储数据的信息，客户端想要处理这个命令肯定是要又一个具体的客户端对象，遂创建一个dfs(distributed file system)类型的客户端，随后它向namenode发送请求，想要上传文件到/user/atguigunamenode收到请
阅读全文
摘要：本文示例的安装过程是在阿里云esc实例的centos7.5下安装mysql8.0.25,使用的工具是xshell 检查依赖 rpm -qa | grep libaio rpm -qa | grep net-tools #如果不存在需要到centos安装盘里进行rpm安装,如果安装的是图形化界面的,这
阅读全文
摘要：(题目顺序不代表难度高低,只是按我记录的时间顺序) 同表同逻辑,不同区的union all改进 遇到聚合逻辑相同,对同一张表的不同分区聚合,可以考虑将行标号来进行分区 eg:最近n日新增用户统计,dwd_user_register_inc是用户域用户注册事务事实表,以`dt`作为分区字段 看到这个需
阅读全文
摘要：出现场景:在使用datagrip操作hive进行数据仓库建模过程中出现 原因:hiveserver2打开的文件过多. 介绍:linux操作系统会对每个进程设限,例如进程使用cpu的时间,打开文件的个数... 想看某个进程打开了哪些文件在哪看? jps后记录目标进程的PID #这个目录下的数字记录的就
阅读全文
摘要：建模意义 为什么要建数据仓库，有什么意义？ 将数据有序组织和存储，使数据得到高性能，低成本，高效率，高质量的使用 实际就是为了方便我们在处理数据时能更快的找到和运行计算出我们需要的结果 建模方法论 ER模型维度模型 ER模型 理论：用实体关系模型来描述企业业务，用规范化的方式表示出来，在范式理论上符
阅读全文
摘要：#添加环境变量 sudo vim /etc/profile.d/my_env.sh #HIVE_HOME export HIVE_HOME=/opt/module/hive export PATH=$PATH:$HIVE_HOME/bin #刷新 source /etc/profile.d/my_e
阅读全文
摘要：小文件问题是指在HDFS中存在大量的小文件，这会给HDFS带来额外的开销，影响存储和计算的效率。 要是要对小文件进行计算,那么hdfs中每一个小文件都会对应生成一个task,而每一个task的形成和计算都会占用一定的资源和启停时间,影响计算效率nn中要记录dn中存储的数据索引,小文件过多会生产很多记
阅读全文
摘要：-Dflume.root.logger=info,console 是一个 Java 系统属性，用于配置 Flume 的根日志记录器。 在 Flume 中，-Dflume.root.logger=info,console 的含义是将 Flume 的根日志记录器配置为 info,console。这意味着
阅读全文
摘要：#找到mysql数据的存放地址 sudo cat /etc/my.cnf #根据得到的路径删除数据 su root cd /var/lib/mysql rm -rf * #查看安装过的mysql相关包 sudo rpm -qa | grep -i -E mysql #卸载 rpm -qa | gre
阅读全文
摘要：>/dev/null 2>&1是命令行重定向操作，它将标准输出和标准错误输出都重定向到/dev/null设备，也就是一个空设备，即不会将任何输出信息输出到终端或文件。&是后台运行操作，将该程序放在后台运行
阅读全文
摘要：tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /opt/module cd /opt/module/ mv apache-flume-1.9.0-bin/ flume 删除guava-11.0.2.jar,其与hadoop中的guava冲突 rm -rf ./
阅读全文
摘要：#省略解压安装 #修改配置文件server.properties vim config/server.properties #修改赋予唯一的brokerid broker.id=0 #修改kafka运行日志存放路径,不用手动创建datas,kafka启动时会自动创建 log.dirs=/opt/mo
阅读全文
摘要：找到该文件 $MAVEN_HOME\conf\settings.xml 找到mirros标签 <mirrors> <mirror> <id>nexus-aliyun</id> <mirrorOf>*</mirrorOf> <name>central</name> <url>https://maven
阅读全文
摘要：tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module/ cd /opt/module/ mv apache-zookeeper-3.5.7-bin/ zookeeper cd zookeeper/ mkdir zkData cd zkD
阅读全文
摘要：hadoop解压完成后,想一想要修改几个配置文件? 答案是5个,分别是 core-site,hdfs-site,yarn-site,mapred-site,workers 先修改core-site cd /opt/module/hadoop/etc/hadoop vim core-site.xml
阅读全文
