摘要：
第一步 第二步， 二级目录，最重要 注意第四步都是灰色的 ， 第三步选择完 后 ， 选择第五步 ，然后在调整一下 “点” 即可 ，另外需要注意第二步 第三步 2.2是右侧选出来的， 圆圈里的是一起选出来的。 阅读全文
摘要：
二、Hive and SparkSQL https://blog.csdn.net/m0_61607827/article/details/123561645 其中SparkSQL作为Spark生态的一员继续发展，而不再受限于Hive，只是兼容Hive；而Hive on Spark是一个Hive 阅读全文
摘要：
wps 设置 章节样式自动生成 一级标题设置方法 二级标题设置方法 三级标题设置方法 阅读全文
摘要：
但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性。相比之下，Impala的最大特点也是最大卖点就是它的快速 阅读全文
摘要：
https://blog.csdn.net/zhanglh046/article/details/78578852 列式存储和行式存储 首先我们看一下一张表的存储格式 1.1 行式存储 1.2 列式存储 1.3列式存储和行式存储的比较 行式存储 优点： #相关的数据是保存在一起，比较符合面向对象的思 阅读全文
摘要：
需求 将scott源表product2 直抽至 ODS层 ods_ product2 ODS数据至EDW层做聚合转换 求各供应商 max(price),min(price),sum(price),avg(price) ,avg(price)*2 设置映射 设置会话。 设置session 设置工作流， 阅读全文
摘要：
阅读全文
摘要：
作为oracle监听命令 在启动、关闭或者重启oracle监听器之前确保使用lsnrctl status命令检查oracle监听器的状态： 1、$lsnrctl status：检查当前监听器的状态 2、$lsnrctl start [listener-name] 启动所有的监听器,可以指定名字来启动 阅读全文
摘要：
1. 更新. select * from dept for update; 2.count(*) 3. select * from dual; 4. select * from emp; 1 7369 SMITH CLERK 7902 1980/12/17 800.00 20 2 7499 ALLE 阅读全文
摘要：
https://www.jb51.net/article/144291.htm fdisk -l fdisk /dev/vda 譬如增加这个盘符 5. 重启Linux操作系统，使用reboot命令。 6. 创建物理卷，使用pvcreate /dev/vda4命令。 root@ubuntu14:~# 阅读全文
摘要：
拉链表 因为hive 不能进行update操作,基于这个前提我们实现拉链表.拉链表适用于同步新增和变化的数据.记录了一个事务从开始，一直到当前状态的变化信息,需要查看某一个事件点或者历史段的历史快照信息.设计拉链表我们会增加两个字段 一个是starttime 一个是endtime ，用来记录该条记录 阅读全文
摘要：
/bin/目录下下 sh zkCli.sh 进入客户端目录下： 查看根目录 [zk: localhost:2181(CONNECTED) 11] ls /[cluster, controller, brokers, zookeeper, admin, isr_change_notification, 阅读全文
摘要：
zk报错 分析问题的方法 。 起不来服务 然后去log 目录下 查看zookeeper.out的日志 一般放在/tmp目录下或者 zk的home目录下. [root@hadoop103 ~]# tail -f -n 100 zookeeper.out 2020-06-23 04:24:01,764 阅读全文
摘要：
1. xcall.sh 查看状态 的命令: xcall.sh jps 1 #! /bin/bash 2 3 for i in hadoop102 hadoop103 hadoop104 4 do 5 echo $i 6 ssh $i "$*" 7 done#!/bin/bashparams=$@fo 阅读全文
摘要：
topic 是一个逻辑的概念 ，partition是一个物理的概念 ，每一个partition对应一个log文件 index文件的内容 ， offset 值和 position 值 分区： kafka分区的作用个人觉得就是提供一种负载均衡的能力 所谓分区策略是决定生产者将消息发送到哪个分区的算法 分 阅读全文
摘要：
[atguigu@hadoop102 bin]$ vim xcall.sh #! /bin/bash for i in hadoop102 hadoop103 hadoop104 do echo $i ssh $i "$*" done chmod 777 xcall.sh xcall.sh jps 阅读全文
摘要：
数据仓库的概念 1. 日志采集系统 2. 业务系统数据库 [mysql] 3.爬虫系统. HIVE本质上是一个客户端，没有集群的概念. 阅读全文
摘要：
[atguigu@hadoop102 common]$ xsync hadoop-lzo-0.4.20.jar 先下载 https://github.com/twitter/hadoop-lzo/archive/master.zip 2）下载后的文件名是hadoop-lzo-master，它是一个z 阅读全文
摘要：
vim ~/.vimrc set nu 即可 阅读全文
摘要：
Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf，以在重启后保存该设置。您可以继续进行安装，但 Cloudera Manager 可能会报告您的主机由于交 阅读全文
摘要：
[root@hadoop03 current]# more VERSION #Thu Apr 16 14:16:06 CST 2020 storageID=DS-d9151153-8825-4128-ad82-2dbdd30111f4 clusterID=CID-48783392-da13-4ced 阅读全文
摘要：
整理笔记 1. 环境变量 etc/profile #Java export JAVA_HOME=/opt/jdk1.8.0_271 export PATH=$PATH:$JAVA_HOME/bin #hadoop export HADOOP_HOME=/opt/hadoop-2.7.1 export 阅读全文
摘要：
安装zookeeper 集群 下载解压忽略 关闭防火墙【重点，有两种方式都要关闭】 方法一： 开机禁用(需要重启生效):systemctl disable firewalld.service 方法二： IPtables(centos6之前的): 永久关闭防火墙（关机重启才会生效） chkconfig 阅读全文
摘要：
1 解压 apache-hive-1.2.1-bin.tar.gz 到/opt/module/目录下面 tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/module/ 2.修改 apache-hive-1.2.1-bin.tar.gz 的名称为 hive 阅读全文
摘要：
https://www.cnblogs.com/weibanggang/p/10749355.html ware虚拟机设置静态IP地址 一、安装好虚拟后在菜单栏选择编辑→ 虚拟网络编辑器，打开虚拟网络编辑器对话框，选择Vmnet8 Net网络连接方式，随意设置子网IP，点击NAT设置页面，查看子网掩 阅读全文
摘要：
基于空间：指缓存设置了存储空间，如果设置为10MB，当达到存储空间上限时，按照一定的策略移除数据。 基于容量：指缓存设置了最大大小，当缓存的条目超过最大大小时，按照一定的策略移除旧数据。 基于时间 TTL(Time To Live)：存活期，即缓存数据从创建开始直到到期的一个时间段。 TTI(Tim 阅读全文
摘要：
（转）RandomAccessFile类使用详解 1.RandomAccessFile特点 RandomAccessFile是java Io体系中功能最丰富的文件内容访问类。即可以读取文件内容，也可以向文件中写入内容。但是和其他输入/输入流不同的是，程序可以直接跳到文件的任意位置来读写数据。 因为R 阅读全文
摘要：
Java NIO教程 Channel Channel是一个连接到数据源的通道。程序不能直接用Channel中的数据，必须让Channel与BtyeBuffer交互数据，才能使用Buffer中的数据。 我们用FileChannel作为引子，开始逐步的了解NIO中的重要一环——Channel FileC 阅读全文
摘要：
1. 方案一：继承thread. 1 package com.example.demo; 2 3 4 5 //1. 方法1,继承thread类:Thread implements Runnable 6 package com.example.demo; 7 public class ThreadCr 阅读全文
摘要：
https://www.cnblogs.com/gonjan-blog/p/6685611.html 上面说到，动态代理的优势在于可以很方便的对代理类的函数进行统一的处理，而不用修改每个代理类中的方法。是因为所有被代理执行的方法，都是通过在InvocationHandler中的invoke方法调用的 阅读全文
摘要：
TestServer.java package com.atguigu.netty.http; import io.netty.bootstrap.ServerBootstrap; import io.netty.channel.ChannelFuture; import io.netty.chan 阅读全文
摘要：
1. NettyServer端配置 javaIO==>NIO >Netty package com.example.demo; import io.netty.bootstrap.ServerBootstrap; import io.netty.channel.ChannelFuture; impo 阅读全文
摘要：
https://www.cnblogs.com/goeasycloud/p/9355164.html 今天来讲一下与其他协议的区别和相同点，让各位同学能够更加深入的去了解和运用各种协议。 1 什么是WebSocket？ WebSocket从满足基于Web的日益增长的实时通信需求应运而生，解决了客户端 阅读全文
摘要：
1 .单机的profile 配置application.yml spring: application: name: eureka-server server: port: 2001 eureka: server: enable-self-preservation: false instance: 阅读全文
摘要：
报如下错误。。 nested exception is org.apache.ibatis.exceptions.PersistenceException: ### Error querying database. Cause: org.springframework.jdbc.CannotGetJ 阅读全文
摘要：
package com.company.java.oop.cls; interface IB { default void doMethod1() { System.out.println("IB"); } default void doMethod2() { System.out.println( 阅读全文
摘要：
package com.company.java.oop.instance; /** * 如何设计，才能保证如下类的实例对象 * 在内存中只有一份？ * 1)让外界从一个池中去取对象(通过池保证类的实例在池中一份) * 2)让外界直接通过类的静态方法获取类内部创建的一个实例。 */ class Si 阅读全文
摘要：
package com.company.java.oop.cls; class ClassF { // static ClassF instance =new ClassF(); static { System.out.println("static{}.b =" +ClassF.b ); } st 阅读全文
摘要：
一、If语句 二、if/else 语句 阅读全文