摘要：
连续活跃登陆的用户指至少连续2天都活跃登录的用户 解决类似场景的问题 创建数据 CREATE TABLE test5active( dt string, user_id string, age int) ROW format delimited fields terminated BY ','; I 阅读全文
摘要：
触发器 触发器：trigger,事先为某张表绑定好一段代码，当表中的某些内容发生改变的时候（增删改）系统会自动触发代码执行。 触发器：事件类型，触发时间，触发对象 事件类型：增删改，三种类型 insert,delete和update 触发时间：前后：before和after 触发对象：表中的每一条记 阅读全文
摘要：
python Unicode转dict catetory_dict = json.loads(row['param'], encoding='utf-8') catetory = catetory_dict['catetory'] 把字典序列化成json字符串 params_dict['a_xpat 阅读全文
摘要：
现有表 salary，如图1： 实现需求：按员工的编号升序生成一列累计值, 结果按累计值升序排序，实现结果如图2。 图1.表 salary 图2.需要实现的结果 建表语句如下： CREATE TABLE `salary` ( `empno` int NOT NULL, `ename` varchar 阅读全文
摘要：
ll -h 即为ls -lh是文件的实际大小； du -sh 显示文件所占用的 block 大小； 注：用du命令查看文件大小的时候，当文件只有1个字节，也会占用 4KB （inux默认是4k）。 du -ach * #这个能看到当前目录下的所有文件占用磁盘大小和总大小 du -sh #查看当前目录 阅读全文
摘要：
变量：系统变量和自定义变量系统变量：系统定义好的变量：系统变量是用来控制服务器表现的：如autocommit,auto_increment_increment等查看系统变量SHOW VARIABLES;查看具体变量值：SELECT @@变量名;SELECT @@VERSION,@@autocommi 阅读全文
摘要：
Linux 通过RPM包安装 MySQL 8.0 Linux下卸载MySQL8.0版本 启动mysql服务： service mysqld start 停止mysql服务： service mysqld stop 重启mysql服务： service mysqld restart 查看mysql服务 阅读全文
摘要：
1、Redis支持的数据类型？ string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型） 2、缓存穿透、缓存雪崩、缓存击穿 缓存穿透：指查询一个数据库一定不存在的数据。 缓存雪崩：指在某一个时间段，缓存集中过期失效。 缓存击穿：指 阅读全文
摘要：
1、Mysql中的MyISAM与InnoDB的区别？ （1）InnoDB存储引擎支持事务，而MyISAM不支持事务； （2）InnoDB支持行级锁，而MyISAM只支持表级锁； （ InnoDB行锁是通过给索引加锁实现的，即只有通过索引条件检索数据，InnoDB才使用行级锁，否则将使用表级锁！行级锁 阅读全文
摘要：
一 复杂业务梳理 数仓建设初期，需要了解各种业务，有些业务比较复杂，对数据开发人员的要求比较高，这个时候，需要和业务开发多交流沟通，可以看看他们的详细设计文档，ER图和时序图，多方位去了解，最终落成文档共享 二 技术选型困难 技术选型也是需要在数仓建设前就需要考虑的，从数据抽取同步到数据处理再入供需 阅读全文
摘要：
1、数据库和数据仓库区别 数据库与数据仓库的区别实际讲的是OLTP与OLAP的区别。 联机事务处理OLTP（On-Line Transaction Processing） 传统数据库的增、删、改、查。 联机分析处理OLAP（On-Line Analytical Processing） 数据仓库的数据 阅读全文
摘要：
1. JVM 的主要组成部分？及其作用？ （1）类加载器（ClassLoader）：在JVM启动时或者在类运行时将需要的class加载到JVM中。 （2）执行引擎（Execution Engine）：负责执行class文件中包含的字节码指令。 （3）本地库接口（Native Interface） （ 阅读全文
摘要：
三种条件关键字的执行顺序如下： on > where > 聚合函数 > having ON、WHERE、HAVING的主要差别是其子句中限制条件起作用时机引起的， ON是在生产临时表之前根据条件筛选记录， WHERE是从生产的临时表中筛选数据， 而HAVING是对临时表中满足条件的数据，进行计算分组 阅读全文
摘要：
1、 java中方法的重写的两同两小一大原则 方法名相同 参数类型相同 子类返回类型小于等于父类方法返回类型， 子类抛出异常小于等于父类方法抛出异常， 子类访问权限大于等于父类方法访问权限。 2、Class.forName(); 类.class; 对象.getClass(); Class.forNa 阅读全文
摘要：
Caused by: MetaException(message:Hive Schema version 2.1.0 does not match metastore's schema version 1.2.0 Metastore is not upgraded or corrupt) 主要原因是 阅读全文
摘要：
1、 hive有哪些保存元数据的方式，各有什么特点。 内存数据库derby，安装小，但是数据存在内存，不稳定 mysql数据库，数据存储模式可以自己设置，持久化好，查看方便。 2、 Hive内部表外部表区别及各自使用场景 区别： 内部表：加载数据到hive所在的hdfs目录，删除时，元数据和数据文件 阅读全文
摘要：
1.同步与异步 同步和异步关注的是消息通信机制 (synchronous communication/ asynchronous communication)； 同步是指：当程序1调用程序2时，程序1停下不动，直到程序2完成回到程序1来，程序1才继续执行下去。 异步是指：当程序1调用程序2时，程序1 阅读全文
摘要：
-- 查询具体表的分区目录 select t1.NAME, t2.TBL_NAME,t4.PART_NAME, t3.LOCATION from DBS t1, TBLS t2 , SDS t3 ,PARTITIONSt4 where t1.DB_ID=t2.DB_ID and t4.SD_ID = 阅读全文
摘要：
懒汉式与饿汉式的区别 1、饿汉式：在程序启动或单例模式类被加载的时候，单例模式实例就已经被创建。（线程安全，调用率高，但是，不能延迟加载。） 2、懒汉式：当程序第一次访问单例模式实例时才进行创建。（线程安全，调用效率不高，可以延时加载。） 如何选择：如果单例模式实例在系统中经常会被用到，饿汉式是一个 阅读全文
摘要：
sql语句定义和执行顺序 摘自《MySQL技术内幕:SQL编程》 sql语句定义的顺序 sql语句执行顺序 可以看到，一共有十一个步骤，最先执行的是FROM操作，最后执行的是LIMIT操作。每个操作都会产生一个虚拟表，该虚拟表作为一个处理的输入，看下执行顺序： (1) FROM:对FROM子句中的左 阅读全文
摘要：
2020大数据面试题真题总结(附答案) 2020年大厂面试题-数据仓库篇 教你如何使用正确姿势关闭SparkStreaming 朋友面试数据研发岗遇到的面试题 美团优选-数据仓库高级工程师面试 数仓开发需要了解的5大SQL分析函数 蚂蚁金服数据专家岗笔试题 一份还热乎的蚂蚁金服面经（已拿Offer） 阅读全文