摘要：
1.日期函数UNIX时间戳转日期函数: from_unixtime语法:from_unixtime(bigint unixtime[, stringformat]) 返回值: string说明: 转化UNIX时间戳（从1970-01-0100:00:00 UTC到指定时间的秒数）到当前时区的时间格式 阅读全文
摘要：
数据倾斜调优 调优概述 有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。 数据倾斜发生时的现象 绝大多数task执行得都非常快，但个别task执行极慢。 阅读全文
摘要：
1.mysql和redis的数据库类型 mysql是关系型数据库，主要用于存放持久化数据，将数据存储在硬盘中，读取速度较慢。 redis是NOSQL，即非关系型数据库，也是缓存数据库，即将数据存储在缓存中，缓存的读取速度快，能够大大的提高运行效率，但是保存时间有限。 2.mysql的运行机制 mys 阅读全文
摘要：
HBase和Redis的功能上比较相似。都是nosql类型的数据库。但是在适用场景上，两者还是有比较明显的区别的。下面本篇文章就来对比一下HBase和Redis，介绍HBase和Redis之间的区别，希望对你们有所帮助。 读写性能 HBase写快读慢，HBase的读取时长通常是几毫秒，而Redis的 阅读全文
摘要：
适用场景 HBase支持海量数据存储。适合写密集型应用，每天写入量巨大，而相对读数量较小的应用不需要复杂查询条件来查询数据的应用，HBase只支持基于rowkey的查询对性能和可靠性要求非常高的应用，由于HBase本身没有单点故障，可用性非常高HBASE与关系型数据库 MySQL：关系型数据库，行式 阅读全文
摘要：
（1）spark中的数据倾斜的现象？1、数据倾斜的现象多数task执行速度较快，少数task执行时间非常长，或者等待很长时间后提示你内存不够，执行失败（2）数据倾斜的原因？数据问题：1、key本身分布不均衡（包括大量的key为空）2、key的设置不合理spark使用问题：shuffle时的并行度不够 阅读全文
摘要：
数仓与关系型数据库的区别？1、数据库有相对复杂的表格结构，存储结构相对紧致而数据仓库则是相对简单的表格结构，存储结构相对松散2、数据库在读和写两方面都有优化，数据仓库一般只是读优化3、数据库单次操作作用于少量数据，数据仓库单次操作作用与大量的数据4、数据库支持单条数据的修改，数据仓库不支持5.数据库 阅读全文
摘要：
1、collect的功能是什么，其底层是怎么实现的？driver通过collect把集群中各个节点的数据收集过来汇总成总结果，collect返回结果是array类型的，collect把各个节点的数据抓过来，抓过来的数据是array类型，collect对array抓过来的结果进行合并，合并后array 阅读全文
摘要：
离线数仓面试题？1、ODS：存放原始数据，直接加载原始日志，数据，数据保持原貌不做处理。2、DWS：结构和粒度与原始表保持一致，对ODS层数据进行清洗（去除空值，脏数据）3、DWS:以DWD层为基础，进行轻度汇总。4、ADS:为各种统计报表提供数据。为什么要对数仓进行分层？1、把简单问题复杂化将一个 阅读全文
摘要：
mysql 中求top n TopN:前几条数据 1.TopN age最大的前三个 select * from students order by age desc limit 0,3; 2.分组Top1 按sex分组后,求分组中年龄最大的一个 1.select * from students wh 阅读全文