摘要:
使用maven-assembly-plugin进行配置分离 assembly.xml配置文件 配置文件内容 ${name} tar.gz zip tr... 阅读全文
摘要:
1. 第一步检测语法是否正确 @Value("${hdfs.name}")private String hdfs; 2.第二步检测配置文件中是否有进行配置(application.properties) hdfs.name=jilin ... 阅读全文
摘要:
首先,Java中的getResourceAsStream有以下几种: 1. Class.getResourceAsStream(String path) : path 不以’/'开头时默认是从此类所在的包下取资源,以’/'开头则是从ClassPath根下获... 阅读全文
摘要:
需求: 孙悟空 白羊座 A 沙悟净 射手座 A 宋松松 白羊座 B 猪八戒 白羊座 A 小凤姐 射手座 A 转换成以下格式: 白羊座,A 孙悟空|猪八戒 白羊座,B 宋松松 射手座,A 沙悟净|小凤姐 思路:表的行转列 知... 阅读全文
摘要:
需求: 《疑犯》 悬疑,动作,科幻,爱情 《lie to me》 悬疑,警匪,动作,心理,剧情 《战狼》 战争,动作,灾难 转成如下格式: 《疑犯》 悬疑 《疑犯》 动作 《疑犯》 科幻 《疑犯》 爱情 《lie to me》 ... 阅读全文
摘要:
java编译器把Unreachable statement标记为运行时错误,一个Unreachable statement就是编译器决定永远不会执行它。下面的几种情况会出现 Unreachable statement:(0)在while(true)循... 阅读全文
摘要:
作为数据分析中经常进行的join 操作,传统DBMS 数据库已经将各种算法优化到了极致,而对于hadoop 使用的mapreduce 所进行的join 操作,去年开始也是有各种不同的算法论文出现,讨论各种算法的适用场景和取舍条件,本文讨论hive 中出现的... 阅读全文
摘要:
1、order by hive中的order by 会对查询结果集执行一个全局排序,这也就是说所有的数据都通过一个reduce进行处理的过程,对于大数据集,这个过程将消耗很大的时间来执行。 2、sort by hive的sort by ... 阅读全文
摘要:
前言:我们在学习hive窗口函数的时候,一定要先了解窗口函数的结构。而不是直接百度sum() over()、row_number() over()、或者count() over()的用法,如果这样做,永远也掌握不到窗口函数的核心,当然我刚开始的时候也是这样... 阅读全文
摘要:
1.函数说明 主要是配合over()窗口函数来使用的,通过over(partition by order by )来反映统计值的记录。 1. rank() over()是跳跃排序,有两个第二名时接下来就是第四名(同样是在各个分组内) 2. dense... 阅读全文