滴水穿石不是靠力，而是因为不舍昼夜。

摘要： 数据准备 desc temp_shop_info; select * from temp_shop_info; shop_id commodity_id sale 110 1 10 110 2 20 110 3 30 110 4 50 110 5 60 110 6 20 110 7 80 111 1 阅读全文

摘要： 问题描述 不知怎得最近在启动测试环境的时候 hdfs 总是进入安全模式，无奈手动离开此模式才能进行正常操作 [hui@hadoop201 ~]$ hdfs dfsadmin -safemode get Safe mode is ON [hui@hadoop201 ~]$ hdfs dfsadmin 阅读全文

摘要： 需求 对同一个用户，在同一个位置，连续的多条记录进行合并 合并原则：开始时间取最早的，停留时长加和 字段 userID, locationID, time, duration 样例数据 user_a location_a 2022-02-03 08:00:00 60 user_a location_ 阅读全文

摘要： 滚动聚合算子 常见的滚动聚合算子sum,min,maxminBy,maxBy作用 KeyedStream的每一个支流做聚合。执行完成后，会将聚合的结果合成一个流返回，所以结果都是DataStream参数 如果流中存储的是POJO或者scala的样例类, 参数使用字段名 如果流中存储的是元组, 参数就 阅读全文

摘要： 查找每个用户在Facebook上的受欢迎程度百分比。受欢迎程度百分比定义为：用户拥有的朋友总数除以平台上的用户总数，然后乘以100转换成一个百分比。 输出每个用户及其受欢迎程度百分比。按用户id升序排列。 “id1”和“id2”列是成对的朋友。表如下： id1 id2 1 2 1 3 1 4 1 5 阅读全文

摘要： 需求 遍历字符串，并以一个字符一行的形式显示出来，如遍历"a,b,c,d,e,f"字符串，使其每个字符都生成一行记录； 思路分析 在hive中可以借助posexplode()函数对数组结构的数据进行(xing)行(hang)转列，并对数组中每一位都生成一个索引值.该函数强大之处就是为数组中每一位生成 阅读全文

摘要： TransForm 简介 转换算子可以把一个或多个DataStream转成一个新的DataStream.程序可以把多个复杂的转换组合成复杂的数据流拓扑。 常用算子 1、map 作用 将数据流中的数据进行转换, 形成新的数据流，消费一个元素并产出一个元素 参数 lambda表达式或MapFunctio 阅读全文

摘要： 需求 现有一个字符串，使用hivesql 统计指定字符出现的次数，比如一个字符串 “love hive”,现在需要统计“ve” 在字符串中出现的个数 select "love hive" str; love hive 实现方案 1、先将目标字符串里的匹配字符串替换成空 select regexp_r 阅读全文

摘要： 需求 平时工作中经常会遇到取某某指标第 n 个的需求，今天介绍下取 这样需求的两种思路 数据准备 select *from temp_shop_info where shop_id = '111'; 111 1 90 111 2 80 111 3 50 111 4 70 111 5 20 111 6 阅读全文

摘要： translate()这个函数工作中偶尔会用到，但是每次用都要忘记了改怎么使用，今天抽时间就彻底梳理一下该函数的使用时的一些细节。 官方解释 desc function extended translate; translate(input, from, to) - translates the i 阅读全文