摘要：
需求 给定一个表，包含三个字段；sid 学生ID，score 课程分数,cid 课程ID ，求不及格课程数大于2的学生的平均成绩及其成绩平均值后所在的排名 数据准备 create table scores_info_0208 ( sid int, score int, cid int ) row f 阅读全文
摘要：
今天整理下最近使用flume 案例一：过滤非JSON数据 使用 flume 监控日志文件传到 kafka,由于业务需要只需要将日志里的 json 数据发送到 Kafka 即可，非 json 数据直接进行过滤。 1、pom.xml <build> <plugins> <plugin> <groupId 阅读全文
摘要：
需求 向用户 user_id = 1 推荐其关注的人喜欢的音乐 有如下三个表 1、用户关注表 user_id follow_id 1 7 1 5 1 4 1 3 2、collect_movies user_id movice_id 1 1001 1 1004 1 1002 3 1001 3 1005 阅读全文
摘要：
需求描述 字段：店铺(shop_id),销量(sale),商品id(commodity_id)，求每个店铺商品销量排名的中位数 数据准备 use default; create table temp_shop_info ( shop_id string, commodity_id string, s 阅读全文
摘要：
字符串模糊匹配在工作中经常会用到，下面我们来看下常用的字符串匹配的实现方式 方案一 like like 经常用于字符串模糊匹配：语法简单，直接过滤出来满足条件的记录，下面我们取一下地市码表，匹配地市名称带有 阳 的地市名称 select area_desc from temp.dim_area wh 阅读全文
摘要：
如图：这一段时间每次要打包的时候就找不到 maven 对话框，好气呀 下面介绍一个快捷键 Ctrl+Shift+A 然后在弹出的框框里输入 maven 再回车 即可 阅读全文
摘要：
json是常见的一种数据格式，一般通过埋点程序获取行为用户行为数据，将多个字段存放在一个json数组中，因此数据平台调用数据时，要对json数据进行解析处理。接下来介绍下Hive中是如何解析json数据的。 hive 解析 json 数据函数 1、get_json_object 语法：get_jso 阅读全文
摘要：
建表 create table temp.jc_t_test_map_array ( id int, name string, hobby array<string>, -- array中元素为string类型 friend map<string,string>, -- map中键和值均为strin 阅读全文
摘要：
场景 有木有发现工作中偶尔有些大量的null值或者一些无意义的数据参与到计算作业中，任务跑的贼慢，表中有大量的null值，如果表之间进行join关联操作，就会有shuffle产生，这样所有的null值都会集中在一个reduce中，会产生数据倾斜，降低作业效率。辣么我们该如何避免这种囧况呢，现在给大家 阅读全文
摘要：
nvl 和 coalesce 说明 nvl 和 coalesce 是 HSQL 中常用的 空值处理函数，今天给大家聊聊这两个函数的使用细节、 数据准备 先建表插入两条测试数据 create table temp.jc_test_coalesce_nvl ( c1 int, c2 int, c3 in 阅读全文