摘要:
需求 给定一个表,包含三个字段;sid 学生ID,score 课程分数,cid 课程ID ,求不及格课程数大于2的学生的平均成绩及其成绩平均值后所在的排名 数据准备 create table scores_info_0208 ( sid int, score int, cid int ) row f 阅读全文
摘要:
今天整理下最近使用flume 案例一:过滤非JSON数据 使用 flume 监控日志文件传到 kafka,由于业务需要只需要将日志里的 json 数据发送到 Kafka 即可,非 json 数据直接进行过滤。 1、pom.xml <build> <plugins> <plugin> <groupId 阅读全文
摘要:
需求 向用户 user_id = 1 推荐其关注的人喜欢的音乐 有如下三个表 1、用户关注表 user_id follow_id 1 7 1 5 1 4 1 3 2、collect_movies user_id movice_id 1 1001 1 1004 1 1002 3 1001 3 1005 阅读全文
摘要:
需求描述 字段:店铺(shop_id),销量(sale),商品id(commodity_id),求每个店铺商品销量排名的中位数 数据准备 use default; create table temp_shop_info ( shop_id string, commodity_id string, s 阅读全文
摘要:
字符串模糊匹配在工作中经常会用到,下面我们来看下常用的字符串匹配的实现方式 方案一 like like 经常用于字符串模糊匹配:语法简单,直接过滤出来满足条件的记录,下面我们取一下地市码表,匹配地市名称带有 阳 的地市名称 select area_desc from temp.dim_area wh 阅读全文
摘要:
如图:这一段时间每次要打包的时候就找不到 maven 对话框,好气呀 下面介绍一个快捷键 Ctrl+Shift+A 然后在弹出的框框里输入 maven 再回车 即可 阅读全文
摘要:
json是常见的一种数据格式,一般通过埋点程序获取行为用户行为数据,将多个字段存放在一个json数组中,因此数据平台调用数据时,要对json数据进行解析处理。接下来介绍下Hive中是如何解析json数据的。 hive 解析 json 数据函数 1、get_json_object 语法:get_jso 阅读全文
摘要:
建表 create table temp.jc_t_test_map_array ( id int, name string, hobby array<string>, -- array中元素为string类型 friend map<string,string>, -- map中键和值均为strin 阅读全文
摘要:
场景 有木有发现工作中偶尔有些大量的null值或者一些无意义的数据参与到计算作业中,任务跑的贼慢,表中有大量的null值,如果表之间进行join关联操作,就会有shuffle产生,这样所有的null值都会集中在一个reduce中,会产生数据倾斜,降低作业效率。辣么我们该如何避免这种囧况呢,现在给大家 阅读全文
摘要:
nvl 和 coalesce 说明 nvl 和 coalesce 是 HSQL 中常用的 空值处理函数,今天给大家聊聊这两个函数的使用细节、 数据准备 先建表插入两条测试数据 create table temp.jc_test_coalesce_nvl ( c1 int, c2 int, c3 in 阅读全文