02 2022 档案
摘要：需求 平时工作中经常会遇到取某某指标第 n 个的需求，今天介绍下取 这样需求的两种思路 数据准备 select *from temp_shop_info where shop_id = '111'; 111 1 90 111 2 80 111 3 50 111 4 70 111 5 20 111 6
阅读全文
摘要：translate()这个函数工作中偶尔会用到，但是每次用都要忘记了改怎么使用，今天抽时间就彻底梳理一下该函数的使用时的一些细节。 官方解释 desc function extended translate; translate(input, from, to) - translates the i
阅读全文
摘要：问题描述 集群默认计算引擎是 hive ，这两天自己试了一下 hive on spark 发现一个奇怪现象，首先 hive 引擎中文做简单查询或者聚合查询都正常，使用 spark 引擎简单查一个表的中文字段也没事，但是只要对 中文字段进行 group by 操作就乱码了 问题解决 在开启 spark
阅读全文
摘要：需求 有一个字段有字母和数字组成，现要将字母和数字进行分离； portyarn8088manager porthdfs9820filse porthive10000query 要求输出结果 portyarn8088manager portyarnmanager 8088 porthdfs9820fi
阅读全文
摘要：Environment Flink 可以在各种上下文环境中执行，不同的环境，代码提交的过程有所不同。这就要求在提交作业执行计算时，首先必须获取当前Flink的运行环境，从而建立起与Flink框架之间的联系，只有获取了上下文环境信息，才能将具体的任务调度到不同的TaskManager上执行。 1、创建
阅读全文
摘要：需求 现需要返回每本小说的的iD,书名、评分，以及下一个比当前小说高和低的评分值。如果没有找到更高或更低的评分值，你希望结果集可以“折回”（第一个 score 的前一行是最后一个score；反之，最后一个 score 的下一行即是第一个 scoe）。你希望返回如下所示的结果集。 id name sc
阅读全文
摘要：pom.xml <properties> <flink.version>1.13.0</flink.version> <java.version>1.8</java.version> <scala.binary.version>2.12</scala.binary.version> <slf4j.v
阅读全文
摘要：需求 日志表中有如下数据 film:[non_marked]qq:[unit]tailpipe:[withabanana?]80sxxxxx call:[F_GET_ROWS()]b1:[ROSEWOOD...SIR]b2:[44400002]77.90xxxxx xxxxxabc[867]xxx[
阅读全文
摘要：报错 说是 hdfs 还处于安全模式 解决 hdfs dfsadmin -safemode leave 观察 hiveserver2 已正常 补充 hdfs 安全模式几个命令 hdfs dfsadmin -safemode get （功能描述：查看安全模式状态） hdfs dfsadmin -saf
阅读全文
摘要：需求 有一下 json 数组，要求获取其 key [{"title":"笑傲江湖","author":"金庸"},{"title":"流星蝴蝶剑","author":"古龙"}] 需求实现 1、首先将 json 数组转换为 字符串 ；这里使用 字符串替换函数 translate select tra
阅读全文
摘要：需求 id 是上表temp_id_list_0209的主键， 表每一行包含日志表中的一个 ID，现将一些 ID 从 Logs 表中删除。编写一个 SQL 查询得到 Logs 表中的连续区间的开始数字和结束数字，将查询表按照 start_id 排序。 要求输出结果为 start_id end_id 1
阅读全文
摘要：需求 已知用户行为表 temp_actions_log， 大概字段有：(user_id 用户编号, op_id 操作编号, op_time 操作时间) 要求 统计每天符合以下条件的用户数：A操作之后是B操作，AB操作必须相邻。 统计用户行为序列为A-B-D的用户数 其中:A-B之间可以有任何其他浏览
阅读全文
摘要：一、Flink 简介 Flink起源于Stratosphere项目，Stratosphere是在2010~2014年由3所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目，2014年4月Stratosphere的代码被复制并捐赠给了Apache软件基金会，参加这个孵化项目的初始成员是Strat
阅读全文
摘要：需求 有一个表存放在数字ID，要求输出连续段的最后一个id及每段的个数； 数据准备 create table temp_id_list_0209 ( id int ) row format delimited fields terminated by '\t' stored as orc tblpr
阅读全文
摘要：日期 20220209 场景 由于习惯使用 locate 查找文件，今天在主机上找文件的时候使用 locate 报错了，提示命令找不到：如下 locate my.cnf -bash: locate: command not found 解决 安装 mlocate sudo yum -y instal
阅读全文
摘要：需求 给定一个表，包含三个字段；sid 学生ID，score 课程分数,cid 课程ID ，求不及格课程数大于2的学生的平均成绩及其成绩平均值后所在的排名 数据准备 create table scores_info_0208 ( sid int, score int, cid int ) row f
阅读全文
摘要：今天整理下最近使用flume 案例一：过滤非JSON数据 使用 flume 监控日志文件传到 kafka,由于业务需要只需要将日志里的 json 数据发送到 Kafka 即可，非 json 数据直接进行过滤。 1、pom.xml <build> <plugins> <plugin> <groupId
阅读全文
摘要：需求 向用户 user_id = 1 推荐其关注的人喜欢的音乐 有如下三个表 1、用户关注表 user_id follow_id 1 7 1 5 1 4 1 3 2、collect_movies user_id movice_id 1 1001 1 1004 1 1002 3 1001 3 1005
阅读全文
摘要：需求描述 字段：店铺(shop_id),销量(sale),商品id(commodity_id)，求每个店铺商品销量排名的中位数 数据准备 use default; create table temp_shop_info ( shop_id string, commodity_id string, s
阅读全文
摘要：字符串模糊匹配在工作中经常会用到，下面我们来看下常用的字符串匹配的实现方式 方案一 like like 经常用于字符串模糊匹配：语法简单，直接过滤出来满足条件的记录，下面我们取一下地市码表，匹配地市名称带有 阳 的地市名称 select area_desc from temp.dim_area wh
阅读全文
