滴水穿石不是靠力，而是因为不舍昼夜。

摘要： 一、Flink 简介 Flink起源于Stratosphere项目，Stratosphere是在2010~2014年由3所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目，2014年4月Stratosphere的代码被复制并捐赠给了Apache软件基金会，参加这个孵化项目的初始成员是Strat 阅读全文

摘要： 需求 有一个表存放在数字ID，要求输出连续段的最后一个id及每段的个数； 数据准备 create table temp_id_list_0209 ( id int ) row format delimited fields terminated by '\t' stored as orc tblpr 阅读全文

摘要： 日期 20220209 场景 由于习惯使用 locate 查找文件，今天在主机上找文件的时候使用 locate 报错了，提示命令找不到：如下 locate my.cnf -bash: locate: command not found 解决 安装 mlocate sudo yum -y instal 阅读全文

摘要： 需求 给定一个表，包含三个字段；sid 学生ID，score 课程分数,cid 课程ID ，求不及格课程数大于2的学生的平均成绩及其成绩平均值后所在的排名 数据准备 create table scores_info_0208 ( sid int, score int, cid int ) row f 阅读全文

摘要： 今天整理下最近使用flume 案例一：过滤非JSON数据 使用 flume 监控日志文件传到 kafka,由于业务需要只需要将日志里的 json 数据发送到 Kafka 即可，非 json 数据直接进行过滤。 1、pom.xml <build> <plugins> <plugin> <groupId 阅读全文

摘要： 需求 向用户 user_id = 1 推荐其关注的人喜欢的音乐 有如下三个表 1、用户关注表 user_id follow_id 1 7 1 5 1 4 1 3 2、collect_movies user_id movice_id 1 1001 1 1004 1 1002 3 1001 3 1005 阅读全文

摘要： 需求描述 字段：店铺(shop_id),销量(sale),商品id(commodity_id)，求每个店铺商品销量排名的中位数 数据准备 use default; create table temp_shop_info ( shop_id string, commodity_id string, s 阅读全文

摘要： 字符串模糊匹配在工作中经常会用到，下面我们来看下常用的字符串匹配的实现方式 方案一 like like 经常用于字符串模糊匹配：语法简单，直接过滤出来满足条件的记录，下面我们取一下地市码表，匹配地市名称带有 阳 的地市名称 select area_desc from temp.dim_area wh 阅读全文

摘要： 如图：这一段时间每次要打包的时候就找不到 maven 对话框，好气呀 下面介绍一个快捷键 Ctrl+Shift+A 然后在弹出的框框里输入 maven 再回车 即可 阅读全文

摘要： json是常见的一种数据格式，一般通过埋点程序获取行为用户行为数据，将多个字段存放在一个json数组中，因此数据平台调用数据时，要对json数据进行解析处理。接下来介绍下Hive中是如何解析json数据的。 hive 解析 json 数据函数 1、get_json_object 语法：get_jso 阅读全文