地中有山 - 博客园

2020年4月30日

摘要： public class JavaDemo { public static void main(String[] args) throws ParseException { CallableDemo cd = new CallableDemo(); FutureTask<Long> task = n 阅读全文

posted @ 2020-04-30 16:32 地中有山阅读(265) 评论(0) 推荐(0) 编辑

多线程闭锁CountDownLatch

摘要：在下面的代码中，由于多线程并行的原因，可能主线程的耗时计算早就执行完了，而上面的线程还在打印，因此不能正确计算耗时时间。 public class JavaDemo { public static void main(String[] args) throws ParseException { lo 阅读全文

posted @ 2020-04-30 16:07 地中有山阅读(155) 评论(0) 推荐(0) 编辑

2020年4月28日

Flink 窗口 window

摘要：一、基本概念 1.窗口分类 TimeWindow：按照时间生成 Window。对于 TimeWindow，可以根据窗口实现原理的不同分成三类：滚动窗口（TumblingWindow）、滑动窗口（Sliding Window）和会话窗口（Session Window）。 CountWindow：按照指阅读全文

posted @ 2020-04-28 23:27 地中有山阅读(648) 评论(0) 推荐(0) 编辑

2020年4月26日

Shell 面试题

摘要： 1.使用Linux命令查询file.txt中空行所在的行号 awk '/^$/ {print NR}' file.txt 2.有文件chengji.txt内容如下:张三 40李四 50王五 60 使用Linux命令计算第二列的和并输出 [root@VM_0_8_centos data]# awk - 阅读全文

posted @ 2020-04-26 17:33 地中有山阅读(222) 评论(0) 推荐(0) 编辑

Shell工具 - sort

摘要：作用：对文本切割后，按照某列排序 1.选项参数选项说明 -n 依照数值的大小排序 -r 以相反的顺序来排序 -t 设置排序时所用的分隔字符 -k 指定需要排序的列 cut中的分隔符是 -d，awk中是 -F，sort中是 -t。 2.案例实操准备数据 [root@VM_0_8_centos d 阅读全文

posted @ 2020-04-26 16:41 地中有山阅读(142) 评论(0) 推荐(0) 编辑

2020年4月24日

Hive 调优（v1.2.1）

摘要：一、Fetch抓取 Fetch 抓取是指，Hive 中对某些情况的查询可以不必使用 MapReduce 计算。例如：SELECT * FROM employees;在这种情况下，Hive 可以简单地读取 employee 对应的存储目录下的文件，然后输出查询结果到控制台。在 hive-defaul 阅读全文

posted @ 2020-04-24 21:35 地中有山阅读(295) 评论(0) 推荐(0) 编辑

Shell工具 - awk

摘要：一个强大的文本分析工具，把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行分析处理。与cut类似，但功能更加强大。 1.基本用法 awk [选项参数] ‘pattern1{action1} pattern2{action2}...’ filename pattern：表示AWK在数据中阅读全文

posted @ 2020-04-24 15:40 地中有山阅读(214) 评论(0) 推荐(0) 编辑

Scala match模式匹配

摘要：一、简单匹配 1.基本语法匹配字面量①case _ ：默认匹配②如果没有匹配到任何case，则会抛出异常scala.MatchError③=>后如果有多个语句，可以加大括号，也可不加④模式匹配可以有返回值 def main(args: Array[String]): Unit = { val n1 阅读全文

posted @ 2020-04-24 14:24 地中有山阅读(1190) 评论(0) 推荐(0) 编辑

Scala 前置、中置、后置操作符

摘要： object OperatorDemo { def main(args: Array[String]): Unit = { val oper = new MyOper //普通调用方式 oper.unary_~ //前置调用，支持+、-、!、~ ~oper //unary_~... //中置调用 o 阅读全文

posted @ 2020-04-24 13:45 地中有山阅读(399) 评论(0) 推荐(0) 编辑

2020年4月23日

Shell工具 - sed

摘要：作用：对文件中的内容进行编辑，然后呈现，不改变原文件内容。选项参数选项参数功能 -e 直接在指令列模式上进行sed的动作编辑。命令功能命令功能描述 a 新增，a的后面可以接字串，在下一行出现 d 删除 s 查找并替换案例1：将“mei nv”这个单词插入到sed.txt第二行下，打印。阅读全文

posted @ 2020-04-23 15:57 地中有山阅读(118) 评论(0) 推荐(0) 编辑

IT备忘录

述而不作，信而好谷

公告