摘要： echo 3 > /proc/sys/vm/drop_caches 记一次 经常用 exp 导出oracle全量数据库，发现linux内存一直在减小没有释放，即使 oracle重启也不行，只有重新启动linux系统才可以。 查看 free 发现 cache过大 ， 那么用上述命令即可 释放所有的缓存 阅读全文

摘要： java ssh远程服务器并执行多条命令 import java.io.BufferedReader; import java.io.IOException; import java.io.InputStream; import java.io.InputStreamReader; import j 阅读全文

摘要： 正常来说java调用shell命令就是用 String[] cmdAry = new String[]{"/bin/bash","-c",cmd} Runtime.getRuntime().exec(cmdAry); 实际上就是创建个子进程去执行这个命令。 问题来了： 如果我执行下面这句命令 exp 阅读全文

摘要： kafka的事务指的是2个点 ① 生产者到kafka服务端的事务保障 ②消费者从kafka拉取数据的事务 kafka提供的事务机制是 第①点， 对于第②点来说 只能自己在消费端实现幂等性。 我们来介绍第①点， 因为生产者producer写到kafka可能会出现消息重复，比如 设置ack=all，写入 阅读全文

摘要： 做过Linux运维的朋友都知道，我们一般很少直接与服务器接触。都是通过终端来连接处理一些事物。 本人常用的终端有图形界面的是vnc viewer还有命令行界面xshell，当然各有千秋，喜欢使用哪个都可以。 下面简单介绍一下，使用vncserver 连接Linux的操作步骤。 1.Linux安装 v 阅读全文

摘要： Spark分区数、task数目、core数目、worker节点数目、executor数目梳理 spark隐式创建由操作组成的逻辑上的有向无环图。驱动器执行时，它会把这个逻辑图转换为物理执行计划，然后将逻辑计划转换为一系列的步骤（stage），每个步骤由多个任务组成。 步骤组成任务、数据组成任务。所以 阅读全文

摘要： 在SparkConf上设置的属性具有最高的优先级，其次是传递给spark-submit或者spark-shell的属性值，最后是spark-defaults.conf文件中的属性值 阅读全文

摘要： 有时候第一次执行 spark submit --master local[*] 单机模式的时候，可以对linux本地路径进行输出。但是有时候提交到yarn的时候，是自动加上hdfs的路径这没问题， 但是接下来在执行 local模式的时候 出现问题了，本地绝对路径也自动加上了hdfs://的前缀。 那 阅读全文

摘要： groupingComparator是对reduce输入的数据进行分组，比如 public int compare(WritableComparable a, WritableComparable b) { OrderJoin a1 = (OrderJoin) a; OrderJoin b1 = ( 阅读全文

摘要： MapTask: 首先经过 FileInputFormat 判断该文件是否要进行切片，如果是我们自定义的FileInputFormat基本上重写isSplit方法返回为false表示不进行切片，那么就是直接输入这个文件作为RecordReader读取的对象，RecordReader的nextKeyV 阅读全文