摘要： #!/bin/bash current1=`date "+%Y-%m-%d %H:%M:%S"` start_time=`date -d "$current1" +%s` sleep 5s current2=`date "+%Y-%m-%d %H:%M:%S"` end_time=`date -d 阅读全文

摘要： #COMMAND="hive -i settings/load-${SCHEMA_TYPE}.sql -f ddl-tpch/bin_${SCHEMA_TYPE}/${t}.sql \ # -d DB=${DATABASE} \ # -d SOURCE=tpch_text_${SCALE} -d B 阅读全文

摘要： 转载 https://blog.csdn.net/Dax1n/article/details/80822755 1 、hivevar与hiveconf的区别：命名空间 使用权限 详细描述hivevar rw 用户自定义变量hiveconf rw hive相关配置属性system rw java定义的 阅读全文

摘要： 转载 https://www.cnblogs.com/barneywill/p/10628108.html 用户提交任务到yarn时有可能遇到下面的错误： 1） Requested user anything is not whitelisted and has id 980,which is be 阅读全文

摘要： 转载：https://www.cnblogs.com/jybky/p/11909880.html 客户端就是调用方， routes路由匹配客户端的请求规则。匹配成功后分配到service层。一个路由指向一个service，一个service可以被多个不通规则的路由routes指向。 访问地址是kon 阅读全文

摘要： 转载 https://blog.csdn.net/zg_hover/article/details/87592060 概述flink中支持多种窗口，包括：时间窗口，session窗口，count窗口等，本文简单介绍这些窗口的原理，并通过例子说明如何使用这些窗口。 时间窗口(Time Windows) 阅读全文

摘要： 参考 https://www.cnblogs.com/sparkdev/p/10427049.html 常用命令：iostat -d sdb1 -m -t 2 2表示每隔2s显示，连续输出 iostat -d sdb1 -m -t 2 -x -x显示更多指标 阅读全文

摘要： 效率最高 grep -n "" 文件名 | awk -F: '{print $1}'|tail -n1 阅读全文

摘要： linux debian系统可以直接apt方式安装 常用的fio命令： 随机读写、读写混合 fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=/dev/sdb --bs=4k 阅读全文

摘要： 转载：https://jishuin.proginn.com/p/763bfbd3ad3d 前面我们讲过 9张图详解Yarn的工作机制，惊艳阿里面试官，今天就来讲讲提交 Spark 作业的流程。 Spark 有多种部署模式，Standalone、Apache Mesos、Kubernetes、Yar 阅读全文