摘要:
问题现象 在作业提交比较多的时候,集群资源还有剩余,但是分配跟不上,导致peeding比较多,peeding时间长达10分钟。 调优方法 1.开启批量分配资源功能,在小任务多的时候能提高吞吐量。 2.限制一次批量分配数量。默认没有限制,会导致节点计算资源不均衡,部分节点把所有的vcore都分配了,而 阅读全文
摘要:
安装 下载安装包 presto官网:https://prestodb.io/ presto-server下载连接:https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.248/presto-server-0.248.ta 阅读全文
摘要:
shell expect 一个自动化交互的软件,常用场景:在回车后需要输出一些内容 批量传输文件,批量远程命令执行,修改密码,安装软件 一、安装 expect程序 yum -y install expect 二、expect 变量 1、赋值变量 set 变量名 变量值 set ip 192.168. 阅读全文