03 2020 档案
摘要:最近对presto进行了升级,目前最新版本是0.233,我们用的是0.177。 升级之前参考了一下别人的博客,在官网没有找到关于升级的消息 其中博客主要参考是:https://www.jianshu.com/p/caf14b656107 思路是采取的这个,但是方法不是这样的 1.准备包(三个节点上都
阅读全文
摘要:今天测试的airflow的web界面开始不正常报错例如这种情况 参考的小伙伴注意要看清楚前提,是我们的airflow本来运行的好好的,突然不行了,不是好没有搭建起来就这样。(如果你是没有搭建好报这个错,基本上是你的web没弄好) 或者出现这种突然所有的任务代码都不在了的情况,时好时坏 去排查日志发现
阅读全文
摘要:Airflow本身是一个综合平台,它兼容多种组件,所以在使用的时候有多种方案可以选择。比如最关键的执行器就有四种选择: SequentialExecutor:单进程顺序执行任务,默认执行器,通常只用于测试 LocalExecutor:多进程本地执行任务 CeleryExecutor:分布式调度,生产
阅读全文
摘要:网上有很多关于dashboard的部署,但是可能是时间太久远了,yaml文件运行之后不是镜像拉不下来就是各种运行报错,经过了多番尝试,我找到了一个比较合适的yaml分享给大家。 这个dashboard的namespace是用的kubernetes-dashboard,如果你你想改成kube-syst
阅读全文