随笔分类 - Oozie
摘要：oozie提交workflow后执行task报错： 2019-07-04 17:19:00,559 ERROR [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: ERROR I
阅读全文
摘要：oozie默认使用的spark是1.6，一直没有升级，如果想用最新的2.4，需要自己手工升级 首先看当前使用的spark版本的jar # oozie admin -oozie http://$oozie_server:11000/oozie -shareliblist # oozie admin -
阅读全文
摘要：hue中使用hue用户（hue admin）访问hdfs报错： Cannot access: /. Note: you are a Hue admin but not a HDFS superuser, "hdfs" or part of HDFS supergroup, "supergroup".
阅读全文
摘要：oozie中通过shell执行impala，脚本如下： $ cat test_impala.sh #!/bin/sh /usr/bin/kinit -kt /tmp/impala.keytab impala/server04 /usr/bin/impala-shell -i server04:210
阅读全文
摘要：命令行 $ oozie help 1 导出环境变量 $ export OOZIE_URL=http://oozie_server:11000/oozie 否则都需要增加 -oozie 参数，比如 $ oozie jobs -oozie http://oozie_server:11000/oozie
阅读全文
摘要：官方文档如下： http://oozie.apache.org/docs/5.0.0/AG_OozieUpgrade.html 这里写的比较简单，大概过程如下：1 下载5.0代码并编译；2 解压5.0包并替换oozie-site.xml；3 停掉所有的流程；4 按照官方文档说的升级DB；5 重新启动
阅读全文
摘要：常见调度框架实现方式 开源 Oozie 成熟稳定可靠，可直接用于生产环境 Azkaban 单点、简单粗暴，有两套独立的调度实现，必须二次开发才可用 Airflow 代码以及流程配置都是python 自己封装 基于quartz单机 使用zk来做分布式控制 常用quartz+zk做调度系统 使用db心跳
阅读全文
摘要：通过oozie job id可以查看流程详细信息，命令如下： oozie job -info 0012077-180830142722522-oozie-hado-W 流程详细信息如下： Job ID : 0012077-180830142722522-oozie-hado-W Workflow N
阅读全文
摘要：spark任务添加依赖的方式： 1 如果是local方式运行，可以通过--jars来添加依赖； 2 如果是yarn方式运行，可以通过spark.yarn.jars来添加依赖； 这两种方式在oozie上都行不通，首先oozie上没办法也不应该通过local运行，其次通过spark.yarn.jars方
阅读全文
摘要：oozie中支持很多的action类型，比如spark、hive，对应的标签为： <spark xmlns="uri:oozie:spark-action:0.1"> ... oozie中sharelib用于存放每个action类型需要的依赖，可以查看当前所有的action类型以及每个action类
阅读全文
摘要：概括 Azkaban是一个非常轻量的开源调度框架，适合二次开发，但是无法直接用于生产环境，存在致命缺陷（比如AzkabanWebServer是单点，1年多时间没有修复），在一些情景下的行为简单粗暴（比如重启AzkabanExecutorServer会导致该server上正在运行的所有流程fail），
阅读全文
摘要：Oozie4.3 一 简介 1 官网 http://oozie.apache.org/ Apache Oozie Workflow Scheduler for Hadoop Hadoop生态的工作流调度器 Overview Oozie is a workflow scheduler system t
阅读全文
