打赏

随笔分类 -  Azkaban（第三方工作流）与Oozie（Hadoop内置工作流）、hadoop工作流（概念学习和搭建系列）

1 2 下一页
Error: IO_ERROR : java.io.IOException: Error while connecting Oozie server. No of retries = 5. Exception = Connection refused (Connection refused)解决办法（图文详解）
摘要：不多说，直接上干货！ 问题详情 解决办法 Copy/Paste oozie.services property tag set from oozie-default.xml to oozie-site.xml. Remove org.apache.oozie.service.KerberosHado 阅读全文
posted @ 2017-07-31 16:19 大数据和AI躺过的坑 阅读(3607) 评论(0) 推荐(0) 编辑
Execution of 'source /usr/hdp/current/oozie-server/conf/oozie--env.sh: oozie admin -oozie http://nssa-sensor3:11000/oozie -status' returned 255.解决办法（图文详解）
摘要：不多说，直接上干货！ 问题详情 解决办法 Copy/Paste oozie.services property tag set from oozie-default.xml to oozie-site.xml. Remove org.apache.oozie.service.KerberosHado 阅读全文
posted @ 2017-07-31 15:47 大数据和AI躺过的坑 阅读(794) 评论(0) 推荐(0) 编辑
azkaban-web-start.sh启动时出现Table 'execution_flows' is marked as crashed and should be repaired Query错误的解决办法（图文详解）
摘要：问题详情 问题分析 错误产生原因，有网友说是频繁查询和更新dede_archives表造成的索引错误，因为我的页面没有静态生成，而是动态页面，因此比较同意这种说法。 还有说法为是MYSQL数据库因为某种原因而受到了损坏，如：数据库服务器突发性的断电、在提在数据库表提供服务时对表的原文件进行某种操作都 阅读全文
posted @ 2017-07-26 09:42 大数据和AI躺过的坑 阅读(879) 评论(0) 推荐(0) 编辑
azkaban web ui界面出现异常诡异“丑”界面的问题解决（图文详解）
摘要：前期博客 启动azkaban时出现User xml file conf/azkaban-users.xml doesn't exist问题解决（图文详解） 问题详情 修改好之后，再次启动。 阅读全文
posted @ 2017-07-06 00:17 大数据和AI躺过的坑 阅读(4621) 评论(0) 推荐(1) 编辑
启动azkaban时出现User xml file conf/azkaban-users.xml doesn't exist问题解决（图文详解）
摘要：问题详情 先ctrl + c停止它， 然后，接着 方法一： 接着，出现，这界面怎么这么丑，跟平常不一样。 具体解决，见 azkaban web ui界面出现异常诡异“丑”界面的问题解决（图文详解） 欢迎大家，加入我的微信公众号：大数据躺过的坑 免费给分享 同时，大家可以关注我的个人博客： http: 阅读全文
posted @ 2017-07-06 00:12 大数据和AI躺过的坑 阅读(6714) 评论(2) 推荐(1) 编辑
oozie.log报提示：org.apache.oozie.service.ServiceException: E0104错误 An Admin needs to install the sharelib with oozie-setup.sh and issue the 'oozie admin' CLI command to update sharelib
摘要：不多说，直接上干货！ 问题详情 关于怎么启动oozie，我这里不多赘述。 Oozie的详细启动步骤（CDH版本的3节点集群） 然后，我在查看 时，报错提示，如下 问题分析 说白了，这个问题，就是 解决办法 得重新执行下面的命令，再来生成 然后，现在，/user/hadoop/下，有了 /user/h 阅读全文
posted @ 2017-05-09 18:09 大数据和AI躺过的坑 阅读(1116) 评论(0) 推荐(0) 编辑
Oozie的详细启动步骤（CDH版本的3节点集群）
摘要：不多说，直接上干货！ 我的机器情况是，bigdatamaster（Oozie是安装在这台节点上）、bigdataslave1和bigdatalsave2。 启动步骤 第一：先启动mysqld服务进程 因为，我的mysql是安装在/home/hadoop，在root用户下执行安装的。（当然，你也可以设 阅读全文
posted @ 2017-05-09 16:40 大数据和AI躺过的坑 阅读(3665) 评论(0) 推荐(0) 编辑
Oozie安装时放置Mysql驱动包的总结（网上最全）
摘要：不多说，直接上干货！ 对于在oozie里放置Mysql驱动包的总结 根据网上的参考以及我个人经验安装的使用 （1）放一份到$OOZIE_HOME/libext下 （是 mysql-connector-java-5.1.21.jar）（这里放到bigdatamaster节点） （2）放一份到$OOZI 阅读全文
posted @ 2017-05-09 16:06 大数据和AI躺过的坑 阅读(2447) 评论(0) 推荐(1) 编辑
Oozie时出现org.apache.oozie.service.ServiceException: E0103: Could not load service classes, Cannot load JDBC driver class 'com.mysql.jdbc.Driver'
摘要：不多说，直接上干货！ 问题详情 查看你的$OOZIE_HOME/logs 我的是/home/hadoop/app/oozie-4.1.0-cdh5.5.4/logs/oozie.log文件 [hadoop@bigdatamaster logs]$ cat oozie.log 解决办法 很多人刚开始安 阅读全文
posted @ 2017-05-09 10:58 大数据和AI躺过的坑 阅读(3331) 评论(1) 推荐(1) 编辑
Oozie时bin/oozied.sh start或bin/oozied.sh run出现Bootstrap进程无法启动，http://bigdatamaster:11000/oozie界面也无法打开？E0103: Could not load service classes, java.lang.ClassNotFoundException: Class org.apache.oozie.ser
摘要：不多说，直接上干货！ 问题详情 查看日志 解决办法 查看 [hadoop@bigdatamaster oozie-4.1.0-cdh5.5.4]$ ps aux | grep oozie|grep -v grep[hadoop@bigdatamaster oozie-4.1.0-cdh5.5.4]$ 阅读全文
posted @ 2017-05-08 22:21 大数据和AI躺过的坑 阅读(2726) 评论(0) 推荐(0) 编辑
Oozie时bin/oozied.sh start或bin/oozied.sh run出现Bootstrap进程无法启动，http://bigdatamaster:11000/oozie界面也无法打开？
摘要：不多说，直接上干货！ 问题详情 按照官网 Start Oozie as a daemon process run: To start Oozie as a foreground process run: Check the Oozie log file logs/oozie.log to ensur 阅读全文
posted @ 2017-05-08 21:22 大数据和AI躺过的坑 阅读(4089) 评论(3) 推荐(0) 编辑
Oozie时出现Caused by: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure？
摘要：不多说，直接上干货！ 问题详情 解决办法 分析1： 是否你是mysql服务进程么开启。 比如我的mysql是在root用户下安装的，且安装目录是在/home/hadoop下。当然大家可以将mysql服务进程设置为开机启动。 分析2：还有，是不是你的oozie用户下的主机，没有在数据库列表里。 因为， 阅读全文
posted @ 2017-05-08 20:31 大数据和AI躺过的坑 阅读(3069) 评论(0) 推荐(0) 编辑
Oozie时出现Exception in thread "main" java.lang.UnsupportedClassVersionError: com/mysql/jdbc/Driver : Unsupported major.minor version 52.0？
摘要：不多说，直接上干货！ 问题详情 解决办法 原因： 1、jdk7+老版5.0驱动com/mysql/jdbc/Driver （同时，多试试几个版本。mysql-connector-java-5.1.31-bin.jar 和 mysql-connector-java-5.1.21-bin.jar ） 2 阅读全文
posted @ 2017-05-08 20:27 大数据和AI躺过的坑 阅读(15723) 评论(0) 推荐(0) 编辑
CDH版本的oozie安装执行bin/oozie-setup.sh prepare-war，没生成oozie.war?
摘要：不多说，直接上干货！ 前期博客 Oozie安装部署 问题描述 解决办法 [hadoop@bigdatamaster bin]$ pwd /home/hadoop/app/oozie-4.1.0-cdh5.5.4/bin [hadoop@bigdatamaster bin]$ ./addtowar.s 阅读全文
posted @ 2017-05-08 15:52 大数据和AI躺过的坑 阅读(938) 评论(0) 推荐(0) 编辑
Hadoop调度框架
摘要：大数据协作框架是一个桐城，就是Hadoop2生态系统中几个辅助的Hadoop2.x框架。主要如下： 1，数据转换工具Sqoop 2，文件搜集框架Flume 3，任务调度框架Oozie 4，大数据Web工具Hue 任务调度框架 1，Linux Crontab 2，Azkaban –https://az 阅读全文
posted @ 2017-05-08 09:06 大数据和AI躺过的坑 阅读(1612) 评论(0) 推荐(0) 编辑
大数据搭建各个子项目时配置文件技巧（适合CentOS和Ubuntu系统）（博主推荐）
摘要：不多说，直接上干货！ 很多同行，也许都知道，对于我们大数据搭建而言，目前主流，分为Apache 和 Cloudera 和 Ambari。 后两者我不多说，是公司必备和大多数高校科研环境所必须的！ 分别，详情见我如下的博客 Cloudera安装搭建部署大数据集群（图文分五大步详解）（博主强烈推荐） A 阅读全文
posted @ 2017-05-06 09:17 大数据和AI躺过的坑 阅读(2893) 评论(0) 推荐(0) 编辑
Azkaban2.5安装部署（系统时区设置 + 安装和配置mysql + Azkaban Web Server 安装 + Azkaban Executor Server安装 + Azkaban web server插件安装 + Azkaban Executor Server 插件安装）（博主推荐）（五）
摘要：Azkaban是什么?（一） Azkaban的功能特点（二） Azkaban的架构（三） Hadoop工作流引擎之Azkaban与Oozie对比（四） 不多说，直接上干货！ http://www.cnblogs.com/zlslch/category/938837.html 准备这四个 Azkaba 阅读全文
posted @ 2017-01-18 12:07 大数据和AI躺过的坑 阅读(5226) 评论(0) 推荐(0) 编辑
Hadoop工作流引擎之Azkaban与Oozie对比（四）
摘要：Azkaban是什么?（一） Azkaban的功能特点（二） Azkaban的架构（三） 不多说，直接上干货！ http://www.cnblogs.com/zlslch/category/938837.html 目前，市面上最流行的两种Hadoop工作流引擎调度器Azkaban与Oozie。 具体 阅读全文
posted @ 2017-01-18 12:03 大数据和AI躺过的坑 阅读(17070) 评论(0) 推荐(1) 编辑
Azkaban的架构（三）
摘要：Azkaban是什么?（一） Azkaban的功能特点（二） 不多说，直接上干货！ http://www.cnblogs.com/zlslch/category/938837.html Azkaban的架构 Azkaban是一种类似于Oozie的工作流控制引擎，可以用来解决多个Hadoop（或Spa 阅读全文
posted @ 2017-01-18 11:49 大数据和AI躺过的坑 阅读(3031) 评论(0) 推荐(1) 编辑
Azkaban的功能特点（二）
摘要：Azkaban是什么?（一） 不多说，直接上干货！ http://www.cnblogs.com/zlslch/category/938837.html Azkaban的功能特点 它具有如下功能特点： 1、Web用户界面 2、方便上传工作流 3、方便设置任务之间的关系 4、工作流调度 5、认证/授权 阅读全文
posted @ 2017-01-18 11:21 大数据和AI躺过的坑 阅读(2988) 评论(0) 推荐(0) 编辑

1 2 下一页