摘要:
1.配置邮件请在azkaban-web-server中进行配置:如下图: /opt/azkaban/azkaban/azkaban-web-server/build/install/azkaban-web-server/conf 注意: 邮件服务器和接受邮件对像使用了QQ邮箱。azkaban可能不支 阅读全文
摘要:
#hivef.jobtype=commandcommand=hive -f test.sql #test.sql use default;drop table aztest;create table aztest(id int,name string) row format delimited fi 阅读全文
摘要:
编译源码 下载azkaban源码 git clone https://github.com/azkaban/azkaban.git jdk要求是1.8以上版本 export JAVA_HOME=/home/work/app/presto-admin/package/jdk1.8.0_74 expor 阅读全文
摘要:
步骤7:使用向导设置群集 完成“ 群集安装”向导后,“ 群集设置”向导将自动启动。以下部分将指导您完成向导的每个页面: 选择服务 分配角色 设置数据库 查看更改 首次运行命令 恭喜! 完成“ 群集安装”向导后,“ 群集设置”向导将自动启动。以下部分将指导您完成向导的每个页面: 选择服务 分配角色 设 阅读全文
摘要:
步骤5:设置Cloudera Manager数据库 Cloudera Manager Server包含一个可以为自己创建和配置数据库的脚本。该脚本可以: 创建Cloudera Manager Server数据库配置文件。 (MariaDB,MySQL和PostgreSQL)为Cloudera Man 阅读全文
摘要:
第6步:安装CDH和其他软件 设置Cloudera Manager数据库后,启动Cloudera Manager Server,然后登录Cloudera Manager Admin Console: 启动Cloudera Manager Server: RHEL 7兼容: sudo systemct 阅读全文
摘要:
为Cloudera Software安装和配置MySQL 要使用MySQL数据库,请按照以下过程操作。有关MySQL数据库兼容版本的信息,请参阅CDH和Cloudera Manager支持的数据库。 安装MySQL服务器 配置和启动MySQL服务器 安装MySQL JDBC驱动程序 为Clouder 阅读全文
摘要:
第2步:安装Java Development Kit 要安装Oracle JDK,您可以使用Cloudera Manager安装Cloudera提供的版本,也可以直接安装Oracle的其他版本。 继续阅读: 要求 使用Cloudera Manager安装JDK 手动安装JDK 要安装Oracle J 阅读全文
摘要:
第3步:安装Cloudera Manager Server 在此步骤中,您将在Cloudera Manager主机上安装JDK和Cloudera Manager Server软件包。 在此步骤中,您将在Cloudera Manager主机上安装JDK和Cloudera Manager Server软 阅读全文
摘要:
安装Cloudera Manager,CDH和托管服务 建议使用此过程为生产环境安装Cloudera Manager和CDH。对于非生产“易于安装”,请参阅安装概念证明群集。 在开始安装之前,请确保已查看“ 安装前”中所述的要求和其他注意事项。 安装过程的一般步骤如下: 第1步:配置存储库 第2步: 阅读全文
摘要:
步骤1:为Cloudera Manager配置存储库 使用包管理工具安装Cloudera Manager yum 对于RHEL兼容系统, zypper对于SLES,和 apt-get对于Ubuntu。这些工具依赖于对存储库的访问来安装软件。Cloudera为CDH和Cloudera Manager安 阅读全文
摘要:
使用Cloudera Manager模板创建CDH群集 您可以通过从Cloudera Manager管理的现有CDH群集导出群集模板来创建新的CDH群集。然后,您可以修改模板并使用它在新的主机集上创建具有相同配置的新集群。使用群集模板: 用于开发人员,测试和生产环境的重复群集。 快速为特定工作负载创 阅读全文
摘要:
配置单用户模式 在传统的Cloudera Manager部署中,管理每台主机上的Hadoop进程的Cloudera Manager Agent以root用户身份运行。但是,某些环境会限制对root帐户的访问。 Cloudera Manager 5.3及更高版本提供单用户模式,满足此类环境的要求。在单 阅读全文
摘要:
配置自定义Java主目录位置 注意: Cloudera强烈建议安装JDK/ usr / java / jdk-version,允许Cloudera Manager自动检测并使用正确的JDK版本。如果在其他任何位置安装JDK,则必须按照这些说明使用所选位置配置Cloudera Manager。以下过程 阅读全文
摘要:
创建群集主机的虚拟映像 您可以使用预先部署的Cloudera软件创建虚拟机映像,例如PXE启动映像,Amazon AMI和Azure VM映像,这些映像可用于快速启动虚拟机。这些图像使用parcel来安装CDH软件。本主题描述了创建Cloudera Manager主机和工作主机映像的过程以及如何从这 阅读全文
摘要:
本主题描述如何在Cloudera Manager部署中创建内部包存储库和直接主机以使用该存储库。您可以创建永久或临时存储库。 完成这些步骤后,您可以安装特定版本的Cloudera Manager或在未连接到Internet的主机上安装Cloudera Manager。 继续阅读: 创建永久内部存储库 阅读全文
摘要:
使用内部包裹存储库 您可以通过托管内部存储库或手动将存储库文件复制到Cloudera Manager主机来为Cloudera Manager创建parcel存储库。 继续阅读: 托管内部包裹存储库 配置Cloudera Manager Server以使用托管存储库的宗地URL 使用本地包裹存储库 您 阅读全文
摘要:
Cloudera托管两种类型的软件存储库,您可以使用它们来安装诸如Cloudera Manager或CDH-parcel存储库和软件包存储库之类的产品。 在大多数情况下,这些存储库是有效的解决方案,但有时需要自定义安装解决方案。使用Cloudera托管的软件存储库需要通过Internet进行客户端访 阅读全文
摘要:
Apache Flume和Apache Solr使用的端口 Apache Flume用于与Apache Solr通信的端口可能会有所不同,具体取决于您的配置以及是否使用安全性(例如,SSL)。使用Flume写入HDFS和Solr接收器的典型群集使用下面列出的端口: 端口描述 41414 HTTP端口 阅读全文
摘要:
推荐的群集主机和角色分配 要点:本主题描述了Cloudera Manager管理的CDH群集的建议角色分配。您为部署选择的实际分配可能会有所不同,具体取决于工作负载的类型和数量,群集中部署的服务,硬件资源,配置和其他因素。 使用Cloudera Manager安装向导安装CDH时,Cloudera 阅读全文