摘要：
描述 本文给出oozie调度hive的一些解释和配置demo,其中hive01是该配置的目录,其中job.properties、workflow.xml都放在该目录下，该目录还有一个子目录为script，这个子目录存放的是sql脚本，运行该程序需要用到hive-site.xml 配置文件 job.p 阅读全文
摘要：
问题描述 需要删除hive的数据库，直接使用drop database dbname;提示 Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. InvalidOperationException(me 阅读全文
摘要：
oozie使用ssh远程执行shell 配置文件 job.properties # 集群参数 #nameNode地址 nameNode=hdfs://node1:8020 #resourceManager地址 jobTracker=node1:8032 #oozie队列 这个属性一般不做修改 que 阅读全文
摘要：
问题1 问题描述： Cloudera Manager Agent(node6) 的 Parcel 目录位于可用空间小于 5.0 吉字节 的文件系统上。 /opt/cloudera/parcels（可用：2.5 吉字节 (6.34%)，容量：39.2 吉字节） 原因： node6上/opt/cloud 阅读全文
摘要：
Databricks Scala 编程风格指南 版本 V1.0.0 scala语法 scala语法不是我们这片文档的重点，如果不知道或不熟悉scala语法的请参考www.runoob.com、scala-lang.org、github.com、spark.apache.org 声明 (Disclai 阅读全文
摘要：
前言 我们可选择的工作流调度器有很多种，比如crontab、azkaban、oozie crontab：linux自带定时器，没有web界面 ，不利于监控任务和调度任务 azkaban：开源项目，key/value配置对，操作简单，带web界面 oozie：apache项目，xml配置文件，操作稍微 阅读全文
摘要：
问题描述 spark读取配置文件读取成功后，rdd中未拿到配置文件的值(executor未拿到配置文件的值，但是driver有这个值) 解决方案 将所需要的对象通过广播发送到各个executor code: object BroadcastDemo { var c1 = 0 var c2 = 0 d 阅读全文
摘要：
CM5 & CDH(5.13.x) 离线安装 概述 CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境 阅读全文
摘要：
描述 如何设计redis的数据结构，使用redis存储多级关系并快速查询 假设:市是最后一级单位(如果是区县也同理) 1).查询全国的数据? 2).查询四川省的数据? 3).查询成都市的数据？ 方案 方案1： 将“context_prefix_国家_省_市”作为key,value保存我们要查询的数据 阅读全文
摘要：
描述 crontab 执行 nohup java -jar xxx.jar>/dev/null 2>&1 &无法正常执行启动 原因 crontab默认只加载/ect/environment配置文件，未加载/etc/profile配置文件 解决方案 方案1： 用绝对路径去启动命令 nohup /usr 阅读全文