摘要：
linux之目录结构 一、目录树 目录 + 普通文件 linux操作系统没有文件扩展名称,添加后缀只是用于方便管理，根据文件内容判断文件类型。 二、常见目录 /：根目录,存放具有特定功能目录 /bin：binary 二进制（二进制可执行文件，命令） /dev：device 设备（设备目录） /hom 阅读全文
摘要：
Azkaban 第一节：简介 一、概念 Azkaban是一套简单的任务调度服务，整体包括三部分webserver、dbserver、executorserver。 Azkaban是linkin的开源项目，开发语言为Java。 Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一 阅读全文
摘要：
hbase之shell操作 hbase之shell操作（帮助命令） 进入hbase的客户端：安装过hbase的节点都可以 进入客户端命令：hbase shell hbase的客户端操作界面：hbase(main):001:0> 查看帮助命令：help 查询相关命令的帮助：help command c 阅读全文
摘要：
Spark中各个角色的JVM参数设置 Spark中各个角色的JVM参数设置： 1，Driver的JVM参数：-Xmx，-Xms，如果是yarn-client模式，则默认读取spark-env文件中的SPARK_DRIVER_MEMORY值，-Xmx，-Xms值一样大小；如果是yarn-cluster 阅读全文
摘要：
spark-submit 提交任务及参数说明 spark-submit 可以提交任务到 spark 集群执行，也可以提交到 hadoop 的 yarn 集群执行。 例子 一个最简单的例子，部署 spark standalone 模式后，提交到本地执行。 ./bin/spark-submit \ -- 阅读全文