摘要:
Superset version 1.8.5 # Install superset pip install cairocffi pip install superset yum install gcc-c++ python-devel.x86_64 cyrus-sasl-devel.x86_64 修 阅读全文
摘要:
{ "rootGroups": [ { "name": "global", "softMemoryLimit": "80%", "maxRunning": 100, "maxQueued": 1000, "schedulingPolicy": "weighted", "jmxExport": true, ... 阅读全文
摘要:
HBase PerformanceEvaluation: hbase pe --table=htest --nomapred --rows=20000 --presplit=100 randomWrite 100 Yahoo Cloud Serving Benchmark ./ycsb load h 阅读全文
摘要:
配置项 配置说明 storm.zookeeper.servers ZooKeeper服务器列表 storm.zookeeper.port ZooKeeper连接端口 storm.local.dir storm使用的本地文件系统目录(必须存在并且storm进程可读写) storm.cluster.mode Storm集群运行模式([distributed|local]) ... 阅读全文
摘要:
Capacity 调度器配置 加载配置文件 Root QueueA A1, A2 |-- QueueB B1, B2 |-- QueueC C1, C2 队列 队列访问权限控制 层级队列Capacity管理 队列A1不能超过父队列queueA的40%的资源。 队列的状态 应用程序限制 阅读全文
摘要:
Scala操作MongoDB 阅读全文
摘要:
安装 1.安装准备工作: 下载的sqoop安装包 http://mirrors.hust.edu.cn/apache/sqoop/1.99.6/sqoop-1.99.6.tar.gz 2.解压文件到工作目录: hadoop@hadoopMaster:$ sudo tar -xvf /opt/hn/h 阅读全文
摘要:
ZkClient 创建一个ZkClient实例 读取数据 写入数据 创建节点 删除节点 查询节点 订阅事件 zkclient的强大之处不在于基本zookeeper api操作,而在于事件监听机制,也就是zookeeper的watches。 Zookeeper的watcher在使用上存在一次性、ses 阅读全文
摘要:
Kafka 新建Topic 查看已存在Topic列表 查看指定Topic状态 启动Consumer读取消息并输出到标准输出 运行Producer并将Terminal输入的消息发送到服务端 性能测试 Zookeeper 启动ZK服务 查看ZK服务状态 停止ZK服务 重启ZK服务 连接服务器 查看根目录 阅读全文
摘要:
import org.apache.hadoop.conf.{Configuration, Configured}; import org.apache.hadoop.util.{ToolRunner, Tool}; import org.apache.hadoop.fs.Path; import org.apache.hadoop.mapreduce.lib.output.FileOutput... 阅读全文