摘要:
hbase asynchbase 异步API kerberos认证 阅读全文
摘要:
最近在集群中执行调度任务,或者是 在集群中执行 hadoop distcp 命令都会报这样的问题。 java.io.IOException: Can't get Master Kerberos principal for use as renewer- at org.apache.hadoop.ma 阅读全文
摘要:
最近的项目还是用的老的kafka版本(0.8),用spark 接数据的时候,如果spark 程序意外重启,重启时间内的kafka数据会丢失。我们需要实现最少消费一次,数据重复没有关系。但不能允许丢失数据。 在 Spark Streaming 中消费 Kafka 数据的时候,有两种方式分别是 1)基于 阅读全文
摘要:
最近用到spark 接kafka数据落到kudu里,如果用默认spark 参数,会出现一些问题,下面是在生产上调优后的一些参数,供参考 //推测执行spark.locality.wait=2sspark.speculation=truespark.speculation.interval=300ss 阅读全文
摘要:
CallQueueTooBigException 异常一般出现在RPC服务中,由RpcServer.java知DEFAULT_MAX_CALLQUEUE_SIZE = 1024 * 1024 * 1024;,即若hbase.ipc.server.max.callqueue.size未设置的话,值默认 阅读全文
摘要:
hive 阅读全文
摘要:
如果是新搭的CDH 集群并使用默认的kudu设置, 使用spark /java 连接kudu时候,一般都会碰到此类异常。 程序: 异常信息: java.lang.RuntimeException: Could not deserialize the response, incompatible RP 阅读全文
摘要:
近些日子需要研究大数据调度平台azkaban源码, 发现只有 linux运行的脚本,也没有windows下面的脚本,下面是怎么搭建IEDA /eclipse debug运行环境步骤。其实也挺简单的,我整理了下,方便初学者快速上手调试 ,希望可以帮助到大家。 1. 下载azkaban 源码 ,并按文档 阅读全文