摘要：最近，公司生产集群添加kerberos安全认证后，访问集群的任何组件都需要进行认证，这样问题来了，对于impala，未配置kerberos安全认证之前通过impala的jdbc驱动(impala-jdbc)，配置连接字符串是可以正常访问的，但是开启了kerberos后，impala访问报错，经过阅阅读全文

posted @ 2017-02-22 00:50 呵呵鱼阅读(9731) 评论(0) 推荐(0) 编辑

复制本地文件到HDFS本地测试异常

摘要：拷贝本地文件到hdfs调试异常阅读全文

posted @ 2016-11-13 15:49 呵呵鱼阅读(3906) 评论(0) 推荐(1) 编辑

spark 运行问题记录

摘要：在CDH5.5.2上运行spark1.5的程序，运行起来就直接shutdown，并报出如下的异常： INFO YarnClientSchedulerBackend: SchedulerBackend is ready for scheduling beginning after waiting ma 阅读全文

posted @ 2016-05-24 00:34 呵呵鱼阅读(11207) 评论(0) 推荐(0) 编辑

Scala中Iterator允许执行一次

摘要：背景使用spark执行mapPartitionsWithIndex((index,iterator)=>{....})，在执行体中将iterator进行一次迭代后，再次根据iterator执行迭代，iterator迭代体未执行。猜想及验证过程猜测iterator只能执行一次迭代。测试例子如下阅读全文

posted @ 2015-09-18 13:41 呵呵鱼阅读(6370) 评论(3) 推荐(0) 编辑

Hadoop基础

摘要：Hadoop 阅读全文

posted @ 2015-09-13 23:14 呵呵鱼阅读(166) 评论(0) 推荐(0) 编辑

搜索

常用链接

我的标签

随笔分类

随笔档案

阅读排行榜

评论排行榜

推荐排行榜

最新评论

随笔分类 - 大数据