摘要:
命令查看日志:ssh -v localhost ssh服务确定是开着的,密码确定是正确的,只是输入密码之后,就立即断开连接了,ssh连接日志如下: Connection to 172.17.0.2 closed.Transferred: sent 2224, received 2992 bytes, 阅读全文
摘要:
集群环境: 集群架构:3台 node1-192.168.174.201 master datanode namenode node2-192.168.174.202 datanode node3-192.168.174.203 datanode 安装包准备: cloudera-manager-cen 阅读全文
摘要:
集群组件:centos7+jdk1.8+hadoop-2.6.5+zookeeper3.4.12+hbase1.2.1+hive 2.1.1 虚拟机搭建的集群 宿主机IP:192.168.174.1提供的网关IP:192.168.174.2三台192.168.174.101192.168.174.1 阅读全文
摘要:
spark项目中,编译没错,运行时报错Exception in thread "main" java.lang.NoSuchMethodError: scala.runtime.VolatileByteRef.create(B)Lscala/runtime/VolatileByteRef; 经排查, 阅读全文
摘要:
在学校spark streaming的时候,遇到CompactBuffer结构,网上百度了下,CompactBuffer并不是scala里定义的数据结构,而是spark里的数据结构,它继承自一个迭代器和序列,所以它的返回值是一个很容易进行循环遍历的集合, 阅读全文
摘要:
用scala调用hbase依赖写入hbase数据的时候报错: java.io.IOException: java.lang.reflect.InvocationTargetException at org.apache.hadoop.hbase.client.ConnectionFactory.cr 阅读全文
摘要:
spark、spark调优、spark streaming常见问题总结 1.server.TransportChannelHandler: Exception in connection from xxxxxx。java.io.IOException: Connection reset by pee 阅读全文
摘要:
1.找出这个冲突的jar包 用如下命令来导出各jar包的依赖关系: 2.在生成的dependency.txt文件里查找冲突包,在pom.xml里排除掉一个 阅读全文
摘要:
使用cloudera工具集搭建的impala集群 使用cloudera工具集搭建的impala集群 查询的时候报错,显示节点内存不足,报错如下: 在官网查到是impala的配置Impala Daemon Memory Limit 设置过小引起的, 增大内存。 重启之后查询ok 阅读全文
摘要:
Caused by: java.lang.IllegalStateException: Detected both log4j-over-slf4j.jar AND slf4j-log4j12.jar on the class path, preempting StackOverflowError 阅读全文