郭小白

摘要： 1. 集群环境 ambari-version：2.7.5 HDP-version：3.0 2.问题描述 hadoop-yarn的启动之后，运行一段时间，莫名其妙的出现新的任务无法提交上去，查看yarn的状态之后，发现yarn的状态都是正常的，并且所有的资源都是充足的，但是提交任务之后就会一直处于ac 阅读全文

摘要： scala列表的介绍 scala中的List类和java中的list类是完全不同的，对于java中的ArrayList来说，可以向其中添加元素，亦或是删除元素。是可变的，但是scala中的list是不可变的，其大小和其中的元素都是不可变的。它是由链表来实现的，所以包含常用的`head`,`tail` 阅读全文

摘要： Spark算子之aggregateByKey详解 一、介绍 根据源码中的注释介绍，总结下来，有这么几个点： 1. 该函数需要一个combine函数以及一个初始值 2. 函数可以返回一个与RDD中值类型不同的结果类型U 3. 我们需要一个针对每个分区合并操作，将单个分区中值(V)合并到该分区的聚合结果 阅读全文

摘要： flume报错：java.nio.channels.ClosedChannelException 报错日志信息 java.nio.channels.ClosedChannelException at org.jboss.netty.channel.socket.nio.AbstractNioWork 阅读全文

摘要： 在scala中Any 是任何基础数据类型的父类，但是，在scala中是不允许ArrayList[Int]的引用赋值给一个指向ArrayList[Any]的引用。像下面这样： object TestMain extends App { var arrInt:Array[Int] = Array(1, 阅读全文

摘要： Kryo序列化缓冲区大小导致任务失败的问题 问题报错 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/data/hadoop/yarn/local/filecache/185 阅读全文

摘要： spark在class中使用log4j报错，无法序列化的问题 报错信息 21/06/16 11:45:22 ERROR BatchJobMain: Task not serializable org.apache.spark.SparkException: Task not serializable 阅读全文

摘要： java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning 报错信息 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/te 阅读全文

摘要： spark程序初始化HiveContext报错：空指针异常 版本说明： spark: 1.6.1 scala: 2.10.8 hive: 1.2.1 报错信息 java.lang.RuntimeException: java.lang.NullPointerException at org.apac 阅读全文

摘要： windows 10专业版操作系统无法监听3389端口 问题描述 windows 10 专业版操作系统无法远程，通过telnet命令发现，对应的默认端口(3389)不通 cmd命令执行netstat -ano | findstr 3389之后，并没有看到该端口的监听信息 问题解决 确认电脑远程桌面功 阅读全文