摘要： 各种报错信息如下： java.lang.NoClassDefFoundError: scala/Function0 at java.lang.Class.getDeclaredMethods0(Native Method) at java.lang.Class.privateGetDeclaredM 阅读全文

摘要： 语法是： combineByKey[C]( createCombiner: V => C, mergeValue: (C, V) => C, mergeCombiners: (C, C) => C ) 标记一下：（因为有很多同样的字母，方便说明我就按照字母+数字标记一下） 语法说明：（不复制网上的， 阅读全文

摘要： spark 创建分区 val scores = Array(("Fred", 88), ("Fred", 95), ("Fred", 91), ("Wilma", 93), ("Wilma", 95), ("Wilma", 98)) val input = sc.parallelize(scores 阅读全文

摘要： idea编译scala报错 解决办法： File->setting->scala compile server （找到jdk填上 ok） 阅读全文

摘要： 这时windows远程调试hadoop集群出现的这里 做个记录 我用改变系统变量的方法 修正了错误 网上搜索出来大概有三种： 1、在系统的环境变量或java JVM变量里面添加HADOOP_USER_NAME，这个值具体等于多少看自己的情况，以后会运行HADOOP上的Linux的用户名。（修改完重启 阅读全文

摘要： 这个错误是 我本地idea 远程调试hadoop集群出现的 Diagnostics: Exception from container-launch. Container id: container_1536891254067_0001_02_000001 Exit code: 1 Exceptio 阅读全文

摘要： Error: java.lang.NullPointerException at outputformat.MysqlOutputFormat.getRecordWriter(MysqlOutputFormat.java:27) at org.apache.hadoop.mapred.ReduceT 阅读全文

摘要： 第一步： date命令查看各个机器的时间 发现linux02机器时间差了2个多小时 第二步：ntpdate pool.ntp.org 修改错误时间的机器 第三步： 重启 hbase 阅读全文

摘要： 上面的报错是在本地java调试（windows） hadoop集群 出现的 解决方案： 在resources文件夹下面创建一个文件log4j.properties（这个其实hadoop安装目录下的 etc/hadoop/log4j.properties 同名，我尝试拿过来用，发现还是不行报错信息如下 阅读全文

摘要： 我尝试的过程如下 1. 时间没有同步 用date命令看一下每个机器 如果时间差距大 说明确实有问题 ** 配置时间服务器 ** 检查时区 $ date -R ** 检查软件包 NTP服务器【Network Time Protocol（NTP）】是用来使计算机时间同步化的一种协议 如果ntp工具不存在 阅读全文