摘要： 首先在/etc/init.d中关闭kudu-master和kudu-tserver 进入kudu配置文件，/etc/kudu/conf，修改master.gflagfile文件，添加如下配置 --rpc_authentication=disabled --rpc_encryption=disable 阅读全文

摘要： IDEA 2020.3.4 scala 2.12.8 参考内容：https://www.cnblogs.com/wangjianwei/articles/9722234.html 运行时报错，称找不到Application，给出的函数如下： object App extends Applicatio 阅读全文

摘要： 我在虚拟机上搭建Hadoop-2.7.1，使用本地Windows上IDEA连接操作，windows上并未安装hadoop。 遇到的几个连接的问题： 1. 提交时报告winutils.exe缺失，并且有java.lang.NullPointerException 下载winutils.exe (htt 阅读全文

摘要： 在看MapReduce的内容时讲到Mapper和Reducer中的设计模式为模板模式。 如下是Mapper： public class Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT> { /** * The <code>Context</code> passed o 阅读全文

摘要： HDFS副本摆放策略 不同的版本副本摆放策略可能并不一致，HDFS主要采用一种机架感知（rack-ware）的机制来实现摆放策略。 由于不同的机架上节点间通信要通过交换机（switches），同一机架上的通信带宽要优于不同机架。 HDFS默认采用3副本策略（参考2.9.1 & 3.2.1）： 1.若 阅读全文

摘要： 在用$HADOOP_HOME/sbin/start-dfs.sh启动HDFS时发现只有NameNode和SecondaryNameNode启动,没有DataNode。 查看logs下的DataNode日志中显示如下错误： WARN org.apache.hadoop.hdfs.server.data 阅读全文

摘要： 散列表 散列表（hash table）为每个对象计算一个整数，称为散列码（hash code）。 若需要自定义类，就要负责实现这个类的hashCode方法。注意自己实现的hashCode方法应该与equals方法兼容，即如果a.equals(b)为true，a与b必须具有相同的散列码。 hashCo 阅读全文