10 2019 档案
Not implemented by the DistributedFileSystem FileSystem implementation
摘要：同样是在将模块升级到hadoop2的过程中，在intellij idea中好不容易更换了一大堆jar包，修改了一些代码，提交到集群终于能跑了！但是在偶然间用eclipse导出jar提交却报了以下的错误信息： 说是找不到dfs的实现！（真是一个奇葩的问题） 在网上找了很久，大部分的帖子之类的都是说是引
阅读全文
ERROR Shell: Failed to locate the winutils binary in the hadoop binary path
摘要：很明显应该是HADOOP_HOME的问题。如果HADOOP_HOME为空，必然fullExeName为null\bin\winutils.exe。解决方法很简单，配置环境变量，不想重启电脑可以在程序里加上： 1 System.setProperty("hadoop.home.dir", "E:\\P
阅读全文
flume启动报错 java.lang.NoClassDefFoundError: org/htrace/Trace
摘要：我在启动Flume对hdfs写入时报如下错误: 该错误不但对于Flume,对于Hbase,Spark等需要对hdfs读写的都有可能报错.首先需要检查lib包中是否包含如下文件.commons-configuration-1.6.jar、hadoop-auth-2.7.2.jar、hadoop-com
阅读全文
FIFO调度算法和LRU算法
摘要：一.理论 FIFO：先进先出调度算法 LRU：最近最久未使用调度算法 两者都是缓存调度算法，经常用作内存的页面置换算法。 打一个比方，帮助你理解。你有很多的书，比如说10000本。由于你的书实在太多了，你只能放在地下室里面。你看书的时候不会在地下室看书，而是在书房看书。每次，你想看书都必须跑到地下室
阅读全文
