随笔分类 - 大数据
摘要:在伪分布式下,按照下面两个博客,分别以命令行方式和Eclipse执行WordCount程序时,都会出现同样的错误, (Eclipse:http://blog.csdn.net/wang_zhenwei/article/details/47422775) (命令行方式:http://blog.csdn
阅读全文
Cannot initialize Cluster. Please check your configuration for mapreduce.framework .name and the cor
摘要:背景 利用ambari搭建的新环境,跑数据出现了不少问题,但如下问题困扰了很长时间,直到今天才得以解决,每次报错。按照网上的各种方式都不行。我知道问题点肯定在spark2.3.1 集成hive3.1.0的版本问题上,因为hive3.1.0新增了很多功能,如事务等,发布时间没有长时间的积累,出问题很容
阅读全文
Exceptioninthread “main“ org.apache.hadoop.mapred.InvalidJobConfException: Output directory not set.
摘要:Driver有七个步骤。今天在写的时候不细心造成一个错误。 这是错误的 //6、设置输入路径和输出路径 FileInputFormat.setInputPaths(job,new Path("D:\\BaiduNetdiskDownload\\Hadoop\\ziliao\\11_input\\in
阅读全文
摘要:Configuration configuration = new Configuration(); FileSystem fs = FileSystem.get(new URI("hdfs://172.17.0.123:9000"), configuration, "hadoop"); 可能是没有
阅读全文
摘要:Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=root, access=WRITE, inode
阅读全文