随笔分类 -  大数据

摘要:在伪分布式下,按照下面两个博客,分别以命令行方式和Eclipse执行WordCount程序时,都会出现同样的错误, (Eclipse:http://blog.csdn.net/wang_zhenwei/article/details/47422775) (命令行方式:http://blog.csdn 阅读全文
posted @ 2022-10-31 18:16 ppjj 阅读(767) 评论(0) 推荐(0) 编辑
摘要:背景 利用ambari搭建的新环境,跑数据出现了不少问题,但如下问题困扰了很长时间,直到今天才得以解决,每次报错。按照网上的各种方式都不行。我知道问题点肯定在spark2.3.1 集成hive3.1.0的版本问题上,因为hive3.1.0新增了很多功能,如事务等,发布时间没有长时间的积累,出问题很容 阅读全文
posted @ 2022-10-31 18:07 ppjj 阅读(372) 评论(0) 推荐(0) 编辑
摘要:Driver有七个步骤。今天在写的时候不细心造成一个错误。 这是错误的 //6、设置输入路径和输出路径 FileInputFormat.setInputPaths(job,new Path("D:\\BaiduNetdiskDownload\\Hadoop\\ziliao\\11_input\\in 阅读全文
posted @ 2022-10-31 17:59 ppjj 阅读(191) 评论(0) 推荐(0) 编辑
摘要:Configuration configuration = new Configuration(); FileSystem fs = FileSystem.get(new URI("hdfs://172.17.0.123:9000"), configuration, "hadoop"); 可能是没有 阅读全文
posted @ 2022-10-20 14:59 ppjj 阅读(718) 评论(0) 推荐(0) 编辑
摘要:Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=root, access=WRITE, inode 阅读全文
posted @ 2022-10-20 14:55 ppjj 阅读(910) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示