随笔分类 -  Hadoop

scala程序启动时，Could not locate executable null\bin\winutils.exe in the Hadoop binaries解决方案
摘要：原因：window本地无法获取hadoop的配置 解决方法： 1）下载一个spark-2.4.6-bin-hadoop2.7压缩包到本地并解压 2）下载一个winutils.exe放到spark-2.4.6-bin-hadoop2.7\bin下 做完以上两步后，重启idea，如果还不成功，再执行下面 阅读全文
posted @ 2020-09-09 15:17 意如柳 阅读(320) 评论(0) 推荐(0) 编辑
hdfs新建文件、创建文件夹并修改文件权限，创建子文件
该文被密码保护。
posted @ 2019-05-16 11:35 意如柳 阅读(0) 评论(0) 推荐(0) 编辑
hadoop命令工作常用
摘要：# 创建用户目录 hadoop fs -ls /user sudo -uhdfs hadoop fs -mkdir /user/hadoop sudo -uhdfs hadoop fs -chown hadoop:hadoop /user/hadoop # 基础目录 hadoop fs -mkdir isas hadoop fs -mkdir isas/epc hadoop fs -mkdir ... 阅读全文
posted @ 2019-05-16 11:33 意如柳 阅读(234) 评论(0) 推荐(0) 编辑
hdfs文件存放路径
摘要：hdfs文件的存放位置位于节点的datanode下： 格式为： 阅读全文
posted @ 2019-05-16 11:31 意如柳 阅读(6364) 评论(0) 推荐(2) 编辑
HDFS系统命令
摘要：(1) 列出HDFS下的文件 (2) 列出HDFS文件下名为in的文档中的文件 (3) 上传文件 将hadoop目录下的test1文件上传到HDFS上并重命名为test： (4) 文件被复制到本地系统中 将HDFS中的in文件复制到本地系统并命名为getin： (5) 删除文档 删除HDFS下名为o 阅读全文
posted @ 2019-05-16 11:29 意如柳 阅读(343) 评论(0) 推荐(0) 编辑
【转】安装ambari的时候遇到的ambari和hadoop问题集
摘要：5.在安装的时候遇到的问题 5.1使用ambari-server start的时候出现ERROR: Exiting with exit code -1. 5.1.1REASON: Ambari Server java process died with exitcode 255. Check /va 阅读全文
posted @ 2018-10-31 21:34 意如柳 阅读(4197) 评论(0) 推荐(0) 编辑
Linux之hosts文件
摘要：一、序言： 今天同事部署环境遇到问题， 原因1：修改了主机名，在/etc/hosts文件中加了3台集群的ip和主机名，但是将默认的前两行也改了，没注意看改了哪里， 现象： 1、zookeeper单台可以启动，但是互相无法连通不能注册服务； 2、hadoop单台可以启动，但是使用hdfs dfs -r 阅读全文
posted @ 2018-10-31 21:30 意如柳 阅读(57272) 评论(0) 推荐(2) 编辑

点击右上角即可分享
微信分享提示