code never lies

摘要： 权限不足,上传文件时应当使用启动hadoop的账户,即在获取FileSystem时就应当指定用户 修改后的代码 阅读全文

摘要： 具体异常如下: 解决方案: 删除pom文件中的hadoop-core的依赖,原因:hadoop-core是1.x的产物,在2.x之后已经被hadoop-common取代,我配置的时候同时使用了这两个依赖导致jar包冲突. 附上我测试上传用的代码 如果下载的过程中出现了 HADOOP_HOME and 阅读全文

摘要： 配置前准备:关闭防火墙,配置好hosts,ssh免密登录 1.选定同步的标准,我是以hadoop002(设置为当前时间)作为同步标准,hadoop003(时间是2018年3月21,使用date -s进行设置)与hadoop004(2018年3月21)与之保持同步 在hadoop002上查看是否安装n 阅读全文

摘要： 选中view,选择command windows 在下方出现的窗口中右键,接下来在窗口中输入命令即可,可以一定程度上代替分发脚本,具体请参考https://www.cnblogs.com/tele-share/p/9502569.html 阅读全文

摘要： 1.单个节点操作 启动|停止单个节点 hdfs --daemon start|stop datanode hdfs --daemon start|stop namenode 启动|停止单个节点的NodeManageer yarn --daemon stop|start nodemanager 启动| 阅读全文

摘要： 共计三台虚拟机分别为hadoop002(master,存放namenode),hadoop003(workers,datanode以及resourcemanage),hadoop004(workers.datanode,secondarynamenode) 1.搭建前的准备(三台虚拟机均已配置好ja 阅读全文

摘要： 看下面的文字前先确保你的Replication值不大于你设置的虚拟机数量 如图,显示的副本数为3,但是实际可用的只有一台机器,查看了下hadoop003,hadoop004两台机器,果然没有存储数据,刚开始以为上传的jdk只有一份是因为在修改副本为3之前创建的,所以只有一份,但是重新上传了一个文件后 阅读全文

摘要： 出现这种状况是因为当前账号没有配置ssh免密登录 进入到以下目录,查看是否生成过秘钥对,如果有的话直接ssh-copy-id 主机名 没有的话执行ssh-keygen -t rsa后再重新执行ssh-copy-id 主机(不要忘记本机),停掉hadoop,重新启动错误消失 阅读全文

摘要： 同步脚本,在第5步要拼接自己配置的主机名 命令脚本(注意修改拼接的主机名) 把脚本保存在/usr/local/bin下就可以全局范围执行了 阅读全文

摘要： ssh针对的是用户不是机器,同一机器不同用户需要单独配置ssh,才能实现该用户的免密登录 cd ~ cd ./.ssh 在./ssh目录下生成公钥与私钥(如果没有.ssh先使用ssh命令连接到一台远程主机后退出就会生成./ssh) ssh-keygen -t rsa 接下来就是把公钥拷贝到需要远程连 阅读全文