随笔分类 -  Hadoop

摘要:一、背景 分布式的集群通常包含非常多的机器,由于受到机架槽位和交换机网口的限制,通常大型的分布式集群都会跨好几个机架,由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之间的网络速度,并且机架之间机器的网络通信通常受到上层交换机间网络带宽的限制。 Hadoop 阅读全文
posted @ 2017-06-29 23:39 记忆残留 阅读(3382) 评论(2) 推荐(2) 编辑
摘要:格式化namenode 启动namenode失败: namenode日志报错,namenode没有格式化: 原因 hdfs namenode –format "-format"中的-是中文横线,改成中文就好了格式化成功: 元数据目录已经生成了新文件: namenode成功启动: 总结:细节真的很重要 阅读全文
posted @ 2016-11-14 23:51 记忆残留 阅读(17161) 评论(0) 推荐(0) 编辑
摘要:1,安装fuse 2.修改环境变量 增加如下配置: 3.创建挂载点 (要挂载到linux的本地目录) mkdir /hdfs 4.挂载 方法一:hadoop-fuse-dfs dfs://ocdp /hdfs ”ocdp“ 为集群的名称,hdfs-site.xml中nameservice的值 方法二 阅读全文
posted @ 2016-11-01 18:43 记忆残留 阅读(8111) 评论(1) 推荐(0) 编辑
摘要:Most of the commands in FS shell behave like corresponding Unix commands. Differences are described with each of the commands. Error information is se 阅读全文
posted @ 2016-10-27 18:33 记忆残留 阅读(2675) 评论(0) 推荐(0) 编辑
摘要:ResourceManager高可用配置 1. yarn-site.xml配置 <property> <name>yarn.resourcemanager.cluster-id</name> <value>yarn-ha</value> </property> <property> <name>ya 阅读全文
posted @ 2016-10-24 16:19 记忆残留 阅读(1498) 评论(0) 推荐(0) 编辑
摘要:当使用 hadoop fs -put localfile /user/xxx 时提示: put: Permission denied: user=root, access=WRITE, inode="/user/shijin":hdfs:supergroup:drwxr-xr-x 表明:权限不够。这 阅读全文
posted @ 2016-09-23 18:01 记忆残留 阅读(4560) 评论(0) 推荐(0) 编辑
摘要:root用户执行hadoop命令报错: 换成hdfs执行命令即可:sudo -u hdfs hadoop fs -ls /user 阅读全文
posted @ 2016-09-23 17:57 记忆残留 阅读(8659) 评论(0) 推荐(0) 编辑
摘要:hiveserver2的端口是10000hive.metastoe.uris 的端口9083改为10000之后 beelien 连接hiveserver2报错 Error: Could not open client transport with JDBC Uri: jdbc:hive2://172 阅读全文
posted @ 2016-09-19 16:15 记忆残留 阅读(9069) 评论(0) 推荐(0) 编辑
摘要:ambari-server启动成功,但是页面无法访问 作者:Bo liang链接:http://www.zhihu.com/question/34405898/answer/115001510来源:知乎著作权归作者所有,转载请联系作者获得授权。 1、先在命令行输入nproc命令。[root@Slav 阅读全文
posted @ 2016-09-09 00:49 记忆残留 阅读(2615) 评论(0) 推荐(0) 编辑
摘要:主namenode 为standly状态,备namenode为active,kill备namenode,主namenode能正常切换为active。但是主namenode为active,备namenode为standby,kill主namenode,备namenode却无法切换成active状态,必 阅读全文
posted @ 2016-08-01 22:27 记忆残留 阅读(1662) 评论(0) 推荐(0) 编辑
摘要:安全模式是hadoop的一种保护机制,用于保证集群中的数据块的安全性。 当集群启动的时候,会首先进入安全模式。当系统处于安全模式时会检查数据块的完整性。假设我们设置的副本数(即参数dfs.replication)是5,那么在datanode上就应该有5个副本存在,假设只存在3个副本,那么比例就是3/ 阅读全文
posted @ 2016-07-25 20:37 记忆残留 阅读(10335) 评论(0) 推荐(1) 编辑

点击右上角即可分享
微信分享提示