随笔 - 368, 文章 - 0, 评论 - 56, 阅读 - 94万
  博客园  :: 首页  :: 联系 :: 管理

随笔分类 -  hadoop

该文被密码保护。

posted @ 2021-12-19 14:56 天戈朱 阅读(0) 评论(0) 推荐(0) 编辑

摘要:在zookeeper集群中,节点也有不同的角色,承担着不同角色。 zookeeper有三种角色: 老大:Leader (领导者) : 客户端提供读服务和写服务。 老二:Follower(跟随者) : 为客户端提供读服务,参与Leader选举过程 老三:Observer(观察者) : 为客户端提供读服 阅读全文

posted @ 2021-07-26 08:23 天戈朱 阅读(1408) 评论(0) 推荐(0) 编辑

摘要:hdfs dfs -cat URI : 查看文件内容 -ls <args>: 查文件列表 -mkdir <paths> : 创建目录 The behavior is much like unix mkdir -p creating parent directories along the path 阅读全文

posted @ 2016-09-03 05:43 天戈朱 阅读(2443) 评论(0) 推荐(0) 编辑

摘要:hadoop参数配置,主要是配置 core-site.xml,hdfs-site.xml,mapred-site.xml 三个配置文件,core-site.xml是全局配置,hdfs-site.xml和mapred-site.xml分别是hdfs和mapred的局部配置,core-default.x 阅读全文

posted @ 2016-08-23 05:13 天戈朱 阅读(2765) 评论(0) 推荐(0) 编辑

摘要:client 向 Active NN 发送写请求时,NN为这些数据分配DN地址,HDFS文件块副本的放置对于系统整体的可靠性和性能有关键性影响。一个简单但非优化的副本放置策略是,把副本分别放在不同机架,甚至不同IDC,这样可以防止整个机架、甚至整个IDC崩溃带来的错误,但是这样文件写必须在多个机架之 阅读全文

posted @ 2016-08-21 17:06 天戈朱 阅读(2632) 评论(0) 推荐(0) 编辑

摘要:早期的hadoop版本,NN是HDFS集群的单点故障点,每一个集群只有一个NN,如果这个机器或进程不可用,整个集群就无法使用。为了解决这个问题,出现了一堆针对HDFS HA的解决方案(如:Linux HA, VMware FT, shared NAS+NFS, BookKeeper, QJM/Quo 阅读全文

posted @ 2016-08-21 16:09 天戈朱 阅读(16586) 评论(2) 推荐(2) 编辑

摘要:在配置hbase集群将 hdfs 挂接到其它镜像盘时,有不少困惑的地方,结合以前的资料再次学习; 大数据底层技术的三大基石起源于Google在2006年之前的三篇论文GFS、Map-Reduce、 Bigtable,其中GFS、Map-Reduce技术直接支持了Apache Hadoop项目的诞生, 阅读全文

posted @ 2016-08-21 11:13 天戈朱 阅读(6545) 评论(2) 推荐(4) 编辑

点击右上角即可分享
微信分享提示