随笔分类 -  大数据

CDH搭建
摘要：参考：https://www.cnblogs.com/alexzhang92/p/11052365.html（以下简称“文件1”），这个文档写的还是很详细的，大体过程和我遇到的问题贴在下面了。 顺序： 1、几个节点host配置（127.0.0.1 localhost的那条不用注释，否则后面会报错）、 阅读全文
posted @ 2019-12-19 10:25 zhao525 阅读(744) 评论(0) 推荐(0) 编辑
hadoop native安装
摘要：安装Native Lib 将hadoop-2.0.0+1518-1.cdh4.5.0.p0.24.el6.x86_64.rpm在PC上使用压缩工具打开后,取出\usr\lib\hadoop\lib\native 下面的代码,上传到主机 ${HADOOP_HOME}/lib/native 下面 cd 阅读全文
posted @ 2019-01-11 09:15 zhao525 阅读(927) 评论(0) 推荐(0) 编辑
hdfs部署
摘要：一、下载Hadoop 2.6.0-cdh5.7.0的tar.gz包并解压： wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz 阅读全文
posted @ 2019-01-10 14:16 zhao525 阅读(378) 评论(1) 推荐(0) 编辑
namenode单节点解决方案
摘要：架构 NameNode：分布式文件系统中的管理者，主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。NameNode会将文件系统的Meta-data存储在内存中，这些信息主要包括了文件信息、每一个文件对应的文件块的信息和每一个文件块在DataNode的信息等。 SecondaryName 阅读全文
posted @ 2019-01-08 16:28 zhao525 阅读(908) 评论(0) 推荐(0) 编辑
hdfs的块设置多大合适？
摘要：HDFS数据块：与一般文件系统一样，HDFS也有块（block）的概念，HDFS上的文件也被划分为块大小的多个分块作为独立的存储单元。 与通常的磁盘文件系统不同的是： HDFS中小于一个块大小的文件不会占据整个块的空间（当一个1MB的文件存储在一个128MB的块中时，文件只使用1MB的磁盘空间，而不 阅读全文
posted @ 2019-01-08 11:36 zhao525 阅读(2721) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示