摘要：hadoop提供了CMake来编译libhdfs，因此在编译之前需要先安装好CMake工具。然后进入libhdfs的源代码目录，如：/data/hadoop-2.7.1-src/hadoop-hdfs-project/hadoop-hdfs/src执行cmake以生成...
阅读全文
摘要：1. 前言 12. Hadoop RPC 12.1. 总体结构 12.1.1. RPC Interface 12.1.2. RPC Server 12.1.3. RPC Client 12.2. RPC Interface 22.2.1. getServer 22.2...
阅读全文
摘要：目录目录 11. 前言 12. 背景 13. 解析 1 1. 前言Federation翻译成中文是联盟或联邦的意思，网上有很多介绍HDFS Federation的文章，官网上的Federation.html也做了专门的介绍。本文试图画蛇添足，以更通俗的方式重复一遍，以...
阅读全文
摘要：目录目录 11. 约定 12. 安装Scala 12.1. 下载 22.2. 安装 22.3. 设置环境变量 23. 安装Spark 23.1. 部署 23.2. 下载 33.3. 安装 33.4. 配置 33.4.1. 修改conf/spark-env.sh 33....
阅读全文
摘要：loadFileSystems error & ExceptionUtils错误原因分析一见 2014/5/7 C/C++程序通过hdfs.h访问HDFS，运行时遇到如下错误，会是什么原因了？（注：hadoop安装在/data/hadoop/hadoop-2.4.0，...
阅读全文
摘要：“undefined reference to JNI_GetCreatedJavaVM”和“File format not recognized”错误原因分析如果编译时，报如下所示错误：../../third-party/hadoop/lib/libhdfs.a(j...
阅读全文
摘要：端口作用9000fs.defaultFS，如：hdfs://172.25.40.171:90009001dfs.namenode.rpc-address，DataNode会连接这个端口50070dfs.namenode.http-address50470dfs.nam...
阅读全文
摘要：目录目录 11. 前言 22. 部署 22.1. 机器列表 22.2. 主机名 22.2.1. 临时修改主机名 32.2.2. 永久修改主机名 32.3. 免密码登录范围 43. 约定 43.1. 安装目录约定 43.2. 服务端口约定 54. 工作详单 65. JD...
阅读全文
摘要：目录目录 11. 前言 12. 约定 23. 相关端口 24. 下载HBase 25. 安装步骤 25.1. 修改conf/regionservers 25.2. 修改conf/hbase-site.xml 35.2.1. hbase.master.info.port...
阅读全文
摘要：目录 目录 1 1. 前言 1 2. 约定 1 3. 服务端口 2 4. 安装MySQL 2 4.1. 安装MySQL 2 4.2. 创建Hive元数据库 2 5. 安装步骤 3 5.1. 下载Hive 0.12.0二进制安装包 3 5.2. 安装Hive 3 5.3. 安装MySQL-Connec
阅读全文
摘要：目录目录 11. 前言 12. 约定 13. 安装步骤 23.1. 配置/etc/hosts 23.2. 设置myid 23.3. 修改conf/zoo.cfg 23.4. 修改/bin/zkEnv.sh 33.5. 修改conf/log4j.properties 3...
阅读全文
摘要：目录目录 11. 前言 12. 安装依赖 12.1. 安装ProtocolBuffer 22.2. 安装CMake 22.3. 安装JDK 22.4. 安装Maven 33. 编译Hadoop源代码 3附1:无联网环境编译 5附2编译环境 6附3：版本信息 6附4：常...
阅读全文
摘要：134217728 / 1024 = 131072 / 1024 = 128
阅读全文
摘要：为何Google GFS设计成对大文件友好，而像腾讯的TFS（Tencent File System）和淘宝的TFS（Taobao File System）却设计成对小文件友好了？这一点非常好理解，两个TFS都用来满足图片等大量小文件的需求。但是两者是矛盾的吗？答案是...
阅读全文
摘要：该错误原因，可能是因为没有设置好SecondaryNameNode上core-site.xml文件中的“hadoop.tmp.dir”。2014-04-17 11:42:18,189 INFO org.apache.hadoop.hdfs.server.namenod...
阅读全文
摘要：clusterID：集群ID，必须保持一致1）在NameNode上查看cat $HADOOP_HOME/dfs/name/current/VERSION#Fri Apr 18 11:56:57 GMT 2014namespaceID=1397306199cluster...
阅读全文
摘要：原因可能是指定的端口号9000不对，该端口号由hdfs-site.xml中的属性“dfs.namenode.rpc-address”指定，即为NameNode的RPC服务端口号。 文件上传后，被存储在DataNode的data（由DataNode的hdfs-site....
阅读全文
摘要：“Incompatible clusterIDs”的错误原因是在执行“hdfs namenode -format”之前，没有清空DataNode节点的data目录。 网上一些文章和帖子说是tmp目录，它本身也是没问题的，但Hadoop 2.4.0是data目录，实际上...
阅读全文
摘要：“hdfs dfs -ls”带一个参数，如果参数以“hdfs://URI”打头表示访问HDFS，否则相当于ls。其中URI为NameNode的IP或主机名，可以包含端口号，即hdfs-site.xml中“dfs.namenode.rpc-address”指定的值。“h...
阅读全文
摘要：原文：http://www.maoxiangyi.cn/index.php/archives/362拓扑 点击(此处)折叠或打开 package cn.jd.storm; imp...
阅读全文
