随笔分类 - Apache Hadoop
摘要：1、protobuf是google公司提出的数据存储格式，详细介绍可以参考：https://developers.google.com/protocol-buffers 2、下载最新的protobuf，下载地址：https://code.google.com/p/protobuf/downloads
阅读全文
摘要：hadoop Native Shared Libraries 使得Hadoop可以使用多种压缩编码算法，来提高数据的io处理性能。不同的压缩库需要依赖到很多Linux本地共享库文件，社区提供的二进制安装包，默认没有支持snappy这样在生产中最常用的压缩格式。而且社区没有提供64位的二进制安装包，在
阅读全文
摘要：目录 概览... 2 1. ranger-admin. 2 2. ranger-user-sync. 2 3. ranger-*-plugins. 2 安装... 3 1. ranger-admin: 3 2. ranger-user-sync: 4 3. ranger-hdfs-plugin: 5
阅读全文
摘要：https://community.hortonworks.com/content/supportkb/48981/how-to-recover-namenode-ha-when-one-accidentally-f.html
阅读全文
摘要：前提： ①已经搭建好zk ②已经安装好JDK 正文开始： 首先从官网下载hadoop 2.7.3 (虽然官网3.0都出了。但是目前还没经过完全的测试。。待测试后。。。) 一、hadoop-env.sh（环境变量相关） export JAVA_HOME=/app/jdk/jdk1.8.0_92expo
阅读全文
摘要：hadoop常用命令：hadoop fs查看Hadoop HDFS支持的所有命令hadoop fs –ls列出目录及文件信息hadoop fs –lsr循环列出目录、子目录及文件信息hadoop fs –put test.txt /user/sunlightcs将本地文件系统的test.txt复制到
阅读全文
摘要：1.搭建之前：百度copy一下介绍 （本博客几乎全都是生产环境的配置。。包括mongo等hbase其他） Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 [1] Hadoop实现了一个
阅读全文
摘要：自动化工具有很多。。今天总结一下salt安装hadoop 步骤，学习过程。 1，机器列表 hosts文件 只需要将namenode的两台机器上配置 ，不解释了。 2.salt-master在107.3上，salt的配置如下图。 3.启动步骤 这一步 salt -N zk cmd.run "su zo
阅读全文
摘要：一. 背景（原http://blog.csdn.net/u011414200/article/details/50437356 ,对其进行了一定更改） 1.1 网络上的大部分教程 都是机器间含有SSH联通来启动的。生产环境一般都是不配置SSH机器之间互通的。 1.2 主机规划 1.3 正确的启动顺序
阅读全文
摘要：为了验证存在不同的hdfs之间的hive的互操作（归根结底还是为了解决BUG） 需要在两个不同的hadoop集群的HDFS 能够在Hiveserver2上进行路由转发绕过一些坑。 就需要将某hdfs集群的配置文件改改。。 例如hdfs-site.xml EG： <?xml version="1.0"
阅读全文