随笔分类 - Apache Hadoop
摘要:1、protobuf是google公司提出的数据存储格式,详细介绍可以参考:https://developers.google.com/protocol-buffers 2、下载最新的protobuf,下载地址:https://code.google.com/p/protobuf/downloads
阅读全文
摘要:hadoop Native Shared Libraries 使得Hadoop可以使用多种压缩编码算法,来提高数据的io处理性能。不同的压缩库需要依赖到很多Linux本地共享库文件,社区提供的二进制安装包,默认没有支持snappy这样在生产中最常用的压缩格式。而且社区没有提供64位的二进制安装包,在
阅读全文
摘要:目录 概览... 2 1. ranger-admin. 2 2. ranger-user-sync. 2 3. ranger-*-plugins. 2 安装... 3 1. ranger-admin: 3 2. ranger-user-sync: 4 3. ranger-hdfs-plugin: 5
阅读全文
摘要:https://community.hortonworks.com/content/supportkb/48981/how-to-recover-namenode-ha-when-one-accidentally-f.html
阅读全文
摘要:前提: ①已经搭建好zk ②已经安装好JDK 正文开始: 首先从官网下载hadoop 2.7.3 (虽然官网3.0都出了。但是目前还没经过完全的测试。。待测试后。。。) 一、hadoop-env.sh(环境变量相关) export JAVA_HOME=/app/jdk/jdk1.8.0_92expo
阅读全文
摘要:hadoop常用命令:hadoop fs查看Hadoop HDFS支持的所有命令hadoop fs –ls列出目录及文件信息hadoop fs –lsr循环列出目录、子目录及文件信息hadoop fs –put test.txt /user/sunlightcs将本地文件系统的test.txt复制到
阅读全文
摘要:1.搭建之前:百度copy一下介绍 (本博客几乎全都是生产环境的配置。。包括mongo等hbase其他) Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。 [1] Hadoop实现了一个
阅读全文
摘要:自动化工具有很多。。今天总结一下salt安装hadoop 步骤,学习过程。 1,机器列表 hosts文件 只需要将namenode的两台机器上配置 ,不解释了。 2.salt-master在107.3上,salt的配置如下图。 3.启动步骤 这一步 salt -N zk cmd.run "su zo
阅读全文
摘要:一. 背景(原http://blog.csdn.net/u011414200/article/details/50437356 ,对其进行了一定更改) 1.1 网络上的大部分教程 都是机器间含有SSH联通来启动的。生产环境一般都是不配置SSH机器之间互通的。 1.2 主机规划 1.3 正确的启动顺序
阅读全文
摘要:为了验证存在不同的hdfs之间的hive的互操作(归根结底还是为了解决BUG) 需要在两个不同的hadoop集群的HDFS 能够在Hiveserver2上进行路由转发绕过一些坑。 就需要将某hdfs集群的配置文件改改。。 例如hdfs-site.xml EG: <?xml version="1.0"
阅读全文