hadoop docker - 随笔分类 - 月饼馅饺子

HADOOP (十一).安装hbase

摘要：下载安装包并解压设置hbase环境变量配置hbase-site.xml启动hbase检测hbase启动情况测试hbase shell 下载安装包并解压 https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/1.3.1/hbase-1.3.1-bin.tar.gz ….. [hbase@hadoop1 opt]$ tar -zxvf hbase-1.... 阅读全文

posted @ 2017-08-30 21:09 月饼馅饺子阅读(308) 评论(0) 推荐(0)

HADOOP docker(十):hdfs 结构体系

摘要：1.简介2.namenode和datanode3.The File System Namespace 文件系统命名空间4.Data Replication 数据复制5.Replica Placement: The First Baby Steps 复制块放置：初步的想法6.Replica Selection 复制块的选择7.Safemode 安全模式8.The Persistence of... 阅读全文

posted @ 2017-08-30 21:04 月饼馅饺子阅读(396) 评论(0) 推荐(0)

HADOOP docker(九):hdfs权限

摘要：1. 概述2. 用户身份标识3. 组映射4.关于权限的实现5.文件系统API的变更6.应用程序shell的变更7.超级用户8.ACLs9.ACL 文件系统API10.ACL命令11.参数配置12.总结骚年们，我们今天来学习hdfs的权限~ 请忽略4，5两段内容~ 文档：http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hado... 阅读全文

posted @ 2017-08-30 21:02 月饼馅饺子阅读(1208) 评论(0) 推荐(0)

HADOOP docker(八):hadoop本地库

摘要：前言2. Native Hadoop Library3. 使用本地库4. 本地库组件5. 支持的平台6. 下载7. 编译8. 运行时观察9. 检查本地库10. 如果共享本地库小伙伴还记得每次启动hdfs就会报can't find native libriaries吗？今天我们就来聊聊这个~ 文档：http://hadoop.apache.org/docs/r2.7.3/hadoop-proj... 阅读全文

posted @ 2017-08-30 21:01 月饼馅饺子阅读(652) 评论(0) 推荐(0)

HADOOP docker(七):hive权限管理

摘要：1. hive权限简介1.1 hive中的用户与组1.2 使用场景1.3 权限模型1.3 hive的超级用户2. 授权管理2.1 开启权限管理2.2 实现超级用户2.3 实现hiveserver2用户名密码2.4 授权2.4.1 角色管理2.4.2 权限管理2.4.3 操作与权限对应关系文档链接：阅读全文

posted @ 2017-08-30 20:59 月饼馅饺子阅读(2024) 评论(0) 推荐(0)

HADOOP docker(六):hive简易使用指南

摘要：前言1.hive简介1.1 hive组件与相应功能:1.2 hive的表类型1.3 分区表1.3 分隔符1.4 hive的数据存储2.数据类型2.1 基本数据类型2.1 复杂数据类型2.3 NULL3.基本操作3.1 数据库操作3.2 表操作3.3 视图3.4 数据导入导出3.hsql3.1 hsql基本操作3.2 hive内置函数3.2 自定义函数3.3 注册函数4.hive权限管理4.1 权限... 阅读全文

posted @ 2017-08-30 20:57 月饼馅饺子阅读(966) 评论(0) 推荐(0)

HADOOP docker(五):hadoop用户代理 Proxy user

摘要：1.hadoop用户代理简介2.配置3.实验 1.hadoop用户代理简介 hadoop用户代理功能的作用是让超级用户superuser模拟一个普通用户来执行任务。比如用户joe通过oozie提交一个任务到集群上，如果不设置用户代理，那么就会以启动oozie(oozie)进程的用户来提交任务,这样任务就显示为oozie，无法判断是哪个用户提交了任务。当开始proxy功能后，会以superuse... 阅读全文

posted @ 2017-08-30 20:57 月饼馅饺子阅读(5296) 评论(0) 推荐(0)

HADOOP docker(四):安装hive

摘要：1.hive简介2.安装hive2.1 环境准备2.1.1 下载安装包2.1.2 设置hive用户的环境变量2.1.3 hive服务端配置文件2.1.4 hive客户端配置文件2.1.4 分发hive配置文件2.2 启动hive2.2.1 初始化数据库2.2.2 创建HDFS目录2.2.3 启动hive3.总结 getting start: https://cwiki.apache.org/c... 阅读全文

posted @ 2017-08-30 20:56 月饼馅饺子阅读(879) 评论(0) 推荐(1)

HADOOP docker(二):HDFS 高可用原理

摘要：1.环境简述2.QJM HA简述2.1为什么要做HDFS HA？2.2 HDFS HA的方式2.2 HSFS HA的结构2.3 机器要求3.部署HDFS HA3.1 详细配置3.2 部署HDFS HA4. HDFS HA的管理5.自动切换5.1 使用zookeeper实现HA原理5. 部署hdfs自阅读全文

posted @ 2017-08-30 20:52 月饼馅饺子阅读(1049) 评论(0) 推荐(0)

HADOOP docker(三):HDFS高可用实验

摘要：前言1.机器环境2.配置HA2.1 修改hdfs-site.xml2.2 设置core-site.xml3.配置手动HA3.1 关闭YARN、HDFS3.2 启动HDFS HA4.配置自动HA4.1 关闭集群4.2 修改配置文件4.3 启动HA4.4 测试自动切换前言上一节学习了HDFS HA的阅读全文

posted @ 2017-04-19 21:30 月饼馅饺子阅读(1259) 评论(0) 推荐(0)

HADOOP docker(一):安装hadoop实验集群(略操蛋)

摘要：一.环境准备 1.1.机器规划主机名别名 IP 角色 9321a27a2b91 hadoop1 172.17.0.10 NN1 ZK RM 7c3a3c9cd595 hadoop2 172.17.0.9 NN2 ZK RM JOBHIS f89eaf2a2548 hadoop3 172.17.0 阅读全文

posted @ 2017-04-13 10:13 月饼馅饺子阅读(2416) 评论(1) 推荐(0)

编译安装hadoop2.6.3

摘要：一、安装环境 1.1 JAVA 安装java1.7 下载jdk1.7: [root@node1~]# wget http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz?AuthParam=14527 阅读全文

posted @ 2016-01-19 18:14 月饼馅饺子阅读(695) 评论(0) 推荐(0)

随笔分类 - hadoop docker