关于博客的格式
摘要：
由于我的博客主要是由为知笔记推过来的，博客圆的markdown插件太久太久没更新不支持新的markdown语法，导致与为知笔记的markdown语法不兼容，看起来十分的混乱。如果你需要，可以给你源文件或者PDF。 阅读全文
posted @ 2017-08-30 21:39 月饼馅饺子 阅读(268) 评论(0) 推荐(0) 编辑
hadoop问题集(1)
摘要：
参考： http://dataunion.org/22887.html 1.mapreduce_shuffle does not exist 执行任何时报错： 原因是yarn中没有aux的信息。在yarn－site.xml中加入： 2.yarn启动正常但是WEB打不开 netstat -a|grep 阅读全文
posted @ 2017-08-30 21:11 月饼馅饺子 阅读(4256) 评论(0) 推荐(0) 编辑
hadoop问题集(2)
摘要：
28. Sqoop: java.lang.NullPointerException sqoop import --connect jdbc:oracle:thin:@//xxxx:1521/aps --username xxx --password 'xxxx' --query " select R 阅读全文
posted @ 2017-08-30 21:11 月饼馅饺子 阅读(972) 评论(0) 推荐(0) 编辑
HADOOP (十一).安装hbase
摘要：
下载安装包并解压设置hbase环境变量配置hbase-site.xml启动hbase检测hbase启动情况测试hbase shell 下载安装包并解压 https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/1.3.1/hbase-1.3.1-bin.tar.gz ….. [hbase@hadoop1 opt]$ tar -zxvf hbase-1.... 阅读全文
posted @ 2017-08-30 21:09 月饼馅饺子 阅读(296) 评论(0) 推荐(0) 编辑
HADOOP docker(十):hdfs 结构体系
摘要：
1.简介2.namenode和datanode3.The File System Namespace 文件系统命名空间4.Data Replication 数据复制5.Replica Placement: The First Baby Steps 复制块放置：初步的想法6.Replica Selection 复制块的选择7.Safemode 安全模式8.The Persistence of... 阅读全文
posted @ 2017-08-30 21:04 月饼馅饺子 阅读(369) 评论(0) 推荐(0) 编辑
HADOOP docker(九):hdfs权限
摘要：
1. 概述2. 用户身份标识3. 组映射4.关于权限的实现5.文件系统API的变更6.应用程序shell的变更7.超级用户8.ACLs9.ACL 文件系统API10.ACL命令11.参数配置12.总结 骚年们，我们今天来学习hdfs的权限~ 请忽略4，5两段内容~ 文档：http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hado... 阅读全文
posted @ 2017-08-30 21:02 月饼馅饺子 阅读(1144) 评论(0) 推荐(0) 编辑
HADOOP docker(八):hadoop本地库
摘要：
前言2. Native Hadoop Library3. 使用本地库4. 本地库组件5. 支持的平台6. 下载7. 编译8. 运行时观察9. 检查本地库10. 如果共享本地库 小伙伴还记得每次启动hdfs就会报can't find native libriaries吗？今天我们就来聊聊这个~ 文档：http://hadoop.apache.org/docs/r2.7.3/hadoop-proj... 阅读全文
posted @ 2017-08-30 21:01 月饼馅饺子 阅读(626) 评论(0) 推荐(0) 编辑
HADOOP docker(七):hive权限管理
摘要：
1. hive权限简介1.1 hive中的用户与组1.2 使用场景1.3 权限模型1.3 hive的超级用户2. 授权管理2.1 开启权限管理2.2 实现超级用户2.3 实现hiveserver2用户名密码2.4 授权2.4.1 角色管理2.4.2 权限管理2.4.3 操作与权限对应关系 文档链接： 阅读全文
posted @ 2017-08-30 20:59 月饼馅饺子 阅读(1935) 评论(0) 推荐(0) 编辑
HADOOP docker(五):hadoop用户代理 Proxy user
摘要：
1.hadoop用户代理简介2.配置3.实验 1.hadoop用户代理简介 hadoop用户代理功能的作用是让超级用户superuser模拟一个普通用户来执行任务。比如用户joe通过oozie提交一个任务到集群上，如果不设置用户代理，那么就会以启动oozie(oozie)进程的用户来提交任务,这样任务就显示为oozie，无法判断是哪个用户提交了任务。当开始proxy功能后，会以superuse... 阅读全文
posted @ 2017-08-30 20:57 月饼馅饺子 阅读(5114) 评论(0) 推荐(0) 编辑
HADOOP docker(六):hive简易使用指南
摘要：
前言1.hive简介1.1 hive组件与相应功能:1.2 hive的表类型1.3 分区表1.3 分隔符1.4 hive的数据存储2.数据类型2.1 基本数据类型2.1 复杂数据类型2.3 NULL3.基本操作3.1 数据库操作3.2 表操作3.3 视图3.4 数据导入导出3.hsql3.1 hsql基本操作3.2 hive内置函数3.2 自定义函数3.3 注册函数4.hive权限管理4.1 权限... 阅读全文
posted @ 2017-08-30 20:57 月饼馅饺子 阅读(923) 评论(0) 推荐(0) 编辑