摘要： 1.hive简介2.安装hive2.1 环境准备2.1.1 下载安装包2.1.2 设置hive用户的环境变量2.1.3 hive服务端配置文件2.1.4 hive客户端配置文件2.1.4 分发hive配置文件2.2 启动hive2.2.1 初始化数据库2.2.2 创建HDFS目录2.2.3 启动hive3.总结 getting start: https://cwiki.apache.org/c... 阅读全文

摘要： 1.环境简述2.QJM HA简述2.1为什么要做HDFS HA？2.2 HDFS HA的方式2.2 HSFS HA的结构2.3 机器要求3.部署HDFS HA3.1 详细配置3.2 部署HDFS HA4. HDFS HA的管理5.自动切换5.1 使用zookeeper实现HA原理5. 部署hdfs自 阅读全文

摘要： 前言1.机器环境2.配置HA2.1 修改hdfs-site.xml2.2 设置core-site.xml3.配置手动HA3.1 关闭YARN、HDFS3.2 启动HDFS HA4.配置自动HA4.1 关闭集群4.2 修改配置文件4.3 启动HA4.4 测试自动切换 前言 上一节学习了HDFS HA的 阅读全文

摘要： [TOC] 目的 测试markdown 代码 this is a line block 条目一 条目二 1. 条目一 2. 条目二 测试结束！ 阅读全文

摘要： 1.zookeeper简介2.安装zookeeper2.1 安装环境准备2.2 安装zookeeper2.2.1.解压zookeeper压缩包到/opt/zookeeper2.2.2.编辑zookeeper配置文件2.2.3.创建myid文件2.2.4.启动zookeeper2.2.5.测试 1.zookeeper简介 zookeeper是一个开源的分布式协议服务框架,主要用来为应用程序做HA... 阅读全文

摘要： 一.环境准备 1.1.机器规划 主机名 别名 IP 角色 9321a27a2b91 hadoop1 172.17.0.10 NN1 ZK RM 7c3a3c9cd595 hadoop2 172.17.0.9 NN2 ZK RM JOBHIS f89eaf2a2548 hadoop3 172.17.0 阅读全文

摘要： 一、安装环境 1.1 JAVA 安装java1.7 下载jdk1.7: [root@node1~]# wget http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz?AuthParam=14527 阅读全文

摘要： 一、集群的理论知识1.1 集群成员MongoDB的集群类似于GreenPlum集群，由一个入口节点负责任务分发与结果统计，分片结节负责执行任务。不同GP，多了一个config servers。集群有三个组件：A。shards:分片，即数据结点，存储数据和执行计算。为了保证高可用和数据一致性，生产环境... 阅读全文

摘要： 一、kettle变量类型kettle变量分为：1.环境变量通过 set variables组件设置变量，范围可以是：JVM变量、作业变量、父作业变量、根作业变量。使用时通过${var}或 %%var%%变量方式引用变量2.属性文件变量在.kettle目录下的kettle.property文件中设置，可kettle中可以引用3.命令行参数(相当于位置参数)命令行参数是指用pan执行转换时传入的参数，... 阅读全文

摘要： 简单的整理一下常用的linux监控命令本篇参考了：http://www.cnblogs.com/JemBai/archive/2010/07/30/1788484.html的内容 1.toptop能实时显示CPU 和内存的使用状况。top - 01:56:31 up 15:59, 1 user, load average: 0.00, 0.00, 0.00Tasks: 71 total, ... 阅读全文