摘要：
hive.optimize.cp=true：列裁剪hive.optimize.prunner：分区裁剪hive.limit.optimize.enable=true：优化LIMIT n语句hive.limit.row.max.size=1000000：hive.limit.optimize.limi 阅读全文
摘要：
zookeeper介绍 是一个分布式服务的协调服务，集群半数以上可用（一般配置为奇数台）， 快速选举机制：当集群中leader挂掉，所有小弟会投票选举出新的leader。 快速同步数据：zk将会存储小量用于服务做协调的数据。 标准文件系统用于存储大量数据；而zk存储小量协调数据 标准文件系统文件就是 阅读全文
摘要：
一、HADOOP 二、HIVE 三、SQOOP 1.来由和作用 sqoop由一些封装好的MR程序的jar包构成，后演变成框架，但sqoop只有map任务没有reduce任务。 用于 hdfs、hive、hbase 和关系型数据库RDBMS之间数据的导入导出。 2.导入到hdfs过程 2.1 gath 阅读全文
摘要：
Linux 操作系统错误代码解释 OS error code 0: Success 操作系统错误代码0：成功 OS error code 1: Operation not permitted 操作系统错误代码1：操作不允许 OS error code 2: No such file or direc 阅读全文
摘要：
hdfs常用命令：第一部分：hdfs文件系统命令第一类：文件路径增删改查系列：hdfs dfs -mkdir dir 创建文件夹hdfs dfs -rmr dir 删除文件夹dirhdfs dfs -ls 查看目录文件信息hdfs dfs -lsr 递归查看文件目录信息hdfs dfs -stat 阅读全文
摘要：
1.以#!/bin/bash 开头2.执行方式 bash sh ./ `script`3.变量： 系统变量 自定义变量 >export 可导出为全局环境变量 set显示所有shell变量 unset 取消变量 readonly静态变量不能被unset4.获取命令返回值 A=`ls -al` A=$( 阅读全文
摘要：
一、解压 tar -zxvf hadoop-xxxx.tar.gz 二、配置文件 1.core-site.xml <configuration> <!-- Hadoop文件系统依赖的基础配置 --> <property> <name>hadoop.tmp.dir</name> <value>/hom 阅读全文
摘要：
一、ajax 1.用于前端向服务器异步获取数据 json数组：可以直接通过数组下标获取到值 json对象：可以用“data.xx”获取到值 2.注意事项 同时请求两个ajax时，容易出现异常，第一个ajax改为“asyc：false” 二、jquery 1.获取元素 获取页面元素 $("#t2") 阅读全文
摘要：
一、网络连接失败，不能访问 1.现象描述 network 服务不能启动， ping不通， Device not managed by NetworkManager or unavailable 2.network和NetworkManager network ： 对网卡的配置 NetworkMana 阅读全文
摘要：
一、词义解析 UDF(User-Defined-Function) 一进一出 UDAF（User- Defined Aggregation Funcation） 多进一出 （聚合函数，MR） UDTF(User-Defined Table-Generating Functions) 一进多出（生成多 阅读全文