摘要： HBase和Hive的异同之处?共同点：HBase与Hive都是架构在Hadoop之上，底层存储都是使用HDFS区别： 1). Hive是建立在Hadoop之上为了减少MapReduce jobs编写工作的批处理系统。HBase是为了支持弥补Hadoop对实时操作的缺陷的项目。 2).hive... 阅读全文

摘要： Row Key类似于MySQL中的主键，HBase天然自带的，在创建时不需要显示指定。HBase不支持条件查询和Order by等查询，读取记录只有三种方式：①. 通过单个Row key访问【速度很快,因为存在着索引机制】②. 给定Row key的range ③. 全表扫描Row key按照字典序存... 阅读全文

摘要： 1).上传，解压，重命名，修改环境变量/etc/profile2).修改 hbase-env.sh 文件export JAVA_HOME=/usr/java/jdk1.7.0_27 //Java 安装路径export HBASE_CLASSPATH=/hadoop/hbase-0.96.2 //HB... 阅读全文

摘要： Client使用HBase RPC机制与HMaster和HRegionServer进行通信Client与HMaster进行通信进行管理类操作Client与HRS进行数据读写类操作包含访问HBase的接口，并维护缓存cache来加快对HBase的访问，比如HR的位置信息。在启动一个Client到HBa... 阅读全文

摘要： 1.Jvm重用JVM重用不是指同一Job的两个或两个以上的Task同时运行于同一JVM上，而是 N个Task按顺序在同一个Jvm上运行，即省去了Jvm关闭和再重启的时间。N值可以在Hadoop的mapre-site.xml文件mapreduce.job.jvm.numtasks(默认1)属性进行设置... 阅读全文

摘要： 1.jvm重用：详见Hadoop性能调优2.并行执行即同时执行hive的多个阶段。hive在执行过程，将一个查询转化成一个或者多个阶段，而这些阶段可能并非完全相互依赖的，也就是说可以并行执行的，这样可能使得整个job的执行时间缩短hive执行开启：set hive.exec.parallel=tru... 阅读全文

摘要： hadoop调度器的作用是将系统中空闲的资源按一定策略分配给作业。调度器是一个可插拔的模块，用户可以根据自己的实际应用要求设计调度器。Hadoop中常见的调度器有三种，分别为：1.基于队列的FIFO(先进先出) hadoop默认的资源调度器。优点：简单明了。缺点：忽略了不同作业的需求差异。2.计算... 阅读全文

摘要： 1.入口$HIVE_HOME/bin/ext/cli.sh 调用org.apache.hadoop.hive.cli.CliDriver类进行初始化过程 处理-e,-f,-h等信息，如果是-h，打印提示信息，并退出 读取hive的配置文件和$HIVE_HOME/bin/.hiverc文件，设置Hiv... 阅读全文

摘要： hive.exec.script.maxerrsize：一个map/reduce任务允许打印到标准错误里的最大字节数，为了防止脚本把分区日志填满，默认是100000；hive.exec.script.allow.partial.consumption：hive是否允许脚本不从标准输入中读取任何内容就... 阅读全文

摘要： 字段解释： product_no：用户手机号； lac_id：用户所在基站； start_time：用户在此基站的开始时间； staytime：用户在此基站的逗留时间。product_no lac_id moment start_time user_id county_id staytime cit... 阅读全文