03 2014 档案
摘要:一、引言:在看《收获,不止Oracle》的神奇,走进逻辑体系世界一章时,需要新建一张表查看Extents的情况,由于该书的环境是ORACLE10G的,因此新建空表以后立刻就分配Segment,而我使用的是Oracle11gR2,新建空表后没有立即分配Segment。这就是11GR2的新特性,延迟段创建,就是说从11GR2开始默认创建的表不会立即分配segment,不会占用磁盘空间,当第一条数据insert时才会分配空间。二、实验模拟:SQL> select * from v$version; BANNER------------------------------------------
阅读全文
摘要:一、hadoop balance工具的用法: 启动balance: bin/start-balancer.sh -threshold 5 停止balance: bin/stop-balancer.sh二、影响hadoop balance工具的几个参数: -threshold默认设置:10,参数取值范围:0-100,参数含义:判断集群是否平衡的目标参数,每一个datanode存储使用率和集群总存储使用率的差值都应该小于这个阀值,理论上,该参数设置的越小,整个集群就越平衡,但是线上环境中,hadoop集群在进行balance时,还在并发的进行数据的吸入和删除,所以有可能无法到达设定的平衡参数值。
阅读全文
摘要:一、问题:在使用Hive0.11进行select查询的时候报:hive> create table zhifu2 as select distinct uid,substr(time,1,12),site from zhifu;Total MapReduce jobs = 1Launching Job 1 out of 1Number of reduce tasks not specified. Estimated from input data size: 1In order to change the average load for a reducer (in bytes): se
阅读全文
摘要:hive文件存储格式包括以下几类:1、TEXTFILE2、SEQUENCEFILE3、RCFILE4、ORCFILE(0.11以后出现)其中TEXTFILE为默认格式,建表时不指定默认为这个格式,导入数据时会直接把数据文件拷贝到hdfs上不进行处理;SEQUENCEFILE,RCFILE,ORCFILE格式的表不能直接从本地文件导入数据,数据要先导入到textfile格式的表中, 然后再从表中用insert导入SequenceFile,RCFile,ORCFile表中。前提创建环境:hive 0.8创建一张testfile_table表,格式为textfile。create table if
阅读全文
摘要:在创建表的时候报出如下错误:hive> create table if not exists testfile_table( > site string, > url string, > pv bigint, > label string) > row format delimited > fields terminated by '\t' > stored as textfile;FAILED: Error in metadata: javax.jdo.JDODataStoreException: Insert of objec
阅读全文
摘要:如果我们需要将两个select语句的结果作为一个整体显示出来,我们就需要用到union或者union all关键字。union(或称为联合)的作用是将多个结果合并在一起显示出来。 union和union all的区别是,union会自动压缩多个结果集合中的重复结果,而union all则将所有的结果全部显示出来,不管是不是重复。 Union:对两个结果集进行并集操作,不包括重复行,同时进行默认规则的排序; Union all:对两个结果集进行并集操作,包括重复行,不进行排序; Intersect:对两个结果集进行交集操作,不包括重复行,同时进行默认规则的排序; Minus:对两个结果集进行差.
阅读全文
摘要:一、Oracle 11g在Oracle的11g版本中提供了统计数据自动收集的功能。在部署安装11g Oracle软件过程中,其中有一个步骤便是提示是否启动这个功能(默认是启用这个功能)。在这里介绍一下怎么将该功能启用与禁用:1、查看自动收集统计信息的任务及状态:SQL> select client_name,status from dba_autotask_client;CLIENT_NAME STATUS---------------------------------------- ----------------auto optimizer stats c...
阅读全文
摘要:DECODE函数相当于一条件语句(IF),它将输入数值与函数中的参数列表相比较,根据输入值返回一个对应值。函数的参数列表是由若干数值及其对应结果值组成的若干序偶形式。当然,如果未能与任何一个实参序偶匹配成功,则函数也有默认的返回值。区别于SQL的其它函数,DECODE函数还能识别和操作空值。 其具体的语法格式如下: DECODE(input_value,value,result[,value,result...][,default_result]); 其中: input_value试图处理的数值。DECODE函数将该数值与一系列的序偶相比较,以决定最后的返回结果value是一组成序偶的数值。.
阅读全文
摘要:1、内存 Hadoop为各个守护进程(namenode,secondarynamenode,jobtracker,datanode,tasktracker)统一分配的内存在hadoop-env.sh中设置,参数为HADOOP_HEAPSIZE,默认为1000M。 大部分情况下,这个统一设置的值可能并不适合。例如对于namenode节点,1000M的内存只能存储几百万个文件的数据块的引用。如果我想单独设置namenode的村粗,可以通过HADOOP_NAMENODE_OPTS来设置。 同样的,可以通过HADOOP_SECONDARYNAMENODE_OPTS来设置secondarynamenod
阅读全文
摘要:一、配置文件列表如下:[hadoop@node1 conf]$ pwd/app/hadoop/conf[hadoop@node1 conf]$ echo $HADOOP_HOME/app/hadoop[hadoop@node1 conf]$ ll总计 60-rw-rw-r-- 1 hadoop hadoop 3936 2010-02-19 15:55 capacity-scheduler.xml-rw-rw-r-- 1 hadoop hadoop 535 2010-02-19 15:55 configuration.xsl-rw-rw-r-- 1 hadoop hadoop 435 201..
阅读全文