项目笔记

1.SPARK－SQL 执行几个集市表的ETL报错，出错为空指针异常，推断的表中数据内容有问题，同事重新生成一HIVE表后导入数据，问题消除，未找到根本原因

2.SQOOP提交时按队列

sqoop -D mapred.job.queue.name=queuename

SQOOP通过METASTORE是支持直接把ORC表导出到ORACLE的，但太大会有问题，是一个BUG

3.通过队列进行资源管理，可以默认让HIVE作业指向一个队列，让SPARK指向一个队列

4.HIVE的DATE不包含时分秒，而RDBMS中是包含时分秒的，这点需要特别注意，如果HIVE表中DATE类型的使用

SELECT ＊ FROM TABLENAME WHERE DATE_SUB(CURRENT_DATE,30)<DT

查找最近一个月的数据，如果这里的DT类型是TIMESTAMP，那么一定要转成TO_DATE(DT),否则比较的结果就是NULL

而且现在的HIVE早已经支持CURRENT_DATE,current_timestamp来获取当前时间了，不需要使用FROMUNIXTIMESTAMP函数那么麻烦。

5HIVE暂时不支持CTE（1.2.1）

6.分区表的ETL时，注意加set hive.exec.dynamic.partition.mode=nonstrict,否则ETL时会出错。

7.spark-submt --class xxxxName

--master yarn-client | yarn | local

--driver-memory 10g

--driver-cores 10

--executor-memory 10g

--executor-cores 10

--num-executors 10

./xxxx.jar

注意 根据自己作业的特点去分配这些值，尤其是EXECUTOR 的数量与内存分配，如果内存需求量大，就分多一些内存，还有CORES分配得多，这样同一个STAGE中的任务可以并行得就多。

spark-sql --master yarn-client spark sql只能以YARN－CLIENT OR LOCAL MODE RUN

8.SPARK项目中任务不可以序列化的错误，在EXECUTORS中执行的代码闭包了在DRIVER中声明的变量，而这个变量不能或没有序列化。

9. val x="abc$" if you want to get "abc" println(x.dropRight(1))

10.使用SQOOP把ORALCE数据导到HIVE外部表时，如果HIVE表中的数据类型与ORACLE中的某些字段类型差异较大时，HIVE表查询出来的数据是NULL，或精度丢失，真实的数据并没有丢失，修改HIVE表的结构即可。

11.random.shuffle(Array)使用来取ARRAY中随机的一个值，MAP，FORACH的区别是前者有返回值，后者没有。

12.根据数据量进行滑动，

val x4=Range(1,20).toBuffer

val wb=x4.sliding(10,5)

window size is 10 and step is 5.

13.hive中DOUBLE转DECIMAL，可能会因为DECIMAL的精度设置出现转换失败。

14.spark-sql中获取ORC表的元数据信息，有时候会出现_COL1..还有如果表的内容为空，则会出现目录下没有相应的ORC文件的错误，临时的解决方案是

set spark.sql.hive.convertMetaStoreOrc=false

15.spark连接HBASE，可以直接把HBASE－SITE。XML添加到环境变量，也可以直接把需要的几个项通过属性文件进行获取，然后对CONF对象进行赋值，

主要是hbase.zookeeper.quorum and zookeeper.znode.parent

16.rdd操作不能嵌套调用。

17.HIVE JOIN SRATEGY： SHUFFLE JOIN， BROADCSAT JOIN ，MERGE JOIN

create table xxx clustered by (xxx) sorted by (xxx) into 32 buckets.这种情况下的大表在MERGE JOIN时比较有优势，XXX指JOINKEY。

使用排序和分散来代替传统的索引，减少SHUFFLE。

18.jdbc:oracle:thin@hostname:port/serviceName|serviceid

旧的DRIVER只支持SERVICEID，现在新的支持SERVICENAME，这里需要注意。