摘要：
1、概述 相对于CDH使用yarn进行资源调度，TDH从6.x版本之后，就没有在使用yarn，而是默认使用K8S做资源调度了；假如在TDH上面安装了yarn组件，也可以使用yarn进行资源调度； 2、自己开发的spark的jar提交到TDH上执行报错 自己开发的spark的jar包提交到tdh上面执 阅读全文
摘要：
现象：使用Xshell连接远程服务器，一般选中都是鼠标选中，然后按快捷键 Ctrl+Insert复制，Shift+Insert粘贴。可是当选中后松开鼠标，这时候仿佛在xshell里自动输了一个回车"^C"，光标跳到下一行了。其实是一个Ctrl+C的组合键。如果正在当前终端调试或者跑程序，就会终止。原 阅读全文
摘要：
一、概述 通过Hive注册的永久类型的UDF函数在SparkSQL也可以使用，hive和sparksql通过类型映射对hive的udf函数与sparksql的udf转换进行了映射。 二、sparkSQL使用hive中UDF函数报错类找不到解决 2.1 Sparksql使用hive的UDF函数报错类找 阅读全文
摘要：
一、问题描述 Oracle 查询时使用时间作为where报错hour must be between 1 and 12； 二、原因和解决方法 2.1 原因 这个错误通常出现在你使用to_date函数时,区域时间设定为24小时。 2.2 解决方法： 如果对Oracle语言设置设定为使用12小时的时间, 阅读全文
摘要：
一、Java中识别Windows的目录结构问题 一般情况下，我们在使用windows的目录存储时，通过拷贝，都是类似于这种目录结构：D:\workspace；比较坑的是java在识别是会出错；Java可以识别的文件目录一般是这种情况的：D://workspace 二、Linux和Windows目录区 阅读全文
摘要：
一、Hive 执行引擎概述 目前hive执行引擎支持三种，包括mr、spark和Tz；mr是hive最早支持的数据类型，执行速度最慢，但是性能上也是最为稳定的；spark和Tz是后续支持的执行引擎，也是将hive的SQL语句转换为spark可以识别的sparksql语句进行执行。 二、当有空表出现时 阅读全文
摘要：
前言 Hive on Spark是指使用Spark替代传统MapReduce作为Hive的执行引擎，在HIVE-7292提出。Hive on Spark的效率比on MR要高不少，但是也需要合理调整参数才能最大化性能，本文简单列举一些调优项。为了符合实际情况，Spark也采用on YARN部署方式来 阅读全文
摘要：
一、概述 JVM参数调优是程序员必备的技能，JVM的参数主要分为三种类型：1、标准型：稳定，比如java -version 2、X：相对变化较少的 3、XX:JVM调优的主要部分 二、JVM调优参数 XX：型参数主要分为如下两种 2.1 Boolean类型的 a、使用方法是：-XX:[+/-] na 阅读全文
摘要：
一、概述 在实际应用中经常会碰到CSV文件带有表头的情况，Spark对CSV文件有响应的跳过表头的方法，Txt格式的文件没有响应的方法，需要加一个过滤器。 二、实现方法 如果第一条记录中只有一个标题行，那么过滤它的最有效方法是： rdd.mapPartitionsWithIndex { (idx, 阅读全文
摘要：
一、概述 当CDH平台开启kerberos后，需要kdc服务验证通过和kerberos协议验证通过才可以。如果将spark程序部署在CDH 机器上，直接在生成keytab并使用principal登录kerberos即可。 如果当spark应用程序部署在第三方机器上时，还需要处理krb5.conf注册 阅读全文