LestatZ

2019年3月21日

摘要：收集记录了一些HUE中常用的元数据表的表结构，主要有： auth_permission auth_user axes_accessattempt axes_accesslog beeswax_queryhistory beeswax_session desktop_document2 具体DDL如下阅读全文

posted @ 2019-03-21 14:25 LestatZ 阅读(490) 评论(0) 推荐(0) 编辑

Autosys中ON_HOLD和ON_ICE的区别

摘要：对于Autosys中作业ON_HOLD和ON_ICE的区别，整理如下：ON HOLDON ICE表示作业处于暂停状态，并且在我们将其取消保留之前无法运行。表示作业已从作业流中删除，但仍定义任然在。该作业不会被启动，它会保持ON ICE，直到它收到JOB_... 阅读全文

posted @ 2019-03-21 14:07 LestatZ 阅读(489) 评论(0) 推荐(0) 编辑

Spark结构化API的执行过程——Logical Plan & Physical Plan

摘要：执行的基本步骤简单来说，Spark 对代码中Structured API的执行主要有以下几个步骤：我们可以通过console(如spark-shell)或者submit job(spark-submit)等方法将我们的代码提交到Spark。Spark使用 Catalyst Optimizer 优阅读全文

posted @ 2019-03-21 10:35 LestatZ 阅读(1290) 评论(1) 推荐(0) 编辑

2019年3月19日

关于Spark中Columns的引用方法

摘要：在Spark中有多种可以构建或者引用columns的方法，但是最简单的还是使用col 或者column函数。方法如下：在Scala中，还有其他一些特殊的并且更方便的方法来引用columns。例如以下的语法糖同样可以用来引用或者创建一个column(性能上没有差别)： $ 允许我们指定某个字符串来引阅读全文

posted @ 2019-03-19 11:52 LestatZ 阅读(768) 评论(0) 推荐(0) 编辑

2019年3月17日

关于Spark Dataset API中的Typed transformations和Untyped transformations

摘要：文章目录前言关于Dataset 关于Dataset API Typed and Un-typed APIs 关于Transformations Typed transformations vs Untyped transformations 总结参考资料文章目录前言关于Dataset 关阅读全文

posted @ 2019-03-17 19:37 LestatZ 阅读(527) 评论(0) 推荐(0) 编辑

2019年3月16日

关于Kafka Consumer 与 Partitions

摘要： Consumers and Consumer Groups 假设我们有一个应用程序需要从Kafka主题中读取消息，对它们运行一些简单的验证，并将结果写入另一个数据存储中。因此，我们需要将创建一个Consumer对象，订阅相应的主题，并开始接收消息，验证它们并编写结果。这可能会有一段时间，但如果写阅读全文

posted @ 2019-03-16 19:04 LestatZ 阅读(740) 评论(0) 推荐(0) 编辑

2019年3月13日

使用sed根据变量值注释掉文件中相匹配的记录行

摘要：问题描述有批量的profile文件需要更新，因为其中某些环境变量的值需要更新，于是利用sed命令写了如下函数，方便以后使用。代码展示阅读全文

posted @ 2019-03-13 20:35 LestatZ 阅读(588) 评论(0) 推荐(0) 编辑

sqoop export to teradata时出现java.lang.NullPointerException

摘要：在使用sqoop export时指定了 –driver com.teradata.jdbc.TeraDriver测试时候会出现以下错误：Error: java.lang.NullPointerException atcom.teradata.tdgss.j... 阅读全文

posted @ 2019-03-13 11:13 LestatZ 阅读(657) 评论(0) 推荐(0) 编辑

2019年3月12日

Shell中获取脚本的绝对路径$( cd "$( dirname "${BASH_SOURCE[0]}" )" && pwd)

摘要：文章目录示例代码代码解释总结文章目录示例代码代码解释总结示例代码代码解释总结示例代码代码解释总结示例代码代码解释总结示例代码代码解释总结我们可以在bash中使用以下命令获取所执行脚本的绝对路径： BASH_SOURCE[0] - 等价于 BASH_SOURCE 阅读全文

posted @ 2019-03-12 10:37 LestatZ 阅读(1941) 评论(0) 推荐(0) 编辑

2019年3月11日

关于Kafka Replication机制

摘要： Replication Kafka的replication复制机制是其可靠性的保证，即为每个分区数据提供多个副本。每个Kafka topic包含有多个分区，分区是kafka存储数据的基本单位。一个分区只能存储在同一个硬盘上。 Kafka保证每一个分区内的消息的顺序，无论这个分区是在线(availa 阅读全文

posted @ 2019-03-11 15:58 LestatZ 阅读(277) 评论(0) 推荐(0) 编辑

公告