LestatZ

2019年2月18日

摘要：写了一个简单脚本用来解决Mac上访问github慢的问题，基本思路如下：访问 http://github.global.ssl.fastly.net.ipaddress.com/#ipinfo 获取github的IP地址在/etc/hosts中加入查询到的I... 阅读全文

posted @ 2019-02-18 21:20 LestatZ 阅读(1367) 评论(0) 推荐(0) 编辑

[Hive笔记]Hive架构

摘要： Hive架构图 Hive主要组件 UI 用户界面用户通过用户界面（CLI或则Web UI）向系统提交查询或者其他操作 Driver 驱动器接受查询的组件，提供了JDBC/ODBC接口。 Compiler 编译器解析查询的组件，对不同的查询块或查询语句进行语义解析，并配合表和分区的元数据生成执行阅读全文

posted @ 2019-02-18 16:23 LestatZ 阅读(199) 评论(0) 推荐(0) 编辑

2019年2月17日

[学习笔记]CA Autosys(1)

摘要： start_mins 的最小间隔是15分钟如果版本允许(11.3.x)，推荐使用FileTrigger代替FileWatcher condition的长度上限是4096个字符要配置复杂的条件condition，请将一系列条件和AND或OR逻辑运算符组合使用。可以使用管道符号（|）代替OR，（＆阅读全文

posted @ 2019-02-17 21:19 LestatZ 阅读(378) 评论(0) 推荐(0) 编辑

[文章翻译]时间序列异常检测

摘要：文章目录背景介绍文章翻译Abstract 摘要Keywords 关键词INTRODUCTION 简介RELATED WORK 相关工作DATA PREPROCESSING AND INITIAL ANALYTICS 数据预处理与初始分析DETECTION R... 阅读全文

posted @ 2019-02-17 20:09 LestatZ 阅读(1045) 评论(0) 推荐(0) 编辑

Mac上配置IntelliJ IDEA的Spark源码阅读环境

摘要：文章目录环境准备主要工具/软件Git 安装IntelliJ IDEA 下载及 Scala 插件安装sbt 安装基本步骤获取git目录在IDEA中构建sparkIDEA中查看代码环境准备主要工具/软件gitIntellij IDEA & Scala Plugi... 阅读全文

posted @ 2019-02-17 18:22 LestatZ 阅读(651) 评论(0) 推荐(0) 编辑

2019年2月16日

Apache Pig使用MongoLoader产生大量空文件问题

摘要：文章目录问题描述原因分析解决方法文章目录问题描述原因分析解决方法问题描述原因分析解决方法问题描述原因分析解决方法问题描述项目中需要利用Pig MongoLoader将MongoDB里面的数据每日增量备份到hive的外部分区表中，但是在检查hdfs文件发现分区文件夹下产生阅读全文

posted @ 2019-02-16 22:08 LestatZ 阅读(243) 评论(0) 推荐(0) 编辑

执行sparksql出现OOM问题

摘要：一开始使用yarn-client模式提交作业时一切正常，但换成cluster模式下使用sparksql方法执行hive查询语句时，却出现了如下的OOM问题：出现这个错误原主要原因是太多的类或者太大的类都被加载到永久代，导致存储器中永久代的内存耗尽。而我们这里主要是因为SparkSql在获取Hiv 阅读全文

posted @ 2019-02-16 21:03 LestatZ 阅读(1500) 评论(0) 推荐(0) 编辑

VirtualBox共享MacOS的VPN

摘要：在Mac上装了一个Cloudera的quickstart版本到virtualbox里面发现无法共享主机的VPN，简单搜索了一下，只需要做一些基本的配置就可以了。设置主机SS的HTTP 代理如图：设置虚拟机网络连接模式选择桥接模式,并选择WiFI(Airpor... 阅读全文

posted @ 2019-02-16 12:28 LestatZ 阅读(0) 评论(0) 推荐(0) 编辑

[TD笔记]Teradata XML

摘要：简介Teradata数据库 (以下简称TD) 为存储和处理XML数据提供以下支持：XML数据类型，允许用户以紧密二进制形式存储XML内容，用来保留XML文档的信息集支持常见XML操作，如解析，验证，转换（XSLT）和查询（XPath和XQuery）等和方法用... 阅读全文

posted @ 2019-02-16 12:11 LestatZ 阅读(276) 评论(0) 推荐(0) 编辑

Redhat上离线/非root安装python库

摘要：文章目录问题概述主要思路NotesUse external python packageRPM packageUsing rpm2cpio (Recommended)Test python package using `export PYTHONPATH`B... 阅读全文

posted @ 2019-02-16 12:09 LestatZ 阅读(651) 评论(2) 推荐(0) 编辑

公告