11 2016 档案
摘要：```java package cn.xingoo.learn.commons; import org.apache.commons.io.FileUtils; import org.apache.commons.io.filefilter.DirectoryFileFilter; import org.apache.commons.io.filefilter.FileFileFilter; i...
阅读全文
摘要：最近工作遇到一个需求，需要下载excel模板，编辑后上传解析存储到数据库。因此为了更好的理解公司框架，我就自己先用spring mvc实现了一个样例。 基础框架 之前曾经介绍过一个最简单的spring mvc的项目如何搭建， "传送门在这里" 。 这次就基于这个工程，继续实现上传下载的小例子。需要做
阅读全文
摘要：Sqoop通过 split by指定切分的字段， m设置mapper的数量。通过这两个参数分解生成m个where子句，进行分段查询。因此sqoop的split可以理解为where子句的切分。 第一步，获取切分字段的MIN()和MAX() 为了根据mapper的个数切分table,sqoop首先会执行
阅读全文
摘要：Sqoop的使用应该是Oozie里面最常用的了，因为很多BI数据分析都是基于业务数据库来做的，因此需要把mysql或者oracle的数据导入到hdfs中再利用mapreduce或者spark进行ETL，生成报表信息。 因此本篇的Sqoop Action其实就是运行一个sqoop的任务而已。 同样ac
阅读全文
摘要：Oozie在执行sqoop的时候报错，同样的SQL在sqoop中可用，在oozie中不可用： 原因，在使用left join的时候使用了别名。而split by字段，没有指定别名。 至于为什么在sqoop中好使，这个有时间看看源码吧。 另外，Oozie在使用时间字段进行split by的时候也会报错
阅读全文
摘要：
阅读全文
摘要：继前一篇大体上翻译了Email的Action配置，本篇继续看一下Shell的相关配置。 Shell Action Shell Action可以执行Shell脚本命令，工作流会等到shell完全执行完毕后退出，再执行下一个节点。为了运行shell，必须配置 以及 ，并且设置 来执行shell. She
阅读全文
摘要：在大数据的当下，各种spark和hadoop的框架层出不穷。各种高端的计算框架，分布式任务如乱花般迷眼。你是否有这种困惑！——有了许多的分布式任务，但是每天需要固定时间跑任务，自己写个调度，既不稳定，又没有可靠的通知。 想要了解 "Oozie的基础知识，可以参考这里" 那么你应该是在找——Oozie
阅读全文
摘要：使用ES的基本都会使用过head，但是版本升级到5.0后，head插件就不好使了。下面就看看如何在5.0中启动Head插件吧！ Head目前支持5.0了！请不要看本篇文章了 Head目前支持5.0了！请不要看本篇文章了 Head目前支持5.0了！请不要看本篇文章了 Head目前支持5.0了！请不要看
阅读全文
