上一页 1 ··· 10 11 12 13 14

2018年4月4日

大数据任务调度工具azkaban安装的相关文档

摘要: 区配置: 1.查看时区 2 .修改时区 3 安装mysql 下载MySQL数据脚本(如下有安装MySQL服务可以忽略) 下载然后解压;tar -zxvf azkaban-sql-script-2.5.0.tar.gz 创建用户、分配权限并执行脚本 mysql –u root –pxxxx 创建数据库 阅读全文

posted @ 2018-04-04 15:20 gxg123 阅读(299) 评论(0) 推荐(0) 编辑

2018年4月2日

关于spring-boot 的日志输出到控制台和指定文件的配置

摘要: (1)问题:在本地使用spring-boot开发的程序,一直想让文件按照天输出到某个文件夹下面。但是一直成功。 解决过程: 想到日志优先想着配置log4j.properties文件,但是一直不 成功,我把文件放在source目录下。不生效。 然后查资料了解到spring-boot的日志输出使用的是l 阅读全文

posted @ 2018-04-02 17:50 gxg123 阅读(639) 评论(0) 推荐(0) 编辑

关于在eclipse当中,对接口方法的实现使用@Override报错的解决方式

摘要: 如果第一种方法不能解决问题,可以使用第二种方法解决问题。 阅读全文

posted @ 2018-04-02 09:39 gxg123 阅读(195) 评论(0) 推荐(0) 编辑

2018年3月29日

任务调度工具oozie和azkaban的对比

摘要: 1.工作流调度工具:(azkaban 和oozie的对比) 调度工具性能对比:Apache Oozie,其配置工作流的过程是编写大量的XML配置,而且代码复杂度比较高,不易于二次开发。ooize相比azkaban是一个重量级的任务调度系统,功能全面,但配置使用也更复杂。如果可以不在意某些功能的缺失, 阅读全文

posted @ 2018-03-29 17:42 gxg123 阅读(22020) 评论(5) 推荐(1) 编辑

2018年3月26日

实现Linux和windows之间实现文件传输的问题解决方式。sftp和ftp

摘要: 问题: 在将Linux上面的文件传输到Windows上面的时候。出现Auth fail; 解决方法:这个时候需要看你的主机名和端口号是否是正确的。错误如下: 问题2:出现连接拒绝的状态。refuse connection。 我是从Linux到windows上传文件的因为我们使用的jcraft这个包。 阅读全文

posted @ 2018-03-26 18:22 gxg123 阅读(435) 评论(0) 推荐(0) 编辑

使用spring-boot创建定时任务。同时创建多线程执行定时任务。

摘要: 1,下载spring-boot的maven工程:http://start.spring.io/ 直接自定义工程名称。 2 , 启动类增加注解:@EnableScheduling 具体的业务代码: package com.huike.ftp.main; import java.util.Date;im 阅读全文

posted @ 2018-03-26 18:03 gxg123 阅读(1106) 评论(0) 推荐(0) 编辑

2018年3月19日

关于在hue当中通过oozie提交各类文件的总结(shell脚本,hive ,mr)

摘要: 在oozie上面提交作业报错的解决办法: (1) 在oozie上将写好的好sqoop脚本添加上来的时候,这个时候报错。说一直没有权限: 解决方法: (1) 首先想到的时去修改这个文件的权限。然后修改之后还是不行。然后尝试各种各样的问题(hue采用的是4.1.0,oozie采用的是4.2.0,sqoo 阅读全文

posted @ 2018-03-19 17:37 gxg123 阅读(1197) 评论(0) 推荐(0) 编辑

2017年11月15日

关于从kafka采集数据到flume,然后落盘到hdfs上生成的一堆小文件的总结

摘要: 采集数据到kafka,然后再通过flume将数据保存到hdfs上面。在这个过程当中出现了一堆的问题。 (1)一直是提醒说必须指定topic,然后发现我kafka用的是0.9.0.1,然而我的flume用的是1.6.然后将flume的版本调为1.7之后问题解决了。 (2)flume能够正常启动。然而这 阅读全文

posted @ 2017-11-15 20:53 gxg123 阅读(5195) 评论(3) 推荐(0) 编辑

上一页 1 ··· 10 11 12 13 14

导航