摘要: 下载 http://www.confluent.io/download,打开后,显示最新版本3.0.0,然后在右边填写信息后,点击Download下载。 之后跳转到下载页面,选择zip 或者 tar都行, 下载完成后上传linux系统,解压即完成安装。 zip and tar archives – 阅读全文
posted @ 2016-07-26 22:22 银雪飞马 阅读(10241) 评论(1) 推荐(0) 编辑
摘要: 最开始接触confluent是通过这篇博客,How to Build a Scalable ETL Pipeline with Kafka Connect,对于做大数据的,数据的ETL(抽取,转换,装载)是必不可少的。例如,要把传统的关系型数据库中的数据导入到HDFS里,或者导入到Hive中,进一步 阅读全文
posted @ 2016-07-22 19:17 银雪飞马 阅读(30975) 评论(0) 推荐(8) 编辑
摘要: 转自:https://prefrontaldump.wordpress.com/2016/05/02/using-confluents-jdbc-connector-without-installing-the-entire-platform/ I was interested in trying 阅读全文
posted @ 2016-07-06 17:07 银雪飞马 阅读(973) 评论(0) 推荐(0) 编辑
摘要: 在这篇文章中,我将要介绍如何搭建和使用Apache Kafka在windows环境。在开始之前,简要介绍一下Kafka,然后再进行实践。 Apache Kafka Kafka是分布式的发布-订阅消息的解决方案。相比于传统的消息系统,Kafka快速,可扩展,耐用。想象一下传统的发布-订阅消息系统,pr 阅读全文
posted @ 2016-07-05 21:31 银雪飞马 阅读(583) 评论(0) 推荐(0) 编辑
摘要: 转自:http://lvjun106.iteye.com/blog/1849803 这里所用到的MAVEN-PLUGIN是MAVNE-ASSEMBLY-PLUGIN 官方网站是:http://maven.apache.org/plugins/maven-assembly-plugin/usage.h 阅读全文
posted @ 2016-07-05 16:50 银雪飞马 阅读(451) 评论(0) 推荐(0) 编辑
摘要: 使用Sqoop把oracle数据库中的一张表,这里假定为student,当中的数据导入到hdfs中,然后再创建hive的external表,location到刚才保存到hdfs中数据的位置。最后发现对hive中表特定条件进行count时结果和oracle中结果不一致。 sqoop import -- 阅读全文
posted @ 2016-03-19 00:15 银雪飞马 阅读(10581) 评论(1) 推荐(2) 编辑
摘要: 转自:NO END FOR LEARNING http://benweizhu.github.io/blog/2015/01/31/deep-into-gradle-in-action-1/ 什么是构建工具? 一个可编程的工具,能够以可执行和有序的任务来表达满足需要的自动化过程。 以Java为例,要 阅读全文
posted @ 2016-03-10 15:17 银雪飞马 阅读(15771) 评论(0) 推荐(1) 编辑
摘要: 转自Lippi-浮生志 :http://ezlippi.com/blog/2015/05/gradle-dependency-management.html 这一章我将介绍Gradle对依赖管理的强大支持,学习依赖分组和定位不同类型仓库。依赖管理看起来很容易,但是当出现依赖解析冲突时就会很棘手,复杂 阅读全文
posted @ 2016-03-10 13:52 银雪飞马 阅读(9813) 评论(0) 推荐(0) 编辑
摘要: 转自紫风乱写:http://www.blogjava.net/justfly/archive/2014/08/10/416768.html,建议大家去原处学习 写在前面的话: 作为《Java程序员修炼之道》博文的第一个主题Logging,我计划中按照如下三篇来写: Logback的简单介绍和配置 在 阅读全文
posted @ 2016-03-10 11:49 银雪飞马 阅读(760) 评论(0) 推荐(0) 编辑
摘要: 通过两步来解决 1:Window->Preferences->General->Keys,输入content assist,把Binding改成alt + / 2:在下面,有一个when,选择editing text。 然后应该就可以了 阅读全文
posted @ 2016-02-23 17:12 银雪飞马 阅读(527) 评论(0) 推荐(0) 编辑