摘要: 1. HBase介绍及简易安装(转)2. java操作Hbase实例3. HBase入门基础教程之单机模式与伪分布式模式安装(转)4. HBase教程5. 用Java操纵HBase数据库(新建表,插入,删除,查找)6. 用Spark向HBase中插入数据7. 用Spark查询HBase中的表数据8.... 阅读全文
posted @ 2015-11-24 20:42 ~风轻云淡~ 阅读(205) 评论(0) 推荐(0) 编辑
摘要: 原文链接:HBase介绍及简易安装HBase简介HBase是Apache Hadoop的数据库,能够对大型数据提供随机、实时的读写访问,是Google的BigTable的开源实现。HBase的目标是存储并处理大型的数据,更具体地说仅用普通的硬件配置,能够处理成千上万的行和列所组成的大型数据库。HBa... 阅读全文
posted @ 2015-11-24 20:41 ~风轻云淡~ 阅读(261) 评论(0) 推荐(0) 编辑
摘要: 1. 通过java读取HDFS的数据 (转) 2. FLume监控文件夹,将数据发送给Kafka以及HDFS的配置文件详解 3. 开启hadoop和Hbase集群的lzo压缩功能(转) 4. Hadoop集群WordCount运行详解(转) 阅读全文
posted @ 2015-11-24 19:04 ~风轻云淡~ 阅读(164) 评论(0) 推荐(0) 编辑
摘要: 原文链接:通过java读取HDFS的数据 通过JAVA直接读取HDFS中的时候,一定会用到FSDataInputStream类,通过FSDataInputStream以流的形式从HDFS读数据代码如下:import java.io.IOException;import java.net.URI;im... 阅读全文
posted @ 2015-11-24 19:03 ~风轻云淡~ 阅读(6483) 评论(0) 推荐(0) 编辑
摘要: 原文链接:记Flume-NG一些注意事项这里只考虑flume本身的一些东西,对于JVM、HDFS、HBase等得暂不涉及。。。。一、关于Source:1、spool-source:适合静态文件,即文件本身不是动态变化的;2、avro source可以适当提高线程数量来提高此source性能;3、Th... 阅读全文
posted @ 2015-11-24 14:10 ~风轻云淡~ 阅读(2170) 评论(0) 推荐(0) 编辑
摘要: 原文链接:spark读取 kafka nginx网站日志消息 并写入HDFS中spark 版本为1.0kafka 版本为0.8首先来看看kafka的架构图 详细了解请参考官方我这边有三台机器用于kafka 日志收集的A 192.168.1.1 为serverB 192.168.1.2 为produc... 阅读全文
posted @ 2015-11-24 11:23 ~风轻云淡~ 阅读(802) 评论(0) 推荐(0) 编辑
摘要: 以下是我收集的Java开发牛人必备的网站。这些网站可以提供信息,以及一些很棒的讲座,还能解答一般问题、面试问题等。质量是衡量一个网站的关键因素,我个人认为这些网站质量都很好。接下来,我会跟大家分享我是如何使用这些网站学习和娱乐的。或许你会认为有些网站适合任何水平的开发者,但是我认为:对于Java开发... 阅读全文
posted @ 2015-11-24 09:25 ~风轻云淡~ 阅读(760) 评论(0) 推荐(0) 编辑