摘要：
1.NIO与BIO相比，具有哪方面的优势？ （1）非阻塞：提高传输效率 （2）一对多连接：可以用一个或者少量的服务器中的线程来处理大量对的请求从而节省服务器的内存资源 （3）即使是已经建立连接，只要没有对应的读写事件，那么依然不能够使用服务器来进行处理 （4）利用通道来实现双向传输 （5）因为利用缓 阅读全文
摘要：
Hive的数据，是存在HDFS里的。此外，hive有哪些数据库，每个数据库有哪些表，这样的信息称之为hive的元数据信息。 元数据信息不存在HDFS里。而是存在关系型数据库里，hive默认用的是derby数据库来存储。即hive工作时，除了要依赖Hadoop，还要依赖关系型数据库。 注意：虽然我们能 阅读全文
摘要：
Hadoop开发存在的问题 只能用java语言开发，如果是c语言或其他语言的程序员用Hadoop，存在语言门槛。 需要对Hadoop底层原理，api比较了解才能做开发。 Hive概述 Hive是基于Hadoop的一个数据仓库工具。可以将结构化的数据文件映射为一张表，并提供完整的sql查询功能，可以将 阅读全文
摘要：
一、Memory Channel 事件将被存储在内存中（指定大小的队列里） 非常适合那些需要高吞吐量且允许数据丢失的场景下 属性说明： 二、JDBC Channel 事件会被持久化（存储）到可靠的数据库里，目前支持嵌入式Derby数据库。即source=》channel=》sink。在传输的过程中， 阅读全文
摘要：
一、Logger Sink 记录指定级别（比如INFO，DEBUG，ERROR等）的日志，通常用于调试 要求，在 --conf（-c )参数指定的目录下有log4j的配置文件 根据设计，logger sink将体内容限制为16字节，从而避免屏幕充斥着过多的内容。如果想要查看调试的完整内容，那么你应该 阅读全文
摘要：
source学习网址： http://flume.apache.org/FlumeUserGuide.html 一、Avro 类型的Source 监听Avro 端口来接收外部avro客户端的事件流。和netcat不同的是，avro-source接收到的是经过avro序列化后的数据，然后反序列化数据继 阅读全文
摘要：
安装步骤 1.安装jdk，1.6版本以上 2.上传flume的安装包 3.解压安装 4.在conf目录下，创建一个配置文件，比如：template.conf（名字可以不固定,后缀也可以不固定） 5.配置agent组件 相关配置： 6.根据指定的配置文件，来启动flume 进入flume的bin目录 阅读全文
摘要：
Flume 概念 Flume 最早是Cludera提供的日志收集系统，后贡献给Apache。所以目前是Apache下的项目，Flume支持在日志系统中指定各类数据发送方，用于收集数据。 Flume 是一个高可用的，高可靠的，鲁棒性（robust健壮性），分布式的海量日志采集、聚合和传输的系统，Flu 阅读全文