摘要： pom.xml 阅读全文

摘要： 在具体介绍本文内容之前，先给大家看一下Hadoop业务的整体开发流程： 从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步，从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用(日志采集)进行详细的介绍。 阅读全文

摘要： 本文介绍了不同的IO方式以及他们之间的效率比较 1.一次读取写入单个字节（读取400M的文件浪费了很久，等了很久没读取完成，证明其效率很差） 2.一次读取写入多个字节（读取400M的文件700ms） 3.文件流输入输出（读取400M的文件5000ms,为什么更慢呢，猜测是readline这里，大神可 阅读全文

摘要： 今天刚刚看完Java的io流操作，把主要的脉络看了一遍，不能保证以后使用时都能得心应手，但是最起码用到时知道有这么一个功能可以实现，下面对学习进行一下简单的总结： IO流主要用于硬板、内存、键盘等处理设备上得数据操作，根据处理数据的数据类型的不同可以分为：字节流（抽象基类为InPutStream和O 阅读全文

摘要： 转载：http://blog.csdn.net/clarkkentyang/article/details/52529785 第一章（略） 第二章 NIO入门 2.1传统的BIO编程（同步阻塞I/O服务端通信模型【一客户一线程】） 网络编程的基本模型：Client/Server模型，也就是2个进程之 阅读全文

摘要： 搜索命令： locate 可以根据文件名快速查找 使用updatedb立即更新数据库。 路径配置过滤（/etc/updatedb.conf） whereis -b 可执行文件名 which 可执行文件名 可以看到别名 find 范围 匹配条件 find / -name a.txt 精确匹配a.txt 阅读全文

摘要： sar（System Activity Reporter系统活动情况报告）是目前 Linux 上最为全面的系统性能分析工具之一，可以从多方面对系统的活动进行报告，包括：文件的读写情况、系统调用的使用情况、磁盘I/O、CPU效率、内存使用状况、进程活动及IPC有关的活动等。本文主要以CentOS 6. 阅读全文

摘要： 1.最简单的设计 一般来讲，设计消息队列的整体思路是先build一个整体的数据流, 例如producer发送给broker,broker发送给consumer,consumer回复消费确认，broker删除/备份消息等。 2.如何承载消息堆积 之后考虑如何承载消息堆积,然后在合适的时机投递消息，而处 阅读全文

摘要： ⒈GFS（Google File System）。一个分布式文件系统，隐藏下层负载均衡，冗余复制等细节，对上层程序提供一个统一的文件系统API接口。Google根据自己的需求对它进行了特别优化，包括：超大文件的访问，读操作比例远超过写操作，PC机极易发生故障造成节点失效等。GFS把文件分成64MB的 阅读全文

摘要： 转载：https://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper-code/ 本文首先讲解了 Apache ZooKeeper 服务启动的三种方式，即 Standalone、伪分布式、分布式。然后针对分布式模式启动步骤进行逐步介绍 阅读全文