摘要：
1. 介绍 2. 实验说明 2.1 实验环境 2.2 实验方法 2.3 实验负载 3. MapReduce on alluxio 3.1 读取10G文件（1G split） 3.2 读取20G文件（1G split） 3.3 读取60G文件（1G split） 3.4 读取60G文件（512MB s 阅读全文
摘要：
转自：http://kaimingwan.com/post/alluxio/spark-on-alluxiohe-mr-on-alluxioce-shi-gai-jin-ban 1. 介绍 2. 准备数据 2.1 清空系统缓存 3. MR测试 3.1 MR without alluxio 3.2 M 阅读全文
摘要：
1. 介绍 2. 准备工作 2.1 tcpdump 2.2 winshark 2.3 安装iftop 2.4 alluxio网络通信相关的端口 3.iftop 锁定消耗流量最大的端口 4. dump数据 5. winshark中加载看看 1. 介绍 最近在使用alluxio的时候发现了网络流量比较大 阅读全文
摘要：
转自：http://kaimingwan.com/post/alluxio/effective-spark-rdds-with-alluxio 1. 介绍 2. 引言 3. Alluxio and Spark RDD Cache 4. 保存RDD 4.1 采用persist() 4.2 采用save 阅读全文
摘要：
1. hbase sink介绍 1.1 HbaseSink 1.2 AsyncHbaseSink 2. 配置flume 3. 运行测试flume 4. 使用RegexHbaseEventSerializer来处理些HBASE的值 5. 效率测试 1. hbase sink介绍 1.1 HbaseSi 阅读全文
摘要：
基于ThriftSource,MemoryChannel,HdfsSink三个组件，对Flume数据传输的事务进行分析，如果使用的是其他组件，Flume事务具体的处理方式将会不同。 Flume的事务处理原理： Flume在对Channel进行Put和Take操作的时候，必须要用事物包住,比如： Ch 阅读全文