随笔分类 -  Alluxio

采用alluxio提升MR job和Spark job性能的注意点
摘要：1. 介绍 2. 实验说明 2.1 实验环境 2.2 实验方法 2.3 实验负载 3. MapReduce on alluxio 3.1 读取10G文件（1G split） 3.2 读取20G文件（1G split） 3.3 读取60G文件（1G split） 3.4 读取60G文件（512MB s 阅读全文
posted @ 2016-12-16 12:08 XGogo 阅读(2488) 评论(0) 推荐(0) 编辑
spark on alluxio和MR on alluxio测试(改进版)【转】
摘要：转自：http://kaimingwan.com/post/alluxio/spark-on-alluxiohe-mr-on-alluxioce-shi-gai-jin-ban 1. 介绍 2. 准备数据 2.1 清空系统缓存 3. MR测试 3.1 MR without alluxio 3.2 M 阅读全文
posted @ 2016-12-16 12:07 XGogo 阅读(1294) 评论(0) 推荐(0) 编辑
alluxio网络流量异常分析【转】
摘要：1. 介绍 2. 准备工作 2.1 tcpdump 2.2 winshark 2.3 安装iftop 2.4 alluxio网络通信相关的端口 3.iftop 锁定消耗流量最大的端口 4. dump数据 5. winshark中加载看看 1. 介绍 最近在使用alluxio的时候发现了网络流量比较大 阅读全文
posted @ 2016-12-16 12:02 XGogo 阅读(691) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示