性能、成本与 POSIX 兼容性比较： JuiceFS vs EFS vs FSx for Lustre
JuiceFS 是一款为云环境设计的分布式高性能文件系统。Amazon EFS 易于使用且可伸缩，适用于多种应用。Amazon FSx for Lustre 则是面向处理快速和大规模数据工作负载的高性能文件系统。
在本文中，我们将通过一系列测试，来评估这三种主流文件系统的性能与成本表现，帮助用户快速了解这些产品。
01 测试环境
测试采用了AWS 的 c5.4xlarge 实例（16核，32GB 内存，10Gbps 网络带宽），涵盖了AWS EFS、JuiceFS 云服务（位于美西2区），以及 AWS FSx for Lustre（1.2 TB、1,200 MB/s配置）。
JuiceFS 客户端测试：配置了 4 个线程，同时测试大文件（1,024 MiB 文件，每块1 MiB 读/写）和小文件（128 KiB 文件，100 个文件读/写）。
02 性能测试与用例
性能测试主要用于评估大文件和小文件的顺序读写性能：
- 大文件顺序读写：对于需要持续吞吐量的应用非常关键，例如大语言模型（LLM）的数据处理和训练、基因测序、大数据分析、视频流和数据备份；
- 小文件顺序读写：模拟了在计算机视觉数据处理和模型训练、媒体处理、科学计算等领域常见的工作负载。
下表显示了吞吐量的测试结果（单位 MiB/s）：
| 测试场景 | EFS | JuiceFS | FSx for Lustre |
|---|---|---|---|
| 写大文件 | 475 | 1,116 | 594 |
| 读大文件 | 568 | 1,016 | 590 |
| 写小文件 | 29 | 8 | 297 |
| 读小文件 | 104 | 160 | 274 |
- 大文件：JuiceFS 在读写大文件方面是最快的。
- 小文件：FSx for Lustre 在读写小文件方面表现最佳。
挂载 JuiceFS 的参数如下：
- buffer-size=1024
- max-upload=200
- max-download=200
03 费用比较
下表列出了这些产品的收费标准（单位 $）：
| 费用项目 | EFS | JuiceFS | FSx for Lustre |
|---|---|---|---|
| 存储 | 0.30/GB-month | 0.02/GB-month + S3 0.023/GB-month | 0.60/GB-month |
| 写访问 | 0.06/GB 0.10/GB cross AZ | Free same region + S3 API $0.005/1,000 requests | Free same AZ 0.10/GB cross AZ |
| 读访问 | 0.03/GB 0.10/GB cross AZ | Free same region + S3 API $0.0004/1,000 requests | Free same AZ0.10/GB cross AZ |
| 读小文件 | 104 | 160 | 274 |
- AWS EFS 根据存储和访问量收费，对于大规模使用来说相对成本较高；
- 使用 JuiceFS 产生的费用，包括 S3 和 JuiceFS 两部分，但仍然是一个成本较低方案，尤其是当数据在同一区域内访问时，成本效益尤为突出；
- FSx for Lustre 提供了高性能，但其存储成本最高。
需要特别注意的是一项隐藏费用，跨可用区（AZ）数据传输费用。对于 AWS EFS 和FSx for Lustre 来说，跨不同可用区的数据传输可能会带来额外的成本。而 JuiceFS 利用了 S3 存储在同一地区内的可免费访问的特性，从而减少了这部分的费用。
04 POSIX 兼容性对比
在 AI 应用中，数据处理流程较为复杂，POSIX 兼容性成为团队考量的重要因素。因此，本次比较的结尾部分将提供这三种文件系统在 POSIX 兼容性方面的详细对比。在我们的另一篇博客文章中，对比了云上七款文件系统的 POSIX 兼容性，其中 JuiceFS 通过了全部 8832 项测试，EFS 未通过 1895 项测试，失败比例为 21%，具体测试项目可以参考这篇博客。
之前的测试未包含 FSx for Lustre, 我们按照上述博客中的测试方法，对 FSx for Lustre 的 POSIX 兼容性再次进行了测试，FSX for Lustre 有 16 项测试未通过， 其中 chown 失败 14 项，utimensat 失败 2 项。
此外，JuiceFS 支持 POSIX ACL、回收站、子目录挂载、子目录配额、数据透明压缩、数据在传输和静态时的加密、跨区域复制等功能。
05 小结
JuiceFS在顺序读/写场景中展现出了显著的性能优势，超越了AWS EFS，与 AWS FSx for Lustre 结果相当，但成本更低提供了。而针对随机读/写操作，通常网络文件系统是相对低效的，在这种情况下，为了获得最佳性能，建议使用高级集群技术，将操作集中在本地，同时将远程过程进行批量处理。
总体而言， JuiceFS 提供了兼顾性能与成本优势的方案，在需要大量顺序读/写工作负载的场景，JuiceFS 是一个不错的选择。
希望这篇内容能够对你有一些帮助，如果有其他疑问欢迎加入 JuiceFS 社区与大家共同交流。
