06 2024 档案

基于 JuiceFS 构建高校 AI 存储方案：高并发、系统稳定、运维简单
摘要：中山大学的 iSEE 实验室（Intelligence Science and System) Lab）在进行深度学习任务时，需要处理大量小文件读取。在高并发读写场景下，原先使用的 NFS 性能较低，常在高峰期导致数据节点卡死。此外，NFS 系统的单点故障问题也导致一旦数据节点宕机，该机器上的数据将 阅读全文
posted @ 2024-06-26 16:34 JuiceFS 阅读(201) 评论(0) 推荐(1) 编辑
贝壳找房: 为 AI 平台打造混合多云的存储加速底座
摘要：贝壳机器学习平台的计算资源，尤其是 GPU，主要依赖公有云服务，并分布在不同的地理区域。为了让存储可以灵活地跟随计算资源，存储系统需具备高度的灵活性，支持跨区域的数据访问和迁移，同时确保计算任务的连续性和高效性；此外，随着数据量的增长，元数据管理的压力也在逐渐加大。 贝壳机器学习平台团队从去年开始对 阅读全文
posted @ 2024-06-12 16:28 JuiceFS 阅读(163) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示