09 2024 档案

Hugging Face + JuiceFS：多用户多节点环境下提升模型加载效率
摘要：Hugging Face 的 Transformers 是一个功能强大的机器学习框架，提供了一系列 API 和工具，用于预训练模型的下载和训练。为了避免重复下载，提高训练效率，Transformers 会自动下载和缓存模型的权重、词表等资源，默认存储在 ~/.cache/huggingface/hu 阅读全文
posted @ 2024-09-29 14:22 JuiceFS 阅读(353) 评论(1) 推荐(0) 编辑
大模型训练：K8s 环境中数千节点存储最佳实践
摘要：今天这篇博客来自全栈工程师朱唯唯，她在前不久举办的 KubeCon 中国大会上进行了该主题分享。 Kubernetes 已经成为事实的应用编排标准，越来越多的应用在不断的向云原生靠拢。与此同时，人工智能技术的迅速发展，尤其是大型语言模型（LLM）的推进，导致企业需要处理的数据量急剧增加，例如，Lla 阅读全文
posted @ 2024-09-25 15:29 JuiceFS 阅读(512) 评论(0) 推荐(1) 编辑
Ollama + JuiceFS：一次拉取，到处运行
摘要：今天这篇博客转载自我们的全栈工程师朱唯唯。在使用 Ollma 进行大模型加载时，她尝试使用了 JuiceFS 进行模型共享，JuiceFS 的数据预热和分布式缓存功能显著提升了加载效率，优化了性能瓶颈问题。 01 背景 随着 AI 技术的发展，大模型已经潜移默化地影响着我们的生活。商业 LLM 始终 阅读全文
posted @ 2024-09-09 17:09 JuiceFS 阅读(754) 评论(0) 推荐(1) 编辑
性能、成本与 POSIX 兼容性比较： JuiceFS vs EFS vs FSx for Lustre
摘要：JuiceFS 是一款为云环境设计的分布式高性能文件系统。Amazon EFS 易于使用且可伸缩，适用于多种应用。Amazon FSx for Lustre 则是面向处理快速和大规模数据工作负载的高性能文件系统。 在本文中，我们将通过一系列测试，来评估这三种主流文件系统的性能与成本表现，帮助用户快速 阅读全文
posted @ 2024-09-04 17:17 JuiceFS 阅读(85) 评论(0) 推荐(0) 编辑
MiniMax：如何基于 JuiceFS 构建高性能、低成本的大模型 AI 平台
摘要：MiniMax 成立于 2021 年 12 月，是领先的通用人工智能科技公司，致力于与用户共创智能。MiniMax 自主研发了不同模态的通用大模型，其中包括万亿参数的 MoE 文本大模型、语音大模型以及图像大模型。 基于不同模态的通用大模型，MiniMax 推出生产力工具 “海螺 AI” 、沉浸式 阅读全文
posted @ 2024-09-02 17:02 JuiceFS 阅读(212) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示