上一页 1 2 3 4 5 6 ··· 13 下一页
摘要: 当集群中需要升级 Mount Pod 时,目前推荐的方式是更新配置后重新挂载应用 Pod 进行滚动升级,但这种升级方式的问题在于需要业务重启。 如果对业务的使用模式很清楚时,比如没有数据写入等,也可以选择手动重建 Mount Pod 的方式。在更新配置后,手动删除已有的 Mount Pod,并等待其 阅读全文
posted @ 2024-11-01 10:56 JuiceFS 阅读(130) 评论(0) 推荐(0) 编辑
摘要: 在早期阶段,vivo AI 计算平台使用 GlusterFS 作为底层存储基座。随着数据规模的扩大和多种业务场景的接入,开始出现性能、维护等问题。为此,vivo 转而采用了自研的轩辕文件系统,该系统是基于 JuiceFS 开源版本开发的一款分布式文件存储方案。 本文将介绍 vivo 轩辕文件系统在 阅读全文
posted @ 2024-10-25 15:35 JuiceFS 阅读(253) 评论(0) 推荐(0) 编辑
摘要: 随着大模型流行,GPU 算力资源正变得日益稀缺,传统的“算力跟着存储跑”的策略需要转变为“存储跟着算力跑”。为了确保数据一致性和管理的便捷性,企业通常在特定地区的公有云上选择对象存储作为所有模型数据的集中存储点。当进行计算任务调度时,往往需要人工介入,手动进行数据拷贝和迁移方法不仅成本高昂,还存在管 阅读全文
posted @ 2024-10-18 14:24 JuiceFS 阅读(213) 评论(0) 推荐(0) 编辑
摘要: 从去年开始,LLM大语言模型领域发展迅速、如 LLaMA、ChatGLM、Baichuan、Qwen 和 yi-model 等基础模型(Foundation Models)的数量显著增加。众多企业也开始基于这些基础模型做 post-training 的相关工作,以开发特定垂直领域的模型实现应用落地。 阅读全文
posted @ 2024-10-11 15:15 JuiceFS 阅读(277) 评论(0) 推荐(0) 编辑
摘要: Hugging Face 的 Transformers 是一个功能强大的机器学习框架,提供了一系列 API 和工具,用于预训练模型的下载和训练。为了避免重复下载,提高训练效率,Transformers 会自动下载和缓存模型的权重、词表等资源,默认存储在 ~/.cache/huggingface/hu 阅读全文
posted @ 2024-09-29 14:22 JuiceFS 阅读(355) 评论(1) 推荐(0) 编辑
摘要: 今天这篇博客来自全栈工程师朱唯唯,她在前不久举办的 KubeCon 中国大会上进行了该主题分享。 Kubernetes 已经成为事实的应用编排标准,越来越多的应用在不断的向云原生靠拢。与此同时,人工智能技术的迅速发展,尤其是大型语言模型(LLM)的推进,导致企业需要处理的数据量急剧增加,例如,Lla 阅读全文
posted @ 2024-09-25 15:29 JuiceFS 阅读(517) 评论(0) 推荐(1) 编辑
摘要: 今天这篇博客转载自我们的全栈工程师朱唯唯。在使用 Ollma 进行大模型加载时,她尝试使用了 JuiceFS 进行模型共享,JuiceFS 的数据预热和分布式缓存功能显著提升了加载效率,优化了性能瓶颈问题。 01 背景 随着 AI 技术的发展,大模型已经潜移默化地影响着我们的生活。商业 LLM 始终 阅读全文
posted @ 2024-09-09 17:09 JuiceFS 阅读(768) 评论(0) 推荐(1) 编辑
摘要: JuiceFS 是一款为云环境设计的分布式高性能文件系统。Amazon EFS 易于使用且可伸缩,适用于多种应用。Amazon FSx for Lustre 则是面向处理快速和大规模数据工作负载的高性能文件系统。 在本文中,我们将通过一系列测试,来评估这三种主流文件系统的性能与成本表现,帮助用户快速 阅读全文
posted @ 2024-09-04 17:17 JuiceFS 阅读(88) 评论(0) 推荐(0) 编辑
摘要: MiniMax 成立于 2021 年 12 月,是领先的通用人工智能科技公司,致力于与用户共创智能。MiniMax 自主研发了不同模态的通用大模型,其中包括万亿参数的 MoE 文本大模型、语音大模型以及图像大模型。 基于不同模态的通用大模型,MiniMax 推出生产力工具 “海螺 AI” 、沉浸式 阅读全文
posted @ 2024-09-02 17:02 JuiceFS 阅读(213) 评论(0) 推荐(0) 编辑
摘要: Clobotics 是一家将计算机视觉和机器学习技术应用于风电以及零售行业的企业。在风电行业,Clobotics 利用无人机对风力发电机叶片进行检查,显著降低了对人工作业的依赖。在零售领域,公司通过分析捕获的包装商品图像来提供基于实时数据的洞察,以增加销售额并减少运营成本。 存储方面,Cloboti 阅读全文
posted @ 2024-08-30 14:08 JuiceFS 阅读(87) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 ··· 13 下一页
点击右上角即可分享
微信分享提示