洞察:OpenAI 全球宕机,企业应该如何应对 LLM 的不稳定性?

北京时间12月12日上午,OpenAI证实其聊天机器人ChatGPT正经历全球范围的宕机,ChatGPT、Sora及API受到影响。OpenAI 更新事故报告称,已查明宕机原因,正努力以最快速度恢复正常服务,并对宕机表示歉意。


此次 OpenAI 故障持续了 4小时10分钟,毕竟 ChatGPT 每周活跃用户超过 2.5 亿,严格来说,这是一场 P0 级的生产事故了。这一问题影响了包括 苹果 iOS 18.2 与 Siri 的集成功能,国内外各种依托 Open AI 的各种 AI 周边产品也是随之停摆半个小时。然而这已经不是 OpenAI 第一次出现故障了,自 OpenAI 的服务推出以来就经历了多次宕机事故 :

  • 2023年3月20日:OpenAI的ChatGPT历史会话记录出现长时间无法显示的问题,原因是开源库中的一个重大漏洞。OpenAI发表声明表示已经恢复了所有用户的对话历史记录,并解决了潜在问题。
  • 2023年11月7日至8日:OpenAI的ChatGPT和API服务经历了将近2小时的严重故障,被定义为“严重停机”(Major Outage)。故障时间从11月7日开始发现部分服务中断,并一直持续到11月8日凌晨。
  • 2024年6月4日:OpenAI的ChatGPT(包括网站、App和桌面应用)出现系统故障,导致全球数百万用户无法正常使用,持续长达近8个小时。
  • 2024年6月17日至18日:OpenAI的ChatGPT发生故障,美国和英国的移动端和网页版ChatGPT会时不时地无法应答用户的提问。OpenAI迅速确认问题,并在一定时间内解决了问题。
  • 2024年12月5日:API与ChatGPT曾经历短暂性能下降问题,影响时间约为12月5日7:45至7:50(北京时间)。2024年12月12日:OpenAI证实其聊天机器人ChatGPT正经历全球范围的宕机,ChatGPT、Sora及API受到影响。至当日9时50分,API和ChatGPT服务部分恢复,Sora仍处于瘫痪状态。

从基础设施角度来看,ChatGPT 已逐步成为类似传统云服务的关键组成部分,许多公司已经将 OpenAI 的 API 集成进日常业务也运营获得中,任何服务中断都可能影响到自动化和客户服务等核心功能,AI 的稳定性和可靠性问题越发不容忽视。

虽然故障持续时间较短,如果你的业务刚好就是将 AI 应用在股市、或者即时面试产品、更或者是医疗辅助类等业务的企业,关键业务非故障中断,对用户的印象和企业本身的品牌损害有时候是难以估量的。对于依赖 AI 技术的各行业来说,如何在创新和稳定性之间找到平衡,势必是要考虑的问题。

同时接入多个大模型避免宕机导致业务中断

〇 为什么接入多款 AI 大模型?
相信很多企业都是仅仅接入一个 LLM,可能是处于对 LLM 的能力考虑,也有是成本考虑。然而在实际生产环境、业务环境过程中“用一个 LLM 就解决所有问题”的设计思路似乎已经难以满足实际需求比如:某企业借助 AI 做数字图书的业务。整个过程中,对 AI 的能力要求不仅仅是“文生图”,还有长文的理解能力,保证故事前后文连贯性。

这种情况下,可能需要接入多个模型去解决:A模型负责长文识别,B模型负责生图。另外,如果 A 或 B 模型刚好遇到 Open AI 一样的宕机问题,是否有个备用马上接替 A 模型?

APIPark开源 LLM 网关解决方案

APIPark 是一款高性能的企业级 LLM 网关,通过简化大模型的调用路径和统一 API 格式,有效降低企业调用大模型的门槛。 截止目前,APIPark 已经对接多款市面上热门的 AI 大模型,并支持 AI Agent 的快速打通,并且提供 Prompt 与 AI 封装成 API 功能,可搭建自己专属的 API 开放门户,拥有丰富的 API 管理功能,特别适合需要自定义和多样化 AI 应用的团队。

随着企业对 AI 的使用越来越深入,应对多场景的负载均衡日趋增加。企业需要一个更加灵活、自动化的解决方案,来确保 AI 基础设施的高可用性、低延迟和无缝扩展。APIPark 提供高效的负载均衡解决方案,优化了请求在多个大型语言模型实例之间的分配,确保在大型语言模型之间的无缝切换,减少业务因外部因素的影响。

比如: 企业的业务同时接入 OpenAI 和 Anthropic,Gemini 接口上的不同实例。当其中实例访问量大、或者 LLM 宕机、又或者 LLM 额度消耗尽未检测到等等导致的故障,则可以无缝切换到下一个备用的 AI 大模型。

未来,APIPark 还将扩展更多高价值功能,包括且不限于:

  • 智能分流与速率限制:灵活配置不同业务场景下的流量分配策略,保障服务稳定性。
  • 大模型调用 Token 配额:帮助企业精细化管理和优化 LLM 的调用成本,避免资源浪费。
  • API 调用计费:提供透明、可视化的计费管理工具,为企业 API 商业化提供技术支、以及精细计算 LLM 调用成本。
  • 语义缓存:通过智能缓存机制减少LLM的重复调用,降低延迟和成本,同时提高用户请求的响应速度。
  • 更多功能即将到来...

APIPark 致力于通过不断迭代与创新为企业提供更加智能、更加精细化的 LLM 配套管理能力,帮助企业在 AI 时代抢占先机,从容应对复杂的业务需求,提升效率与竞争力。如果您也对 APIPark 未来的功能感兴趣,并有意向参与我们项目的开源共建,请登录 APIPark Github 仓 给我们开源团队提出您宝贵的建议!另外,Star 和 Fork 一下~ 让我们有动力给大家提供更好的开源体验!

posted @ 2024-12-13 10:38  骑鱼猫  阅读(14)  评论(0编辑  收藏  举报