Steamship：语言 AI ​​的 Heroku

Steamship：语言 AI ​​的 Heroku

两年前，我离开了一份我喜欢的工作，除了探索一个我无法停止思考的问题之外，没有任何计划。 为什么发布使用 AI 的软件如此困难？

在过去的十年里，我在 MIT 做 NLP 研究，通过 Y Combinator 创办了一家开发工具初创公司，并在 Instabase 成长为一个语言处理独角兽。共同的主题似乎是 AI 不断改进，但交付它的难度保持不变。

这是一个例子。想象一下你在 Spotify 工作。您刚刚赢得了一场黑客马拉松，其原型可以转录播客剧集并预测主题标签。现在想象一下实际发布它需要什么：数月的自定义代码、基础设施和流程。微调不同的模型、排队分布式工作、监控正常运行时间、管理成本……

在生产 AI 方面，可能与实用之间存在巨大差距。如果我们要建立星际迷航宇宙，那就是个问题。人工智能仅仅聪明是不够的。它还必须易于构建。因为它是人工智能和软件的结合，而不是单独的人工智能，才能实现这个世界。

今天我很高兴地宣布 轮船 — 一家致力于将语言理解纳入每个软件开发人员的工具箱的公司。

Steamship 可让您在几分钟内将目标明确的全生命周期语言理解包添加到您的软件中。我们称这些捆绑包为“包”。它们像常规软件包一样导入您的代码，但它们在我们在云中的自动管理堆栈上运行。

我们今天发布的是其中三个软件包的测试版：一个从零样本平滑过渡到训练的分类器、一个用于社区聊天室的主题聚类工具，以及一个用于播客和 YouTube 频道的主题索引器。只需几行代码，就可以在任何开发环境中使用其中的每一个。 Streamlit 演示在我们的主页上 .

这个测试版只是我们更广泛平台的开始：一个用于语言 AI ​​的 Heroku，它允许任何人构建、捆绑、发布和​​共享全生命周期的语言 AI ​​包，而无需关心使它们成为可能的基础设施。

如果您是开发人员： 在此处阅读有关我们前三个软件包的更多信息 或者 在此处填写我们的入职表格 . （我们很早就开始使用 Zoom，但它很快！）

或者，继续阅读以深入了解我们正在解决的核心可用性问题之一。

由于意大利面条式基础设施，生产 AI 比原型 AI 难 100 倍。

你知道意大利面条代码是什么。 Spaghetti 基础设施是同样的东西，但使用云中的机器：EC2 实例、Sagemaker 端点、S3 存储桶等，通过胶带和 Terraform 固定在一起。

我们认为意大利面条基础设施是阻碍人工智能的最重要问题之一。

从表面上看，这个问题不可避免。毕竟，人工智能只是软件。为什么不只是运行你的 原型.py 文件在更大的机器上？

问题是原型中的每一行代码都需要以不同的方式扩展。因此，当您将其用于生产时，每一行代码都会变成不同的分布式架构。加上这些部分之间的协调，乘以模型版本和用户调整的数量，所有这些都将 FAST 加到一堆缠结在一起的机器上，上面覆盖着马力拉酱。

以下是您可能自己见过的一些意大利面的示例：

• 数据 .在规模上，您的数据不会全部存储在内存中。有些将存在于关系数据库中。模型参数将存在于 S3 中。特征和嵌入可能存在于向量存储中。您仍然可以集成所有业务数据，以及日志记录、指标和预测反馈。
• 版本控制。 随着时间的推移，您的模型将有多个版本，并针对每个客户范围进行不同的微调。管理这些的训练、参数存储和推理可用性是它自己的项目，可能需要内部开发工具。
• 计算 .为了不超出预算，原型的不同部分将过渡到不同类型的机器。训练可能在现场 GPU 上。推断可能是高内存保留 CPU。逻辑
• 控制流。 不同的组件需要不同的时间来运行，以不同的方式失败，并接受不同的输入大小。原型中的同步代码行现在是异步任务工作者，具有用于编组数据格式的包装器。

依此类推，直到您的原型的 AWS 足迹在复杂性上可以与您产品的其余部分相媲美。所有这一切都是为了一个新功能！

Sketch of the AWS footprint of an AI prototype after it’s been adapted for production.

对于企业而言，意大利面条式的基础设施使人工智能变得既危险又昂贵。对于开发人员来说，它对演示软件之外的实际可实现的东西施加了严格的限制。

我们认为这是一个至关重要的问题，因为一旦模型变得“足够好”，这是大量使用 AI 的最后障碍。

好消息：网络存在意大利面条式基础设施问题，我们解决了它。

我们认为 AI 的意大利面条式基础设施与 Web 应用程序堆栈的成长痛楚相呼应。

就在几年前，Web 开发人员还不得不在配置服务器、任务队列、静态缓存、身份验证系统、数据库模式、CDN 上投入巨大的精力——这是无穷无尽的！ ——所有这些都只是为了将原型 Web 应用程序转变为生产产品。

根本原因是一样的：昨天的网络代码的每一行都需要以不同的方式扩展。因此，每条生产线都需要一个单独的分布式基础设施。

Heroku、Netlify 和 Vercel 等公司通过构建世界级的参考堆栈、自动化管理以及提供极其简单的软件框架来解决这个问题。

因此，今天您可以运行一个命令来将您的原型部署到全球范围内，包括厨房水槽。这太不可思议了。

对于企业来说，这些堆栈管理成本和复杂性。对于开发人员来说，他们解锁了从创造力到教育再到利润的一切。

我们正在将这种思维方式应用于语言 AI ​​世界。

Steamship 是用于语言 AI ​​包的托管堆栈。

Steamship 是我们在过去的语言 AI ​​项目中想要的托管堆栈。

我们已经构建了一个世界一流的自动管理的参考堆栈，能够摄取自然语言数据，在其上训练和运行模型，并查询其结果。在该堆栈之上，我们添加了一个极其简单的 SDK，用于构建您可以在任何软件环境中共享和使用的包。

我们认为结果会改变游戏规则。

它为开发人员提供了与常规软件相同的“构建、捆绑、发布、共享”机制，而基础设施为零。我们已经将它构建为与当今所有出色的 API 一起使用，无论是 OpenAI、HuggingFace、Big Tech 还是 Hot Startup。

Steamship makes it possible to publish language AI packages that anyone can use in minutes.

我们将在接下来的几个月中推出 Steamship，从今天开始我们自己构建的三个测试包。 你可以在这里阅读更多关于它们的信息 或者 在此处填写入职表格 .

在接下来的几个月里，我们将通过自助注册、更多软件包以及更广泛的 SDK 来跟进，以构建和共享您自己的软件包。

最重要的是，我们很高兴能够从事一些我们知道将帮助他人创造伟大事物的事情。

作为建筑商伙伴，我们迫不及待地想看看您的产品！

• 泰德·本森和轮船队

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明

本文链接：https://www.qanswer.top/22508/29130710