新系列：使用机器学习创建媒体
新系列：使用机器学习创建媒体
经过 我们艾扬格 , Keila Fong , 侯赛因·塔加维 , 姚安迪 , 凯莉·格里格斯 , 鲍里斯·陈 , 阿米尔·齐艾 , 比鲁尔引擎 , 詹姆斯·雷 , 乔纳森·索洛扎诺-汉密尔顿
欢迎阅读我们的多部分系列文章中的第一篇文章，介绍 Netflix 如何开发和使用机器学习 (ML) 来帮助创作者制作更好的媒体——从电视节目到预告片，从电影到宣传艺术等等。
媒体是 Netflix 的核心。它是我们向会员传递各种情感和体验的媒介。通过每次参与，媒体是我们为会员带来持续快乐的方式。
这个博客系列将带您走进幕后，向您展示我们如何利用机器学习的力量在全球范围内创建令人惊叹的媒体。
在 Netflix，我们每年都会为全球会员推出数千部新的电视节目和电影。每个标题都使用一组自定义的艺术品和视频资产进行宣传，以帮助每个标题找到其粉丝。我们的目标是为创作者提供创新工具，以支持他们有效和高效地创建最好的媒体。
借助以媒体为中心的 ML 算法，我们将科学与艺术结合在一起，彻底改变了内容的制作方式。这里只是几个例子：
- 我们维护着不断增长的套件 视频理解 对角色、故事情节、情感和电影摄影进行分类的模型。这些时间码标签可实现高效发现，将我们的创作者从数小时的素材分类中解放出来，这样他们就可以专注于创意决策。
- 我们为我们的创作者提供来自我们的个性化系统的丰富见解，帮助他们更好地了解我们的会员并获得知识来制作能够最大限度地提高他们的快乐的内容。
- 我们投资于新颖的算法，以便将难以执行的编辑技术轻松带到创作者的指尖，例如匹配剪切和自动转描/抠图。
我们的竞争优势之一是我们从成员和创作者团队获得的即时反馈，例如用于内容选择体验和内部资产创建工具的资产的成功。我们使用这些测量来不断完善我们的研究，检查我们投资的算法和创意策略。我们从成员那里收集的反馈也为我们的因果机器学习算法提供动力，为资产生成提供宝贵的创意见解。
在本博客系列中，我们将探讨以媒体为中心的机器学习研究、开发和与以下领域相关的机会：
- 计算机视觉：视频理解搜索和匹配剪切工具
- 视觉特效和计算机图形学：抠图/旋转透视、体积捕捉以数字化演员/道具/布景、动画和重新照明
- 音频和语音
- 内容：理解、提取和知识图谱
- 基础设施和范式
我们不断投资于以媒体为中心的机器学习的未来。我们正在扩展的一个领域是多模态内容理解——一项基本的 ML 研究，它利用多种信息源或模态（例如视频、音频、隐藏式字幕、脚本）来捕捉媒体内容的全部含义。我们的团队通过对不同的模态组合进行建模，例如视频和文本、视频和音频、单独的脚本以及视频、音频和脚本
我们还使用 ML 来改变我们创建 Netflix 电视节目和电影的方式。我们的电影制作人正在拥抱 虚拟制作 （在专门的灯光和动作捕捉舞台上拍摄，同时能够查看虚拟环境和角色）。 Netflix 正在构建原型阶段并开发深度学习算法，以最大限度地提高成本效率和采用这种转型技术。通过虚拟制作，我们可以将角色和场景数字化为 3D 模型、估计照明、轻松重新点亮场景、优化色彩再现，并通过语义分割替换相机内的背景。
最重要的是，通过与创作者的密切合作，我们正在构建以人为本的创作工具方法，从 VFX 到预告片编辑。指导 Netflix 数据科学家和算法工程师的工作的是上下文，而不是控制。贡献者享有很大的自由度来提出实验和新方法，在生产环境中快速测试它们，并扩大他们工作的影响。我们在这个领域的领导地位取决于我们对每个人的想法的依赖并朝着一个共同的目标前进—— 让 Netflix 成为世界上最好的内容和创意体验的发源地。
在 Netflix 从事媒体 ML 工作是一个独特的机会，可以突破技术和创造性的界限。这是一个前沿且快速发展的研究领域。我们迄今取得的进展仅仅是个开始。我们的目标是研究和开发机器学习和计算机视觉工具，将权力交到创作者手中，并支持他们制作最好的媒体。
我们期待在这个博客系列及其他系列中与您分享我们的工作。
如果您对这些类型的挑战感兴趣，请告诉我们！我们一直在寻找受到以下启发的优秀人才 机器学习 和 计算机视觉 加入我们的团队。
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明
