如何使用LLM实现文本自动生成视频

推荐：使用NSDT场景编辑器助你快速搭建可二次编辑的3D应用场景

介绍

基于扩散的图像生成模型代表了计算机视觉领域的革命性突破。这些进步由Imagen，DallE和MidJourney等模型开创，展示了文本条件图像生成的卓越功能。有关这些模型内部工作的介绍，您可以阅读本文。

然而，Text-2-Video模型的开发提出了更艰巨的挑战。目标是在每个生成的帧之间实现连贯性和一致性，并保持从视频开始到结束的生成上下文。

然而，基于扩散的模型的最新进展也为文本2视频任务提供了广阔的前景。现在，大多数文本 2-视频模型在预先训练的文本 2-图像模型上采用微调技术，集成动态图像运动模块，并利用各种文本 2-视频数据集，如 WebVid 或 HowTo100M。

在本文中，我们的方法涉及利用HuggingFace提供的微调模型，该模型被证明有助于生成视频。

实现

先决条件

我们使用HuggingFace提供的Diffusers库，以及一个名为Accelerate的实用程序库，它允许PyTorch代码在并行线程中运行。这加快了我们的生成过程。

首先，我们必须安装依赖项并为代码导入相关模块。

pip install diffusers transformers accelerate torch

然后，从每个库中导入相关模块。

import torch
from diffusers import DiffusionPipeline, DPMSolverMultistepScheduler
from diffusers.utils import export_to_video

创建管道

我们将ModelScope提供的Text-2-Video模型加载到HuggingFace中，在扩散管道中。该模型具有 1 亿个参数，基于 UNet7D 架构，该架构通过迭代去噪过程从纯噪声生成视频。它分为三部分。模型首先从简单的英语提示符中执行文本特征提取。然后将文本特征编码到视频潜在空间并进行去噪。最后，将视频潜在空间解码回视觉空间并生成短视频。

pipe = DiffusionPipeline.from_pretrained(
"damo-vilab/text-to-video-ms-1.7b", torch_dtype=torch.float16, variant="fp16")


pipe.scheduler = DPMSolverMultistepScheduler.from_config(
pipe.scheduler.config)


pipe.enable_model_cpu_offload()

此外，我们使用 16 位浮点精度来降低 GPU 利用率。此外，还启用了 CPU 卸载，可在运行时从 GPU 中删除不必要的部分。

生成视频

prompt = "Spiderman is surfing"
video_frames = pipe(prompt, num_inference_steps=25).frames
video_path = export_to_video(video_frames)

然后，我们将提示传递给视频生成管道，该管道提供一系列生成的帧。我们使用 25 个推理步骤，以便模型将执行 25 次去噪迭代。更多的推理步骤可以提高视频质量，但需要更多的计算资源和时间。

然后使用扩散器的实用程序功能组合单独的图像帧，并将视频保存在磁盘上。

然后，我们将提示传递给视频生成管道，该管道提供一系列生成的帧。然后使用扩散器的实用程序功能组合单独的图像帧，并将视频保存在磁盘上。

 

结论

足够简单！我们得到了蜘蛛侠冲浪的视频。虽然这是一个质量不高的短视频，但它仍然象征着这个过程的前景，它很快就会达到与Image-2-Text模型类似的结果。尽管如此，测试你的创造力和使用模型仍然足够好。

由3D建模学习工作室 整理翻译，转载请注明出处！