OpenAI 宣布了一种新的文本到视频 AI 模型“Sora”。
OpenAI 索拉
带有日语提示的官方视频
从文本生成
视频 Sora 是一个 AI 模型，可根据文本说明创建逼真且富有想象力的场景。
Sora 是一个扩散模型，它从看起来像静态噪声的视频生成，并通过去除噪声的几个阶段逐渐转换它。
Sora 可以一次生成整个视频，也可以扩展生成的视频以使其更长。 通过让模型一次预读多个帧，它解决了确保主体即使暂时不在视野中也不会改变的难题。
与 GPT 模型一样，Sora 使用 transformer 架构，并具有出色的扩展性能。
Sora 将视频和图像表示为称为补丁的小数据单元的集合，每个补丁就像 GPT 中的一个令牌。 通过统一数据的表示方式，扩散传感器可以针对比以往任何时候都更广泛的视觉数据进行训练，跨越不同的时间、分辨率和纵横比。
Sora 基于过去在 DALL-E 和 GPT 模型上的工作。 它还使用了 DALL-E 3 中使用的字幕重写技术，该技术可为视觉训练数据生成高度描述性的标题。 因此，该模型可以更紧密地遵循生成视频中用户的文本说明。
除了仅从文本说明生成视频外，您还可以从现有的静止图像生成视频，从而在每个细节上精确地对图像内容进行动画处理。 您还可以增强现有视频或填充缺失的帧。 有关更多信息，请参阅技术报告。
Sora是能够理解和模拟现实世界的模型的基础，我们相信这将是使AGI成为现实的重要里程碑。
感觉视频生成的质量也超过了一定的线。 进化的速度很快。
目前只是一个公告吗？ 我很期待看到它在未来如何发展。
即便如此，基于人工智能的技术正变得越来越实用。 在 2D 图像和视频之后，我认为 3D 将是下一个......