苹果开源的 FastFrames 让 AI 视频跟着按键实时动起来

分享

苹果开源视频生成模型 FastFrames,分 1.3B 和 14B 两版,基于 Wan2.1 提速,每帧几十毫秒,按方向键画面马上跟着变,还放出了快 16 倍的 LingBot 1.3B。但速度是在 NVIDIA B200 数据中心显卡上测的,普通电脑跑不动,权重只许非商业研究。整理了速度、硬件要求、许可和能做什么,附一段让 AI Agent 帮你判断能不能跑的提示词。

苹果研究团队放出了视频生成模型 FastFrames,有两个大小:1.3B 参数的 FastFrames-S 和 14B 的 FastFrames-L。它们在万相 Wan2.1 的基础上做了蒸馏和提速,每生成一帧只要几十毫秒,你按一下方向键,画面马上跟着变,像在玩游戏而不是等渲染。不过这个速度是在数据中心显卡上跑出来的,权重也只许做非商业研究。

FastFrames 官方演示:左边是原版 LingBot,右边是加了 FastFrames 优化的版本,下方用 WASD 和方向键控制镜头

图片来自苹果的项目主页演示视频:两边收到同一组按键,左边是原版模型,右边是用 FastFrames 提速后的版本。

快在哪

以前的视频模型生成一帧要等很久,没法边看边操作。苹果团队把一次生成的耗时拆开来看,发现超过一半时间花在把画面解码出来、更新缓存这些"配套步骤"上,于是把它们换成了更轻的做法,再把生成压到两步。

FastFrames-S FastFrames-L
参数量 13 亿 140 亿
每帧耗时(官方实测) 约 36 毫秒,一块 NVIDIA B200 约 45 毫秒,8 块 B200
画质 和慢将近 8 倍的同类模型持平 比 S 版明显更真实
输出 832×480,81 帧,每秒 16 帧(约 5 秒) 同左

团队还放出了一个提速版的 LingBot 1.3B(一个能用键盘在场景里走动的"世界模型"),比原版快 16 倍。演示里用 WASD 前后左右走、方向键转视角,画面几乎没有停顿。另一个演示是用鼠标拖动物体,画面按物理规律跟着动。

能不能在自己电脑上跑

普通电脑基本跑不动。 官方写的环境是 Linux 加 NVIDIA 显卡、CUDA 12.8,所有速度都是在 B200 上测的。跑 LingBot 演示时,单卡显存峰值约 44.8 GB,消费级显卡装不下。Mac 不在支持范围内。

所以"本地实时生成"说的是在有数据中心显卡的服务器上实时,不是在笔记本或游戏显卡上。想亲手试,现实的办法是租一台带 B200 或同级显卡的云服务器。

可以拿来做什么

  • 研究和原型:做可交互的视频、游戏场景预览、机器人模拟这类需要"边操作边出画面"的实验。
  • 看懂方向:视频生成正在从"提交任务等几分钟"走向"实时响应",以后做互动内容、虚拟场景的门槛会越来越低。
  • 不能直接拿来赚钱:FastFrames 的权重用的是苹果机器学习研究模型许可,只允许非商业的科研用途,衍生模型也一样。LingBot 部分是 CC BY-NC-SA 4.0,同样不能商用。

让 AI Agent 帮你判断要不要试

苹果开源了实时视频生成模型 FastFrames(Hugging Face 上的 apple/FastFrames-S 和 apple/FastFrames-L,代码在 GitHub 的 apple-aiml-research/ml-fastframes)。请帮我判断值不值得试:

1. 先只读检查我这台电脑:操作系统、有没有 NVIDIA 显卡、显卡型号和显存、CUDA 版本,对照官方要求(Linux、NVIDIA、CUDA 12.8,演示单卡显存峰值约 45 GB)告诉我能不能跑。
2. 跑不了的话,列出我可以租的云 GPU 选项(要能装下这个显存),每种写清大概怎么计费、用完怎么关掉不再扣钱。
3. 读一遍模型的许可证,用大白话告诉我能做什么、不能做什么。我打算拿它做:[你的用途,比如 学习研究 / 做产品]。
4. 不要安装任何东西、不要下载权重、不要开通或付费任何服务,只给我结论和方案,等我确认。

注意

  • 14B 版要整台 8 卡机器:官方的速度数据是 8 块 B200 一起跑出来的,单卡跑不出这个速度。
  • 分辨率不高:目前是 480p,适合做交互和预览,离直接出成片还有距离。
  • 代码和权重许可不一样:代码是苹果示例代码许可,权重只能研究用,用之前两份都看一遍。

参考

读完了?标记一下,记录学习进度。登录
收藏起来,稍后再看登录
对这篇有疑问?向 Ask AI 提问

评论(0)

还没有评论,来说第一句。

登录后参与讨论。登录

继续学习

查看全部
Meta Muse 开始有自己的专属邮箱了
入门·3 分钟·2026年11月20日
把 AI 热点站改成你自己行业的日报站
入门·3 分钟·2026年11月20日
ChatGPT 语音输入能边说边出字了
入门·2 分钟·2026年11月20日