10 月 29 日,Pika 发布基于 MiniMax H3 的衍生模型 Pika H3 Flex,同时开放适配器权重与推理代码;11 月 2 日,模型进入 Pika 应用。几乎同一时间,英伟达与滑铁卢大学开源了 PixelUMM——一个直接在像素空间里统一图像与视频理解、生成的无编码器模型。

Pika H3 Flex上线 开源AI视频的三道门槛 · SEEEEART

两件事放在一起看,指向的是同一个趋势:AI 视频这半年最实质的进展,正在从闭源 API 一侧移向开源与本地可得的一侧。但「开源」这两个字,对使用者的实际含义和字面差距不小。

模型基础 / 来源输出规格音频获取方式
Pika H3 FlexMiniMax H3 衍生(LoRA 适配器)480P、768P,5–15 秒32kHz 立体声,可拆 5 轨权重开源;1080P 以上走 API
PixelUMM英伟达与滑铁卢大学,无编码器图像与视频理解及生成—权重与代码开源
Wan 2.2阿里开源图生视频模型依社区工作流而定依社区工作流而定开源
Seedance 2.5字节 Seed 团队(闭源)4–30 秒,原生 4K原生音频同趟生成BytePlus API / 第三方平台
计费项价格
文生视频 / 图生视频0.01 美元/秒 起
参考生成(含素材输入)0.03 美元/秒 起
提示词重写0.02 美元/次
音轨分轨0.001 美元/秒
1080P / 2K / 4K 增强API 端点,抵扣草稿价

六步,不是五十步

H3 Flex 最实质的变化是步数。Pika 先在内部音视频数据集上对 MiniMax H3 做监督微调,再用投影分布匹配蒸馏把教师模型的 50 步去噪压缩到 6 步,随后通过奖励反馈学习和直接偏好优化训练 LoRA 适配器,改善美学质量、清晰度与指令遵循。适配器合并用于推理后,不需要增加生成步数。

步数直接决定等待时间。Pika 公布的测试是:在保持模型权重与六步采样方案不变的前提下,用 8 张 B300 生成一段 5 秒、768P 的音视频,条件编码、去噪与解码合计耗时从 3.409 秒缩短到 2.129 秒,约为原来的 1.6 倍。Pika 另外给出一个更理想化的数字——15 秒 768P 片段的模型核心运算在受控测试中可以低到 7 秒,同时明确说明这不包括等待时间:参考处理、升分辨率、音轨分离与服务端都会加时间。

对使用者真正重要的是这个量级的变化:从「提交后去泡杯咖啡」变成「提交后看着进度条」。它改变的不是画质,而是试错节奏——一个能在十几秒内出结果的模型,可以被当成草图工具反复调用,而 50 步时代的模型只配用来做最终渲染。

Pika H3 Flex上线 开源AI视频的三道门槛 · SEEEEART

一次最多 12 个参考

H3 Flex 的参考模式是本轮最实用的更新。提示词可以单独使用,也可以给首帧、尾帧或两者;参考模式则同时接受图像、视频和音频,上限 12 个文件——最多 9 张图、3 段视频、3 段独立音频。每个视频或音频片段的时长须在 2 至 15 秒之间,视频合计与独立音频合计各不超过 15 秒。已包含在参考视频里的声音跟随该视频走,不计入那三条独立音轨。

输出规格是 24fps、32kHz 立体声,原生 480P 与 768P,可生成约 5 至 15 秒的视频,模型卡列了 11 种画幅,包括 16:9 与竖屏 9:16。这里要注意一点:15 秒这个数字是模型卡标注的参考值,因为帧落在固定网格上,实际文件可能会略长一点。

12 个参考的意义在于一致性。此前做多镜头内容时,角色与场景的一致性基本靠「反复抽卡」,一次生成十几个版本挑一个。现在可以把产品图、场景图、参考运镜片段与既有音频一起塞进去,让模型在一个约束范围内工作。这是从「抽卡」到「控制」的一步。

开源不等于能在你家跑

这里必须说清楚一个容易被宣传语带偏的点。H3 Flex 开放的是 480P 与 768P 的六步生成器及其立体声,1080P、2K、4K 的增强与音轨分轨都留在 Pika 的服务端。开源权重在发布时的测试环境是一张 80GB 显存的 H100——这不是家用显卡。

换句话说,如果你没有数据中心级显卡,开源权重提供的不是「本地出片」,而是「可自托管与可修改」。真正落到内容生产上的高分辨率输出,仍然要走 API。

Pika H3 Flex上线 开源AI视频的三道门槛 · SEEEEART

成本可以算得很具体。按 11 月 2 日 Pika API 的模型索引:文生视频与图生视频 0.01 美元/秒起,参考生成 0.03 美元/秒起,提示词重写 0.02 美元/次,音轨分轨 0.001 美元/秒。索引上写的是「起」,说明不同分辨率不是一个价;升分辨率的卡片标注「抵扣草稿价」,没有单独标价。

折算下来:一条 10 秒的参考生成,草稿约 0.3 美元;加上 4K 增强与音轨分轨,单条成本在几元人民币量级。这个价格已经不构成试错门槛——真正构成门槛的是资产权,不是钱。

PixelUMM 走的是另一条路

与 H3 Flex 的工程取向不同,PixelUMM 是架构层面的尝试。现有的统一多模态模型通常为理解和生成分别使用不同的视觉表示:用 ViT 提取理解所需的语义特征,用 VAE 提供生成所需的潜变量。这样一来,同一张图像要以两种 token 进入上下文,视觉上下文随之变长,双流接口也难以直接沿用成熟的视觉-语言模型预训练流程。

PixelUMM 的做法是把图像切分为空间 patch、把视频切分为时空 tubelet,理解和生成共用这一种表示,并且仅通过一层线性投影就把原始像素接入共享的多模态主干网络。它延续的是 JiT 等工作的思路——图像生成可以不依赖 VAE、直接在像素上进行——并把这个范式扩展到了视频。项目已开放论文、代码与模型。

短期内这不是一个能拿来出片的模型,但它提示了一个方向:当理解与生成共用同一套视觉表示,视频编辑与理解的边界会进一步模糊。

闭源对手做到哪了

参照系也别只盯着开源。字节的 Seedance 2.5 已经把单次生成拉到 4 至 30 秒,支持原生 4K 输出、原生音频同趟生成,并提供 3D 白模预演与局部重绘编辑——后者让你可以改掉产品或背景的一处细节,而保留其余的运动、运镜与构图。它对外通过 BytePlus 以 token 计费方式销售,第三方平台按次收费。

国内开源侧还有阿里的 Wan 2.2,是目前社区二次开发的主要底座之一。今年已有团队基于它做二次训练。

设计师选型:先问三个问题

第一,你要的是草图还是成片?如果目的是在提案阶段快速验证镜头,H3 Flex 这类六步模型的时间成本最低,480P 足够判断构图与节奏;如果要直接交付,则要看闭源模型的 4K 与局部编辑能力。

第二,声音是不是必须项?如果需要把对白、配乐、音效、拟音、环境声分开处理,能拆 5 轨的模型会省掉一整轮后期。如果声音可有可无,就没必要为它付溢价。

第三,也是最容易被忽略的一条:素材权归谁。参考生成要你上传图片、视频与音频,这些是喂给模型的原料。上传前应确认自己拥有这些素材的商用权,并建立自己的参考库——30 张自有图像、10 段自有视频、10 段自有音频,是这个工作流最基本的资产。价格已经不是门槛,权属才是。

六步去噪把AI视频从渲染工具变成草图工具,但开源权重需要H100级显卡,高分辨率仍在服务端。选型的关键不是参数,是用途、声音与素材权属这三件事。

参考:《机器之心》相关报道及公开资料
延伸阅读:https://www.163.com/dy/article/LALAF4M305566WT8.html
交叉核实:机器之心