FLUX 模型进化史:从图像生成到视觉智能与物理 AI 的路线图

9765 Views

一句话结论

Black Forest Labs(BFL)的开发者布道师 Stephen Batifol 在 AI Engineer 大会上完整复盘了 FLUX 家族从文生图模型到「视觉智能」的演进路径:以持续发布开源最先进模型为第一原则,用 FLUX.1、Kontext、FLUX.2、FLUX.2 Klein 四次关键迭代把图像质量、编辑能力与生成速度推向极限,同时以 SelfFlow 自监督研究摆脱外部编码器依赖,为统一图像、视频、音频、动作乃至物理世界交互的世界模型铺路。

演讲者与 BFL:Stable Diffusion 原班人马的二次创业

演讲者 Stephen Batifol 自我介绍为 BFL 的开发者关系工程师(Developer Relations Engineer)。他在开场用两个问题为现场定调——先问有多少人知道 BFL,再问有多少人知道 FLUX,举手的人几乎完全重叠。这说明在开发者社区的认知里,这家公司与其旗舰模型已经深度绑定。

BFL 的背景远比「一家图像模型公司」深厚。Batifol 强调,他们是 Stable Diffusion、Latent Diffusion 和 FLUX 背后的同一支团队,团队学术成果累计获得超过 20 万次引用。除了发布模型,BFL 也与企业和客户深度合作,客户名单包括 Microsoft、Adobe、Canva、Mistral 等。这段背景陈述为后面整个演讲定下基调:这不是一家追热点的初创公司,而是视觉生成领域的奠基者团队在规划下一阶段的技术版图。

FLUX.1:2024 年 8 月的破局之作

BFL 的故事从 2024 年 8 月发布的 FLUX.1 开始。Batifol 回忆,这是公司的第一次突破——当时 FLUX.1 成为 Stable Diffusion 最有力的竞争者,真正让业界意识到「这是一个非常厉害的模型」。

FLUX.1 有三个关键特征:第一,它是纯文生图模型;第二,它开源发布;第三,也是最重要的一点——它可以在笔记本电脑上运行。Batifol 特别强调,以当时的标准衡量,FLUX.1 的解剖结构(anatomy,即人体结构正确性)远超同类模型,尤其是那些参数规模大得多的模型。一个来自无名新公司的模型能做到这一点,在当时是重大信号。

社区的反馈验证了这一点。Hugging Face 的 Clem(Clem Delangue)当时公开为 FLUX.1 发声,FLUX.1 一度成为 Hugging Face 上点赞最多的模型。Batifol 坦承这个纪录如今已被打破,但对一家刚走出隐身状态的公司而言,这是极具分量的行业认可。

Kontext:全球首个开源图像编辑模型的诞生

接下来登场的是 FLUX Kontext。Batifol 称其为「全球首个开源编辑模型」——将文生图与图像编辑能力合并到同一个模型中。在今天编辑模型遍地都是的环境下,这个组合显得理所当然,但在当时这是一次重大突破:同一个模型既能从文本生成图像,又能对现有图像进行编辑。

Batifol 用一组演示展示 Kontext 的能力:从一张输入图开始,可以擦掉人物脸上的雪花并保持角色一致性;可以把人物「搬」到 BFL 总部所在地弗莱堡的街头自拍;也可以做局部编辑,把背景改成雪景,同时让雪也落在人物脸上。

速度是 Kontext 的另一个杀手锏。Batifol 提醒观众回忆当时的市场环境:第一代 GPT 图像生成需要 40 到 50 秒才能生成或编辑一张图,而 Kontext 只需 7 到 8 秒。在等待成本动辄数十秒的时代,这个数量级的提速直接改变了产品的可用性。

故事板用例:给视频模型喂关键帧

Kontext 还催生了一类高频用例:连续叙事。Batifol 展示了合作伙伴与客户的实际用法——从一张输入图出发,逐步生成完整的故事板。他的示例是那只著名的海鸥:先是一只戴着 VR 头显在酒吧喝酒的海鸥,然后一位朋友加入碰杯,接着两只海鸥微醺后戴上帽子,最后走出酒吧。

这类连续图像不只是有趣。Batifol 指出,这些图像会被作为输入帧或结束帧喂给视频模型或动画模型,由视频模型基于这些关键帧生成连贯内容。换言之,图像编辑模型成为了视频生产管线中的「分镜师」,这是 FLUX 家族向视频方向延伸的早期伏笔。

FLUX.2:2025 年 11 月迈向「视觉智能」的旗舰

2025 年 11 月发布的 FLUX.2 被称为 BFL 迈向「视觉智能」(visual intelligence)的第一步,也是其当前最强的基座模型。Batifol 展示了一组样张并给出他的判断:看人物的手、手上的血管、左边人物佩戴的手链,他个人认为已经无法分辨这些是 AI 生成的;右侧的海龟、浴缸里的猫狗同样达到以假乱真的程度。

除了人物与动物,FLUX.2 在商业场景同样出色:可以生成专业的产品摄影(如华夫饼美食图),也能创作趣味图像(如骑着摩托、带着气球的人物)。Batifol 强调,FLUX.2 不只是图像生成模型,它同时是图像编辑模型——这是 Kontext 路线的延续与强化。

多参考图编辑是 FLUX.2 的招牌能力。它可以同时接收最多 10 张输入图像。Batifol 的演示中,他给模型 6 张服装图片并输入提示词「用这些图片创建一套穿搭」,模型能智能地生成合理结果——夹克穿着方式正确,领带也系得妥当。另一个用例面向电商:沙发厂商可以让顾客预览家具摆进自家客厅的效果。

Batifol 总结道,角色一致性、产品一致性与风格一致性,是 FLUX.2 当前最主要的三类落地用例。

第一性原则:持续发布最先进的开放模型

在产品巡礼之后,Batifol 郑重陈述了 BFL 作为一个公司和研究实验室的第一运营原则:发布最先进的模型。每一次发布都要抬高质量基准线——FLUX.1 发布时如此,Kontext 如此,FLUX.2 则是迄今最好的图像模型,也是第一个支持多参考输入的版本,在文生图与图像编辑两个方向上都达到开源世界的最先进水平。

第二条原则是开放研究。Batifol 强调 BFL 首先是一家研究公司,公开发表论文,希望确保整个领域与他们一起向前推进,而不是只有 BFL 自己受益。「最先进模型 + 公开发表」,这两个原则构成了 BFL 的自我定位,也为接下来整段技术深潜提供了动机。

FLUX.2 Klein:300 毫秒生成、500 毫秒编辑的实时时代

2026 年 1 月发布的 FLUX.2 Klein 迈向的是交互式编辑与交互式图像生成。Batifol 给出关键数字:生成一张图像最快 300 毫秒,编辑一张图像最快 500 毫秒——不到一秒,本质上就是实时。

他预告会在演讲后段展开 Klein 的细节,但先把结论放在这里:这是 BFL 通向「所见即所得」视觉交互的关键一步,也是其「视觉智能」愿景中速度维度的基石。

技术深潜:扩散模型并不理解它在生成什么

演讲后半段进入研究内核。Batifol 先退一步讲清楚一个根本问题:如何训练生成内容的模型?他的答案是残酷的——这些模型在生成时并不理解自己生成的东西。

他用现场实物举例:模型不知道「我这个杯子应该放在桌上、不应穿透桌面」,也不知道「人坐在椅子上、不应沉进椅子里」。为什么?因为训练过程就是给图像加随机噪声再去噪。模型学到的是像素层面的去噪规律,从未学到「杯子不能穿过桌子」这类物理与空间常识。

补救方案是所谓的表征对齐(representation alignment):引入一个外部的图像编码器——它被训练来理解分割等任务——让它「教会」生成模型这些常识,使生成模型明白「他正坐在椅子上,不应穿透椅子」。Batifol 展示的数据显示,引入外部对齐后,模型收敛与降低损失的速度可以加快 70 倍。这个方案确实显著改善了生成模型的表现。

外部编码器的三重局限:天花板、模态割裂与目标错位

但天下没有免费的午餐。Batifol 系统拆解了外部编码器方案的三个结构性缺陷。

第一是扩展天花板。外部编码器是一个固定训练好的检查点,你不再修改它。当你想把生成模型规模化,仍然会被旁边的编码器能力锁死,永远无法真正完全地扩展。

第二是模态专精带来的割裂。诸如 DINOv2 这类编码器只专精图像。如果你的模型要同时生成图像、音频、视频乃至更多模态,就得为每个模态配一个编码器——Batifol 形容这会拼出一个「科学怪人」式的拼凑系统,一切都不对劲。

第三是目标错位。生成模型的目标是创造内容,编码器的目标是分割判别,两者天然朝不同方向用力,硬捏在一起虽有效但不完美。Batifol 给出一个反直觉的证据:DINOv3 作为判别模型技术上优于 DINOv2,但用它做对齐教师训练生成模型,表现反而更差。而目前并没有任何规律可以预测哪个编码器更适合做教师——这是整个开源生成训练管线的盲区。

SelfFlow:用自监督学习把表征与生成装进同一条流

如何不依赖外部编码器、直接教模型学会表征?这就是 BFL 在演讲前约一个半月公开发布的研究论文 SelfFlow。Batifol 重申发布动机:确保领域与 BFL 一起前进,而非 BFL 独享。SelfFlow 的定位是一种可扩展的多模态生成模型训练方法——采用自监督学习,训练过程不再需要任何其他模型。

其核心机制是在同一条流(flow)中同时做表征学习与生成。训练时对输入资产(视频、图像或音频)施加两种不同的随机噪声:一种高噪声,一种低噪声。由此形成协同工作的两个角色——学生模型始终接收高噪声版本并尝试去噪;教师模型(本质上是学生的更稳定版本)始终接收低噪声版本。学生同时优化两个目标:生成损失与表征损失。

这个设计一举化解了外部编码器的全部三个缺陷:不再有外部依赖,一个模型覆盖所有模态;扩展模型规模时,学生和教师同步扩展;生成与表征目标在同一条流内对齐。Batifol 透露 BFL 当前正在训练的多个模型都在使用这套方法,并明确表示他们相信未来的方向就是彻底摆脱外部编码器。

跨模态实验:一个模型在音频、图像、视频上全面胜出

Batifol 展示了基于 SelfFlow 训练的研究模型(他特别声明:这些是研究模型,不用于生产发布)。对比对象是主流的 flow matching 训练基线。

结果是全面胜出:音频上更优;图像上,虚线基线之上,SelfFlow 的实线表现更好;视频上同样更优。在不依赖外部编码器的前提下,训练涉及的每一个模态都变得更好。

收敛速度的对比同样关键。基线方法收敛后触及平台期,损失不再下降;SelfFlow 不仅收敛更快,损失仍在持续下降。Batifol 推断,如果训练推进到 200 万步,基线会彻底停滞甚至可能恶化,而 SelfFlow 的损失还会继续走低——这是两条增长曲线的本质差异。

文字与解剖结构:SelfFlow 修复的经典缺陷

理论优势最终要落在肉眼可见的输出上。Batifol 选取了两个最经典的生成缺陷做对比。

第一个是图内文字。用过图像模型的人多半遇到过:生成「the future is Flux」这类文字时,字母缺失、单词里多出一个 L。而 SelfFlow 训练的版本文字完全正确——因为模型学会了表征,知道 Flux 的字母应当一个挨一个排列,镜子上的字、树干上的字同样正确。

第二个是解剖结构。基线模型生成的人脸「看起来有点怪」,SelfFlow 版本虽非生产级模型、未达到完美人脸,但解剖结构明显优于基线。文字与结构这两类从扩散模型诞生起就存在的顽疾,在引入自监督表征学习后得到了实质修复。

视频与联合生成:同一个模型的多面手能力

SelfFlow 的能力不止于静态图像。同一个经图像训练的模型也能生成视频。Batifol 播放了俯卧撑对比:基线版本「做俯卧撑的方式很奇怪」,SelfFlow 版本动作标准——手臂姿态正确、头发运动正确,没有任何穿帮。鸟类示例同样直观:基线视频大量闪烁、怪象频出(模型试图对齐外部编码器所致),SelfFlow 版本中鸟在地面行走,无任何闪烁。

更进一步,由于各模态是联合训练的,模型也能联合生成多模态内容。Batifol 播放了一段「来自黑森林的问候」(Hello from the Black Forest)的视听样例:基线版本语音结尾拖着诡异的「forever」杂音;SelfFlow 版本说完该说的就干净收尾。他再次提醒这是研究模型而非生产就绪,但差异清晰可闻。

从生成到行动:教机器人预测动作

演讲中最具前瞻性的演示随之而来:同一个模型被训练于「动作」(actions)——不止图像、视频、音频,还能预测动作。Batifol 展示了一个机械臂抓取易拉罐并拉近的机器人任务:基线版本画面闪烁、机械臂动作诡异;右侧同等训练步数的 SelfFlow 版本中,机器人直接抓起罐子、干净利落地拉近。

Batifol 明确表态:这就是 BFL 作为公司正在前往的方向——不只是图像生成或视频生成,还包括动作预测,以及通往物理 AI(physical AI)的更多能力。生成模型与机器人学的边界,正在被统一的多模态自监督训练打通。

Klein 实测:亚秒级延迟碾压开源同侪

回到产品层面,Batifol 演示了 Klein 的准实时编辑 Demo:右侧画面全部由 Klein 在韩国实时生成与编辑,画面持续变化却不是视频模型——每一帧都是实时编辑的图像。

延迟数据更具说服力。与开源同行对比:Klein 4B 与 9B 在图像生成上至少与其它开源模型持平,但延迟约 0.5 秒,而 Qwen 约 15 秒;图像编辑上 Klein 9B 略高于 0.5 秒,Qwen 仍约 15 秒;多参考编辑 Klein 仍不到 1 秒,Qwen 则超过 20 秒。质量持平而速度快一个数量级以上——Batifol 认为这正是实时生成的意义所在,也是 BFL 相信世界将走向视觉智能、公司未来将押注的方向。

终局图景:实时渲染、交互式视觉引擎与世界模型

为什么实时生成如此重要?Batifol 给出三层递进的回答。

第一层是实时生成本身:你可以以思考的速度渲染设计稿,不必再等 10 秒、20 秒甚至一两分钟,并且能实时引导生成过程。第二层是交互式视觉引擎:面向游戏与影视,边提示边渲染一部电影不再遥远。第三层则是世界模型——训练模型理解并模拟真实世界的几何关系与交互。

对于「这跟我有什么关系」的疑问,Batifol 的回答直截了当:机器人。世界模型的意义在于,可以在生成式世界中训练智能体,规模化自动驾驶与制造自动化。这就是 BFL 正在前往的方向——从视觉智能到物理 AI,从生成像素到理解并改造物理世界。

问答环节的三个补充细节

演讲后的问答补充了三个值得记录的细节。其一,关于训练数据:Batifol 直言数据是商业机密、非常敏感,无法分享,但 BFL 正与大量合作伙伴共同建设数据。其二,关于模型如何理解世界:模型学习的正是那些表征,将其作为自身状态的一部分,具有一定的记忆机制。其三,关于上下文长度:这就是训练时的上下文窗口——模型基于 token 序列判断「我已经移动了,下一步应该到哪里」;对于「无限长」的问题,Batifol 认为总会有限制,可能会采用滑动窗口方案。

原文信息

原视频标题:FLUX, Open Research, and the Future of Visual AI — Stephen Batifol, Black Forest Labs

频道:AI Engineer

嘉宾:Stephen Batifol(Black Forest Labs 开发者布道师)

视频发布日期:2026-05-08

原文地址:https://www.youtube.com/watch?v=x8Yb4RidLgM

发布时间:2026-05-08

视频时长:约 22 分 21 秒

复制提示词 已复制 原文信息

原视频标题FLUX, Open Research, and the Future of Visual AI — Stephen Batifol, Black Forest Labs

频道AI Engineer

视频时长约 22 分 21 秒

柠檬草冷冻哪里买?
人品太差!阿根廷世界杯夺冠污点证实,大马丁公开道歉:太蠢了!