返回论文笔记资料库
arXiv 2026图像生成论文笔记

Vision Banana

会生成图,自然就会看图

原始论文

Image Generators are Generalist Vision Learners

论文作者

Valentin Gabeur · Shangbang Long · Songyou Peng …

查看全部 25 位作者

Valentin Gabeur · Shangbang Long · Songyou Peng · Paul Voigtlaender · Shuyang Sun · Yanan Bao · Karen Truong · Zhicheng Wang · Wenlei Zhou · Jonathan T. Barron · Kyle Genova · Nithish Kannen · Sherry Ben · Yandong Li · Mandy Guo · Suhas Yogin · Yiming Gu · Huizhong Chen · Oliver Wang · Saining Xie · Howard Zhou · Kaiming He · Thomas Funkhouser · Jean-Baptiste Alayrac · Radu Soricut

发表版本
正式发表信息尚未核实
arXiv 首次提交
arXiv:2604.20329
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{imagegenerationvisionbanana2026,
  title = {{Image Generators are Generalist Vision Learners}},
  author = {Valentin Gabeur and Shangbang Long and Songyou Peng and Paul Voigtlaender and Shuyang Sun and Yanan Bao and Karen Truong and Zhicheng Wang and Wenlei Zhou and Jonathan T. Barron and Kyle Genova and Nithish Kannen and Sherry Ben and Yandong Li and Mandy Guo and Suhas Yogin and Yiming Gu and Huizhong Chen and Oliver Wang and Saining Xie and Howard Zhou and Kaiming He and Thomas Funkhouser and Jean-Baptiste Alayrac and Radu Soricut},
  year = {2026},
  eprint = {2604.20329},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2604.20329v1}
}
本页内容

在 LLM 领域,我们已经习惯了使用 generative pretraining 出来的模型,会自然而然地获得语言理解、推理、coding 等下游能力,这些能力并没有特别被训练,而是从预测下一个 token 的目标中 emergent 出来的。

那么同样的故事是否能套用在视觉领域? 也就是说,当一个 model 被训练去生成高质量的图片时,它是否也顺便学会了如何理解图片?

Intro

  • 过去的相关工作其实已经有观察到 generative vision pretraining 的 scaling behavior,但是效果一直追不上 contrastive learning 或是 masked autoencoding 这类非生成式的方法
  • 本作的主张是: 只要通过适当的 instruction tuning,一个 SOTA 的 image generator (这里是 Nano Banana Pro) 就可以变成一个 generalist vision model,并且在各种 2D/3D 理解任务上达到或超越专门模型 (specialist model) 的水准
    • 这个 instruction-tuned 的模型叫做 Vision Banana
    • 关键的设计是把所有 vision task 的输出格式都统一成 RGB image,因为这样才能直接利用原本 image generator 已有的能力,而不需要去改架构或加新的 head

下面两张图展示了 Vision Banana 各个领域的能力上的 benchmark 结果,可见除了 Instance segmentation 以及 Image edit 以外他都达到了 SOTA,接下来我们来细看他如何使用图像生成模型来做这些视觉任务。

Method

为什么要做 Instruction Tuning?

其实过去的研究就已经观察到,现代的 image generator 在 zero-shot 的情况下,就有能力生成看起来像 segmentation mask 或是 depth map 的图。但是问题在于这些生成出来的图没办法被精确地 decode 回实际的 vision output,所以也就没办法在 benchmarks 上跟其他模型比较。

举个例子,你叫模型生成 "depth map",它可能会给你一个很像 depth map 的图,但是颜色跟距离的对应关系模糊,根本没办法定量评估。

所以 instruction tuning 的目的就是: 教会模型按照 prompt 中指定的格式输出可逆的 visualization。例如:

"Segment the skateboard category in pure yellow (<255, 255, 0>)"

模型生成完图之后,我们就可以通过 cluster 出 (255, 255, 0) 这个颜色附近的 pixels 来得到 skateboard 的 mask。

Instruction Tuning Recipe

  • 把 vision task data 以非常低的比例混进 Nano Banana Pro 原本的训练数据中,做一个 lightweight 的 finetune
    • 这个低比例非常重要,可以确保模型不会忘记原本的 generation 能力,也就是论文中再三强调的“保留 generative prior”
  • 训练数据的来源:
    • 2D 任务: 用内部模型对从网络爬来的图片做 annotation
    • 3D 任务: 用 rendering engine 产生 synthetic data
  • 不使用任何 evaluation benchmark 的 training split,所以全部都是 zero-shot transfer 的设定

2D Semantic Understanding

Semantic Segmentation

就是传统的“把每个 pixel 分类到一个类别”任务。Vision Banana 的做法很直接,就是在 prompt 中指定每个类别对应的颜色,然后让模型生成这张 mask 图:

  • "Generate a semantic segmentation visualization image, using this color mapping: {"cat": "red", "lock": "pink", "exit sign": "light purple", "background": "yellow"}."

prompt 的写法非常弹性,可以用 hex code (#80C000)、RGB tuple (<255, 165, 0>),甚至是用自然语言描述 ("light purple"),模型都能理解。

结果他们在 Cityscapes 上的 mIoU 是 0.699,赢过 SAM 3 的 0.652 (4.7 个百分点),是 zero-shot 模型中最好的,与 closed-set 的 SegMan (mIoU=0.842) 也只差了 14 个百分点。

下图是 Vision Banana 做 semantic segmentation 的示例图。

Instance Segmentation

比较棘手的是 instance segmentation,因为事先不知道有几个 instance,所以没办法在 prompt 中先指定每个 instance 的颜色。

他们的解法是 per-class inference: 一次只 segment 一个 class,让模型动态地给每个 instance 分配不同的颜色。

代码
"Generate an instance segmentation visualization of this image.
Each piece of garlic is colored differently."

评估的时候就用 thresholding 来 cluster 颜色相近的 pixels。

结果在 SA-Co/Gold 随机抽取的 500 个查询上,pmF1pmF_1 是 0.540,跟 DINO-X 的 0.552 相近,但是还是输给 SAM 3 (0.661)。作者承认 instance segmentation 仍然是个比较难的任务。

下图是 Vision Banana 做 instance segmentation 的示例图。

Referring Expression Segmentation

这个任务就更有趣了,因为它需要理解 free-form text query。例如“穿粉红色 T-shirt 的男人”、“正在伸懒腰的猫”、“被当成游戏控制器的烤吐司机”。

这正是 generative model 最大的优势: 从预训练继承来的 multimodal intelligence 让它能 reason 出 "要 segment 什么"。

结果在 ReasonSeg 上达到 0.793 gIoU,赢过 SAM 3 Agent 的 0.770,而且还是 zero-shot transfer。这里的 0.793 是 Vision Banana 搭配 Gemini 2.5 Pro 的结果,对照组也搭配同一模型。

有趣的是,即使没有特别训练 free-form text query,Vision Banana 在 semantic 跟 instance segmentation 也能处理 referring expression,例如他可以理解 "patterns on the wall"、"crescent-shaped croissants" 是在指什么。这显示了 cross-task transfer 的能力。

下图是 Vision Banana 可以理解自然语言并解释的示例,这张图展示的是他能够:

  1. 描述一个物体的外观("man in pink t shirt")
  2. 描述一个物体的动作("stretching" and "cleaning")
  3. 理解物体有不寻常的使用方法(toaster as a game controller)
  4. 理解多语言的文字内容(text on the menu in Chinese and English)

3D Understanding

Metric Depth Estimation

这是整篇论文里我觉得最有意思的部分。Depth estimation 跟 segmentation 有个本质上的差异: depth 是一个 unbounded 的连续值 d∈[0,∞)d \in [0, \infty),但 RGB color 是一个 bounded 的 3D 空间 [0,1]3[0, 1]^3。要怎么把前者编码成后者?

他们设计了一个可逆 (bijective) 的 mapping:

Step 1:用 Barron (2025) 的 power transform 把 unbounded depth 压缩成 bounded:

f(d,λ,c)=1−(1−d/λc)λ+1f(d, \lambda, c) = 1 - (1 - d/\lambda c)^{\lambda+1}

其中 λ=−3,c=10/3\lambda = -3, c = 10/3。这个 transform 的特性是 near-field 的 resolution 比 far-field 高,因为对机器人或 AR/VR 来说,近处的物体比较重要。

Step 2:把这个 normalized distance ∈[0,1)\in [0, 1) 沿着 RGB cube 的边做 piecewise-linear interpolation,路径很像第一阶的 3D Hilbert curve,从黑色 (0,0,0) 走到白色 (1,1,1)。

这个 mapping 是可逆的,所以他们:

  • training 时把 ground-truth depth 通过这个 mapping 变成 RGB image,作为训练 target
  • inference 时把模型生成的 RGB image 投影到最近的 cube edge,然后反推回 metric depth

结果在 6 个 benchmark 上的 average δ1\delta_1 accuracy 是 0.882,赢过 Depth Anything v3 (在他们共同的 4 个 dataset 上 0.929 vs 0.918),而且完全没用到 camera intrinsics,也没用任何 real-world depth data 训练深度任务(全是 synthetic)。

下图是 Vision Banana 在 metric depth estimation 的示例。

论文里还有个有趣的 "vibe test": 作者去金阁寺拍了张照片,Vision Banana 估出绿色标记点的距离是 13.71 米,用 Google Maps 量出来实际是 12.87 米,AbsRel error 约 0.065。

Surface Normal Estimation

Surface normal 是个 unit vector (x,y,z)∈[−1,1]3(x, y, z) \in [-1, 1]^3,跟 RGB 的对应关系非常自然,所以不需要像 depth 那样设计复杂的 mapping。直接用 camera-space normal:

  • Facing Left (−1,0,0)(-1, 0, 0): Pinkish Red
  • Facing Up (0,1,0)(0, 1, 0): Light Green
  • Facing Camera (0,0,1)(0, 0, 1): Light Blue / Purple

在三个 indoor dataset 上的 mean / median angle error 都是最低,赢过 Lotus-2、StableNormal、DSINE 这些专家模型。

下图是 Vision Banana 在 Surface Normal Estimation 的示例。

保留 Generation 能力

做了 instruction tuning 之后,原本的 image generation 能力会不会被破坏?

  • text-to-image (GenAI-Bench): vs Nano Banana Pro 的 win rate 为 53.5%
  • image editing (ImgEdit): win rate 为 47.8%

也就是说 Vision Banana 跟原本的 base model 在生成任务上是平手的,instruction tuning 确实是 lightweight 的。

Conclusion

  1. Image generators 本身就是 generalist vision learners:强大的 visual understanding 能力是在 generative pretraining 过程中自然 emergent 出来的,instruction tuning 只是把这些能力 "unlock" 出来,这跟当年 LLM 颠覆 NLP 领域的故事一致
  2. Image generation 可以作为 vision 的 universal interface:就像 text generation 是 NLP 任务的 universal interface 一样。所有 vision output(mask, depth, normal)都可以表达成 RGB image,prompt 中指定 visualization scheme 就可以做不同的任务
  3. 生成模型天生拥有处理 ambiguity 的能力:同一个 input 可能对应到多个合理的 output(例如 segmentation 中“哪一块算是同一个 instance”是有多种合理答案的)。Discriminative model 为了避免 collapse 到 blurry mean 必须设计很 hacky 的 loss(例如 SAM 系列 output 多个 mask 但是只对其中一个算 loss),但是 generative model 本来就是在 model 整个 distribution 的,这个 ambiguity 会被自然处理
  4. Future work:
    • 扩大 instruction-tuned 任务的多样性,可能会 unlock 更多 cross-task generalization
    • 从 monocular 扩展到 multi-view、video input
    • 跟 LLM 的整合来做 cross-modality reasoning
    • 降低 inference cost,因为 image generator 相较轻量的 specialist model 重太多了

Discussion

过去做 vision task 大家都各自设计专属的架构:segmentation 要 mask decoder、depth 要 regression head、normal 要特殊的 loss function,每个任务都长得不一样,模型之间没办法共享。但 Vision Banana 直接把所有 vision output 统一塑造成 RGB image,让“图像生成模型”本身就成了所有视觉任务的 universal interface,这个想法跟当年 GPT 把所有 NLP 任务统一成 text generation 是同一个味道,真的很有潜力。

特别是 metric depth 的设计(power transform + RGB cube 边上的 piecewise-linear interpolation)我觉得是整篇最巧妙的地方,它解决了过去用 generation model 做 vision task 最大的痛点:生成出来的东西没办法被精确 decode 回 metric value 来做 benchmark。没有这个 invertible mapping,再好看的 depth visualization 也只能停留在 qualitative 阶段。

另外 generative model 天然处理 ambiguity 这点也很值得想:discriminative model 为了不 collapse 到 blurry mean,要设计各种 hacky 的 loss(SAM 系列 output 多个 mask 但是只对其中一个算 loss 就是个典型例子),但 generative model 本来就是在 model 整个 distribution 的,这个问题会被自然地解掉。

心得

看完这篇论文,我觉得 Vision Banana 的贡献更多是体现在问题的 reframing,而不是新的算法或架构创新。

它没有发明新的 loss、没有新的 module、没有新的 architecture,纯粹就是把“vision task 的输出格式”这件事情重新想了一遍,发现只要设计得当的可逆 RGB encoding,加上一个强大的 image generator base model,就能在没有 specialized architecture 的情况下赢过各种 specialist。

这个方向我觉得是接下来几年 vision foundation model 很可能的主流路线,generative pretraining 的 emergent visual understanding 能力应该会越来越被重视,配合像 RGB 这种 universal output format,未来说不定真的会出现一个能做所有 vision task 的 omni model。

当然 inference cost 还是个现实问题,目前 Vision Banana 那种等级的模型应该不会直接被部署到手机或边缘装置上,但这就是 future work 要解的事了。