{"notes":[{"id":"image-generation/vision-banana","category":"image-generation","legacyPath":"image-generation/2604-vision-banana","legacySlug":"2604-vision-banana","legacyPaths":[],"title":"Vision Banana","subtitle":"画像を生成できるなら、見ることもできるはず","author":"nbswords","paperDate":"2026-04-22","publishedOn":"2026-05-04","paperTitle":"Image Generators are Generalist Vision Learners","paperUrl":"https://arxiv.org/abs/2604.20329v1","bibliography":{"title":"Image Generators are Generalist Vision Learners","authors":["Valentin Gabeur","Shangbang Long","Songyou Peng","Paul Voigtlaender","Shuyang Sun","Yanan Bao","Karen Truong","Zhicheng Wang","Wenlei Zhou","Jonathan T. Barron","Kyle Genova","Nithish Kannen","Sherry Ben","Yandong Li","Mandy Guo","Suhas Yogin","Yiming Gu","Huizhong Chen","Oliver Wang","Saining Xie","Howard Zhou","Kaiming He","Thomas Funkhouser","Jean-Baptiste Alayrac","Radu Soricut"],"url":"https://arxiv.org/abs/2604.20329v1","pdfUrl":"https://arxiv.org/pdf/2604.20329v1","codeUrl":null,"preprint":{"id":"2604.20329","submittedOn":"2026-04-22","url":"https://arxiv.org/abs/2604.20329v1"},"publication":null,"citation":"@misc{imagegenerationvisionbanana2026,\n  title = {{Image Generators are Generalist Vision Learners}},\n  author = {Valentin Gabeur and Shangbang Long and Songyou Peng and Paul Voigtlaender and Shuyang Sun and Yanan Bao and Karen Truong and Zhicheng Wang and Wenlei Zhou and Jonathan T. Barron and Kyle Genova and Nithish Kannen and Sherry Ben and Yandong Li and Mandy Guo and Suhas Yogin and Yiming Gu and Huizhong Chen and Oliver Wang and Saining Xie and Howard Zhou and Kaiming He and Thomas Funkhouser and Jean-Baptiste Alayrac and Radu Soricut},\n  year = {2026},\n  eprint = {2604.20329},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2604.20329v1}\n}\n","citationPath":"/content/papers/citations/image-generation/vision-banana.8b134972f59d.bib"},"thumbnail":{"src":"/content/papers/assets/f406fe7c1fe33b3cb7b26b45ea0f0feb7cc4d00468788ffa491c6db2144c8da1.jpg","width":1612,"height":798},"locale":"ja","path":"/content/papers/ja/image-generation/vision-banana.9928ceb16825.md","headings":[{"id":"intro","text":"Intro","depth":2},{"id":"method","text":"Method","depth":2},{"id":"なぜ-instruction-tuning-が必要なのか","text":"なぜ Instruction Tuning が必要なのか","depth":3},{"id":"instruction-tuning-recipe","text":"Instruction Tuning Recipe","depth":3},{"id":"2d-semantic-understanding","text":"2D Semantic Understanding","depth":2},{"id":"semantic-segmentation","text":"Semantic Segmentation","depth":3},{"id":"instance-segmentation","text":"Instance Segmentation","depth":3},{"id":"referring-expression-segmentation","text":"Referring Expression Segmentation","depth":3},{"id":"3d-understanding","text":"3D Understanding","depth":2},{"id":"metric-depth-estimation","text":"Metric Depth Estimation","depth":3},{"id":"surface-normal-estimation","text":"Surface Normal Estimation","depth":3},{"id":"generation-能力の保持","text":"Generation 能力の保持","depth":2},{"id":"conclusion","text":"Conclusion","depth":2},{"id":"discussion","text":"Discussion","depth":2},{"id":"感想","text":"感想","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[]}],"text":"LLM の分野では、生成型事前学習を受けたモデルが言語理解、推論、コーディングなどの下流能力を自然に獲得することに、私たちは慣れています。これらの能力は個別のタスクとして訓練されたわけではなく、次のトークンを予測する目的から現れてきました。\n\nでは、同じ話が視覚の分野にも当てはまるのでしょうか。つまり、高品質な画像を**生成**するよう訓練されたモデルは、その過程で画像を**理解**することも学ぶのでしょうか。\n\n## Intro\n\n- これまでの関連研究でも、視覚の生成型事前学習にスケーリングの効果があることは観察されていました。しかし、その成果は対比学習やマスク付きオートエンコーダのような非生成型の方法に追いついていませんでした。\n- 本研究の主張は、適切な指示チューニングを行えば、最先端の画像生成モデル（ここでは Nano Banana Pro）を汎用視覚モデルにでき、さまざまな 2D／3D 理解タスクで専門モデルに匹敵するか、それを上回るというものです。\n    - この指示チューニング済みモデルを **Vision Banana** と呼びます。\n    - 鍵になる設計は、すべての視覚タスクの出力形式を **RGB 画像**に統一することです。これなら、構造を変えたり新しい head を追加したりせずに、もとの画像生成モデルの能力を直接使えます。\n\n次の二つの図は、Vision Banana の対象タスクと各分野のベンチマーク結果を示します。インスタンスセグメンテーションと画像編集を除き、ここで比較された結果では最高水準に達しています。以下では、画像生成モデルを使ってこれらの視覚タスクをどう解いているか詳しく見ていきます。\n\n\n\n![benchmark overview 1](/content/papers/assets/f406fe7c1fe33b3cb7b26b45ea0f0feb7cc4d00468788ffa491c6db2144c8da1.jpg)\n\n\n\n\n\n![benchmark overview 2](/content/papers/assets/22bcb4cdd0aacc5ab2c488e46d8477d0bf91af9dfa656ee8af26b5f1bd112aed.jpg)\n\n\n\n## Method\n\n### なぜ Instruction Tuning が必要なのか\n\n過去の研究ですでに、現代の画像生成モデルには、zero-shot でもセグメンテーションマスクや深度マップに**見える**画像を作る能力があるとわかっていました。しかし、生成画像を**実際の視覚タスクの出力に正確に復号できない**ため、ベンチマークで他のモデルと比較できません。\n\n例えば「depth map」を生成するように頼めば、それらしい画像を返すかもしれません。しかし、色と距離の対応が曖昧なら、数値で評価することはできません。\n\nそこで指示チューニングの目的は、**プロンプトで指定した形式に従い、逆変換可能な可視化画像を出力するようモデルに教えること**です。例えば：\n\n> \"Segment the skateboard category in pure yellow (\\<255, 255, 0\\>)\"\n\nモデルが画像を生成した後、(255, 255, 0) に近い色の画素をクラスタリングすれば、スケートボードのマスクを得られます。\n\n### Instruction Tuning Recipe\n\n- 視覚タスクのデータを Nano Banana Pro 本来の訓練データに**ごく低い比率**で混ぜ、軽量なファインチューニングを行います。\n    - この低い比率は重要です。もとの生成能力を忘れないようにするためで、論文が繰り返し強調する「generative prior の保持」にあたります。\n- 訓練データの出所：\n    - 2D タスク：ウェブから収集した画像に、内部モデルでアノテーションを付けます。\n    - 3D タスク：レンダリングエンジンで合成データを作ります。\n- **評価ベンチマークの訓練 split は一切使いません**。したがって、この評価はそれらのベンチマークに対する zero-shot transfer という設定です。\n\n## 2D Semantic Understanding\n\n### Semantic Segmentation\n\nこれは従来の「各画素を一つのクラスに分類する」タスクです。Vision Banana の方法は単純で、プロンプトでクラスごとの色を指定し、そのマスク画像を生成させます。\n\n- `\"Generate a semantic segmentation visualization image, using this color mapping: {\"cat\": \"red\", \"lock\": \"pink\", \"exit sign\": \"light purple\", \"background\": \"yellow\"}.\"`\n\nプロンプトの書き方はとても柔軟です。色は hex コード（`#80C000`）、RGB 値（`<255, 165, 0>`）、さらには自然言語の説明（`\"light purple\"`）でも指定でき、モデルはどれも理解します。\n\nCityscapes での mIoU は **0.699 で、SAM 3 の 0.652 を上回ります**。差は 4.7 ポイントです。比較対象の zero-shot transfer モデルでは最高で、closed-set の SegMan（mIoU = 0.842）との差も約 14 ポイントです。ただし、これらのモデルはすべて同じ訓練条件ではありません。\n\n\n\n![cityscapes mIoU](/content/papers/assets/00f79e12737d98326e1de8237ec710c05d40e51bf6006f306f33a9f4e60ef505.jpg)\n\n\n\n次の図は、Vision Banana による semantic segmentation の例です。\n\n\n\n![semantic segmentation](/content/papers/assets/31cb9cce12f904494488747a77bd5ecab11a14c97bf29f20bdb0242746c2b844.jpg)\n\n\n\n### Instance Segmentation\n\nより厄介なのは instance segmentation です。**インスタンスがいくつあるか事前にはわからない**ため、プロンプトで個々のインスタンスの色を先に指定できません。\n\n著者らの解法は **per-class inference** です。一度に一つのクラスだけを分割し、各インスタンスへ異なる色を動的に割り当てさせます。\n\n```\n\"Generate an instance segmentation visualization of this image.\nEach piece of garlic is colored differently.\"\n```\n\n評価時には、閾値処理で色の近い画素をクラスタリングします。\n\nSA-Co/Gold での $pmF_1$ は 0.540 で、DINO-X の 0.552 に近いものの、SAM 3 の 0.661 には及びません。Vision Banana の値は無作為に選んだ 500 クエリで算出され、訓練条件も異なります。著者らも、instance segmentation はまだ難しいタスクだと認めています。\n\n次の図は、Vision Banana による instance segmentation の例です。\n\n\n\n![instance segmentation](/content/papers/assets/4832b4701f8fcc839d764d08b813e1a0e673cdf61b87f55b14487863cfb1cb5c.jpg)\n\n\n\n### Referring Expression Segmentation\n\nこのタスクはさらに面白いものです。自由な文章による問い合わせを理解しなければならないからです。例えば「ピンクの T シャツを着た男性」「伸びをしている猫」「ゲームコントローラーとして使われているトースター」です。\n\nここに生成モデルの大きな強みがあります。**事前学習から受け継いだマルチモーダルな知性によって、「何を分割すべきか」を推論できる**のです。\n\nReasonSeg では、Gemini 2.5 Pro と組み合わせた Vision Banana が **gIoU 0.793 に達し、同じく Gemini 2.5 Pro と組み合わせた SAM 3 Agent の 0.770 を上回ります**。これは論文の zero-shot transfer 設定での結果です。\n\n興味深いことに、自由文による問い合わせに特化した訓練をしていなくても、**Vision Banana は semantic segmentation や instance segmentation の中で referring expression を扱えます**。例えば「壁の模様」や「三日月形のクロワッサン」が何を指すか理解します。これはタスク間転移を示唆しています。\n\n次の図には、Vision Banana が自然言語を理解し、解釈する例があります。具体的には、次のことができます。\n\n1. 物体の外見を記述する（「man in pink t shirt」）。\n2. 物体の動作を記述する（「stretching」と「cleaning」）。\n3. 物体の意外な使われ方を理解する（ゲームコントローラーとしてのトースター）。\n4. 多言語の文字内容を理解する（メニューに書かれた中国語と英語）。\n\n\n\n![referring segmentation](/content/papers/assets/493de66c40da0f5a6f43f0be7fb353aee5280d637a41cd60fbbc65a9702e4594.jpg)\n\n\n\n## 3D Understanding\n\n### Metric Depth Estimation\n\nこの論文で私が一番面白いと思った部分です。深度推定とセグメンテーションには根本的な違いがあります。深度は**上限のない連続値** $d \\in [0, \\infty)$ ですが、RGB 色は**有界な三次元空間** $[0, 1]^3$ です。前者を後者にどう符号化するのでしょうか。\n\n著者らは、深度と RGB 空間内の指定された経路との間に**可逆な（全単射の）**対応を設計しました。\n\n**Step 1**：[Barron (2025) の power transform](https://arxiv.org/abs/2502.10647) で、上限のない深度を有界な値へ圧縮します。\n\n$$f(d, \\lambda, c) = 1 - (1 - d/\\lambda c)^{\\lambda+1}$$\n\nここで $\\lambda = -3$、$c = 10/3$ です。この変換は**遠距離より近距離に高い解像度**を割り当てます。ロボットや AR/VR では、近くの物体のほうが重要だからです。\n\n**Step 2**：この $[0, 1)$ 内の正規化距離を、RGB cube の辺に沿って**区分線形補間**します。その経路は一次の 3D Hilbert curve に似ており、黒 (0,0,0) から白 (1,1,1) へ進みます。\n\n\n\n![RGB cube path](/content/papers/assets/08afd0a73c5bdba98d28a7e5133ceae3e657ceebb43c4cde8baf77923f0fb5cb.jpg)\n\n\n\nこの経路上の対応は**可逆**なので、次のように利用します。\n\n- 訓練時には正解の深度をこの対応で RGB 画像へ変換し、訓練 target にします。\n- 推論時には、生成された RGB 画像を**最も近い cube の辺に投影**し、逆変換してメートル単位の深度を復元します。\n\n六つのベンチマークで平均 $\\delta_1$ accuracy は 0.882 です。**Depth Anything v3 と共通する四つのデータセット**では **0.929 対 0.918** と上回ります。また、深度タスクの追加学習に**カメラ内部パラメータ**も**実世界の深度訓練データ**も使っておらず、深度データはすべて合成データです。\n\n\n\n![depth benchmark](/content/papers/assets/68251ed3e2158a9654608fd193ca185bab05b2bd5c2325a3f642f67ee0bbf3f4.jpg)\n\n\n\n次の図は、Vision Banana による metric depth estimation の例です。\n\n\n\n![metric depth example](/content/papers/assets/720d7e158df7595a62d4fb276c6ebf256721cb37dee2afaff436a9e4445e70b2.jpg)\n\n\n\n論文には面白い「vibe test」もあります。著者の一人が金閣寺で写真を撮り、Vision Banana が緑の印を付けた点までの距離を 13.71 メートルと推定しました。Google Maps で測った実際の距離は 12.87 メートルで、AbsRel error は約 0.065 でした。\n\n\n\n![vibe test](/content/papers/assets/2b59ea22a1f87d3b5ddf9cebec79936c2d0fc3c194c42acbf10f8c67aea928a3.jpg)\n\n\n\n### Surface Normal Estimation\n\n表面法線は単位ベクトル $(x, y, z) \\in [-1, 1]^3$ なので、RGB との対応はとても自然です。深度のような複雑な対応は必要ありません。カメラ座標系の法線をそのまま使います。\n\n- Facing Left $(-1, 0, 0)$: Pinkish Red\n- Facing Up $(0, 1, 0)$: Light Green\n- Facing Camera $(0, 0, 1)$: Light Blue / Purple\n\n三つの屋内データセットで平均すると、報告された角度誤差の平均値・中央値が、Lotus-2、StableNormal、DSINE といった比較対象の専門モデルより低くなっています。\n\n\n\n![normal benchmark](/content/papers/assets/22978dc6783a6e858b15e61be795dd3230725a9a8657c8ac1f714766b00f6928.jpg)\n\n\n\n次の図は、Vision Banana による Surface Normal Estimation の例です。\n\n\n\n![normal example](/content/papers/assets/025ad8948111c8235d1cad3b2d49ea9406a006d63918b5ebe83174b1f285042b.jpg)\n\n\n\n## Generation 能力の保持\n\n指示チューニング後、もとの画像生成能力は損なわれないのでしょうか。\n\n- Text-to-image（GenAI-Bench）：Nano Banana Pro に対する勝率は **53.5%**。\n- 画像編集（ImgEdit）：勝率は **47.8%**。\n\nつまり、これらの生成タスクでは Vision Banana と元の base model は**ほぼ互角**で、指示チューニングが軽量だったという見方を支えます。\n\n## Conclusion\n\n1. **画像生成モデル自体が汎用の視覚学習器である**：強い視覚理解能力は、生成型事前学習の過程で**自然に現れます**。指示チューニングはその能力を「解き放つ」だけです。これは LLM がかつて NLP 分野を一変させた話と重なります。\n2. **画像生成は視覚の universal interface になり得る**：テキスト生成が NLP タスクの universal interface であるのと同じです。あらゆる視覚出力（mask、depth、normal）を RGB 画像で表せます。プロンプトで可視化方式を指定すれば、異なるタスクを実行できます。\n3. **生成モデルは曖昧さを扱う力をもともと持っている**：一つの入力に複数の妥当な出力があり得ます。例えばセグメンテーションでは「どの範囲を一つのインスタンスとみなすか」に複数の答えがあります。識別モデルは blurry mean への崩壊を避けるために、かなり hacky な loss を設計しなければなりません（例えば SAM 系列は複数の mask を出力して、そのうち一つだけで loss を計算します）。一方、生成モデルはもともと分布全体をモデル化するので、この曖昧さを自然に扱えます。ただし、生成した個々の結果が必ず正しいという保証ではありません。\n4. **Future work**：\n    - 指示チューニングするタスクの種類を増やし、さらなるタスク間汎化を引き出す。\n    - 単眼画像から multi-view や video input に広げる。\n    - LLM と統合し、異なるモダリティをまたぐ推論を行う。\n    - 画像生成モデルは軽量な専門モデルよりはるかに重いため、推論コストを下げる。\n\n## Discussion\n\nこれまで視覚タスクでは、それぞれ専用の構造を設計してきました。セグメンテーションには mask decoder、深度には regression head、法線には特別な loss function が必要で、タスクごとに形が違い、モデル間で共有できませんでした。しかし Vision Banana はすべての視覚出力を RGB 画像に統一し、**画像生成モデル**そのものを視覚タスクの universal interface にしました。この発想は、かつて GPT が NLP のあらゆるタスクを text generation に統一したときと同じ感じがして、本当に可能性があると思います。\n\n特に metric depth の設計（power transform と RGB cube の辺に沿った区分線形補間）は、論文全体で私が一番巧みだと思う部分です。これは、生成モデルを視覚タスクに使うときの大きな難点を解決しました。生成されたものを、ベンチマークに使えるメートル単位の値へ正確に復号できなかったのです。この可逆な対応がなければ、見栄えのよい深度の可視化も定性的な段階にとどまります。\n\nそれに、生成モデルが曖昧さを自然に扱うという点も考える価値があります。識別モデルは blurry mean に崩壊しないよう、さまざまな hacky な loss を設計します。SAM 系列が複数の mask を出力しながら、そのうち一つだけで loss を計算するのが典型的な例です。しかし生成モデルはもともと分布全体をモデル化しているので、この問題をもっと自然に扱えます。\n\n## 感想\n\nこの論文を読んで、Vision Banana の貢献は新しいアルゴリズムや構造の発明よりも、**問題の捉え直し**にあると感じました。\n\n新しい loss も、新しい module も、新しい architecture も発明していません。ただ「視覚タスクの出力形式」を考え直したのです。適切に設計された可逆な RGB encoding と、強力な画像生成モデルを組み合わせれば、専用の構造なしでもさまざまな専門モデルを上回れると示しました。\n\nこの方向は、今後数年の vision foundation model で主流になる可能性が高いと思います。生成型事前学習から現れる視覚理解能力は、ますます重視されるでしょう。RGB のような universal output format と組み合わせれば、いつかすべての視覚タスクをこなす omni model が本当に現れるかもしれません。\n\nもちろん、推論コストは現実的な問題として残ります。現状の Vision Banana ほどの規模のモデルがスマートフォンやエッジ端末に直接載ることはないでしょうが、それは future work で解くべき課題です。\n","imageSizes":{"/content/papers/assets/f406fe7c1fe33b3cb7b26b45ea0f0feb7cc4d00468788ffa491c6db2144c8da1.jpg":{"width":1612,"height":798},"/content/papers/assets/22bcb4cdd0aacc5ab2c488e46d8477d0bf91af9dfa656ee8af26b5f1bd112aed.jpg":{"width":1589,"height":780},"/content/papers/assets/00f79e12737d98326e1de8237ec710c05d40e51bf6006f306f33a9f4e60ef505.jpg":{"width":1619,"height":788},"/content/papers/assets/31cb9cce12f904494488747a77bd5ecab11a14c97bf29f20bdb0242746c2b844.jpg":{"width":1356,"height":864},"/content/papers/assets/4832b4701f8fcc839d764d08b813e1a0e673cdf61b87f55b14487863cfb1cb5c.jpg":{"width":1357,"height":799},"/content/papers/assets/493de66c40da0f5a6f43f0be7fb353aee5280d637a41cd60fbbc65a9702e4594.jpg":{"width":1166,"height":861},"/content/papers/assets/08afd0a73c5bdba98d28a7e5133ceae3e657ceebb43c4cde8baf77923f0fb5cb.jpg":{"width":1244,"height":410},"/content/papers/assets/68251ed3e2158a9654608fd193ca185bab05b2bd5c2325a3f642f67ee0bbf3f4.jpg":{"width":1393,"height":746},"/content/papers/assets/720d7e158df7595a62d4fb276c6ebf256721cb37dee2afaff436a9e4445e70b2.jpg":{"width":1183,"height":744},"/content/papers/assets/2b59ea22a1f87d3b5ddf9cebec79936c2d0fc3c194c42acbf10f8c67aea928a3.jpg":{"width":1234,"height":762},"/content/papers/assets/22978dc6783a6e858b15e61be795dd3230725a9a8657c8ac1f714766b00f6928.jpg":{"width":1204,"height":380},"/content/papers/assets/025ad8948111c8235d1cad3b2d49ea9406a006d63918b5ebe83174b1f285042b.jpg":{"width":986,"height":825}}}
