xGen-MM (BLIP-3): A Family of Open Large Multimodal Models
- Publication
- ICCV Workshops 2025Atelier (workshop)
- Premier dépôt sur arXiv
- arXiv:2408.08872
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{multimodalityxgenmm2024,
title = {{xGen-MM (BLIP-3): A Family of Open Large Multimodal Models}},
author = {Le Xue and Manli Shu and Anas Awadalla and Jun Wang and An Yan and Senthil Purushwalkam and Honglu Zhou and Viraj Prabhu and Yutong Dai and Michael S Ryoo and Shrikant Kendre and Jieyu Zhang and Can Qin and Shu Zhang and Chia-Chih Chen and Ning Yu and Juntao Tan and Tulika Manoj Awalgaonkar and Shelby Heinecke and Huan Wang and Yejin Choi and Ludwig Schmidt and Zeyuan Chen and Silvio Savarese and Juan Carlos Niebles and Caiming Xiong and Ran Xu},
year = {2024},
eprint = {2408.08872},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2408.08872v1}
}
Trouver le nom d'un article n'est pas si facile.
Après un modèle qui a bien marché, une suite peut attirer l'attention ; mais pour viser encore plus haut, on peut aussi vouloir repartir avec un nom neuf.
Cette fois, les auteurs semblent avoir dit : « Je prends les deux ! » L'ancien et le nouveau nom figurent donc ensemble dans le titre.
Définir le problème
Poursuivons notre discussion de BLIP-2.
Selon les auteurs, l'architecture Q-Former et ses différents objectifs d'entraînement, ITM, ITC et ITG, compliquent le passage à grande échelle. BLIP-2 n'accepte en outre qu'une image, alors que les données multimodales prennent souvent la forme d'images et de textes entrelacés.
Comment traitait-on auparavant ces entrées entrelacées ?
Il faut revenir à un autre article célèbre : Flamingo.
Flamingo unit les caractéristiques d'image et de texte par un module d'attention croisée. Son cheminement pour les entrées alternées ressemble à ceci :
Architecture de Flamingo
Les auteurs de xGen-MM trouvent pourtant l'ensemble de Flamingo complexe. Son Perceiver Resampler leur rappelle le Q-Former, tout en paraissant plus simple.
Ils visent donc deux changements :
- Remplacer le Q-Former par le Perceiver Resampler.
- Simplifier l'architecture d'attention croisée de Flamingo.
Ils ajoutent aussi de grands jeux de données de qualité pour renforcer l'entraînement.
En travaillant sur les données, l'architecture et la recette d'entraînement, ils espèrent rapprocher les modèles multimodaux ouverts des modèles privés. La publication des ressources doit aider la communauté à étudier et utiliser ces modèles.
Résoudre le problème
Architecture
Comme annoncé, les tokens d'image et de texte entrent dans le même modèle de langue préentraîné, dans leur ordre d'entrelacement initial. Sur la figure, le flocon indique que le ViT reste figé ; la flamme signale que l'échantillonneur de tokens visuels et le modèle de langue sont entraînés. La perte porte uniquement sur les tokens textuels.
Les trois grands modules sont :
- Vision Transformer (ViT), qui extrait les caractéristiques des images ;
- Vision Token Sampler (Perceiver Resampler), qui compresse les représentations de l'image ;
- Grand modèle de langue préentraîné (phi3-mini), qui traite la séquence multimodale.
Le ViT encode d'abord l'image. Le Perceiver Resampler condense ses tokens, puis ces derniers sont insérés parmi les tokens textuels dans l'ordre de l'entrée envoyée à phi3-mini.
Phases d'entraînement
L'architecture est simple ; l'entraînement comporte toutefois quatre étapes :
-
Première étape : préentraînement
Le modèle prédit le token textuel suivant à partir d'un mélange de données multimodales. Le modèle de base voit environ 100 milliards de tokens multimodaux, avec des images de pixels.
-
Deuxième étape : réglage fin supervisé (SFT)
Le modèle préentraîné apprend à comprendre les demandes des utilisateurs et à y répondre grâce à des jeux publics de suivi d'instructions. Pour les images de résolution quelconque, la stratégie découpe l'image haute définition et conserve aussi une version réduite de l'ensemble ; chaque partie est encodée et échantillonnée séparément, puis les tokens visuels sont concaténés avant d'entrer dans le modèle de langue.
-
Réglage fin supervisé sur plusieurs images entrelacées
À partir du modèle déjà réglé sur des instructions, une autre phase lui apprend à répondre à des consignes contenant une ou plusieurs images entrelacées avec le texte. La stratégie d'échantillonnage visuel à résolution variable est la même qu'à l'étape SFT précédente.
-
Postentraînement
Il vise des réponses plus utiles, avec moins d'hallucinations, de toxicité et de comportements nuisibles.
Il comprend deux sous-étapes :
- Optimisation directe des préférences (DPO) :
- Les données de préférence servent à entraîner l'utilité et la fidélité visuelle des réponses ; le gain réel doit être lu dans l'évaluation.
- Réglage fin de sûreté :
- Il cherche à réduire les réponses dangereuses.
- Optimisation directe des préférences (DPO) :
Données de préentraînement
Le préentraînement échantillonne plusieurs ensembles multimodaux selon les proportions de la figure :
-
Mélange de données entrelacées
- MINT-1T : un ensemble d'environ un billion de tokens.
- OBELICS : documents HTML, avec une couverture et un prétraitement un peu différents de MINT-1T.
-
Mélange de données de légendage
-
BLIP3-KALE : un grand ensemble de légendes soignées.
-
BLIP3-OCR-200M : annotations produites par OCR sur 200 millions d'images de haute définition.
-
BLIP3-GROUNDING-50M : annotations de la position des objets dans 50 millions d'images.
-
D'autres ensembles publics s'y ajoutent, dont DataComp-1B, CC12M, CC3M, VG et SBU.
-
Données de réglage fin supervisé
Elles se répartissent principalement ainsi :
- Données de suivi d'instructions
- Jeux publics couvrant conversations multimodales, légendage, questions sur les images, compréhension de documents et de graphiques, ainsi que sciences et mathématiques.
- Un million d'instructions purement textuelles sont ajoutées au réglage fin visuel pour une époque complète.
- Instructions sur plusieurs images entrelacées
- L'entraînement part du modèle réglé sur une image et ajoute des consignes mêlant plusieurs images et du texte.
- Une partie des données à une image reste dans le mélange pour limiter la dégradation de cette capacité.
Données de postentraînement
Il y a de nouveau deux étapes :
-
Optimisation directe des préférences (DPO)
Les auteurs partent de 80 000 instructions multimodales de VLFeedback. Les réponses notées forment des paires de préférence ; les réponses préférées mais mal notées sont filtrées, ce qui donne 62 600 exemples. L'entraînement dure une époque. LoRA met à jour environ 2,5 % des poids du cœur LLM ; des réponses du modèle à des images bruitées ajoutent des exemples de préférence négative.
-
Réglage fin de sûreté
Le jeu d'entraînement VLGuard fournit environ 2 000 exemples d'images et de consignes dangereuses. Le modèle est réglé pendant trois époques sur des thèmes comme la vie privée, la politique, la sexualité, la violence, la fraude ou la discrimination. 5 000 consignes ordinaires sont mêlées aux exemples pour conserver l'utilité des réponses.
Discussion
Résultats du modèle préentraîné
Les auteurs comparent d'abord BLIP-3 à plusieurs modèles multimodaux sur le légendage et les questions visuelles, pour mesurer l'apprentissage en contexte du modèle de base.
Le tableau distingue le zero-shot des réglages avec quatre ou huit exemples.
Avec 4 ou 8 exemples, xGen-MM-base dépasse MM1-3B, Idefics-9B et MM1-7B sur les scores indiqués pour TextCaps, TextVQA et VQAv2. Il n'est pourtant pas premier partout : en 8-shot, Idefics2-8B est meilleur sur VQAv2 et TextVQA, et MM1-7B sur COCO Captioning. Les scores sans exemple sont sensibles à l'invite ; il faut les lire séparément.
L'augmentation du nombre d'exemples améliore plusieurs résultats et montre une capacité à utiliser le contexte fourni.
Résultats après réglage fin
L'évaluation couvre plusieurs capacités des modèles image–texte :
- Questions visuelles générales (VQA) : répondre à des questions sur une image.
- Perception visuelle : reconnaître et analyser son contenu.
- Connaissances spécialisées : mathématiques et sciences.
- OCR : lire des images riches en texte, comme les documents et graphiques.
- Maîtrise des hallucinations : éviter d'inventer des éléments.
La comparaison principale regroupe des modèles ouverts et fermés d'environ 3 à 4 milliards de paramètres. GPT-4V figure seulement comme référence et n'est pas classé parmi les modèles comparables de moins de 5 milliards.
Parmi les modèles réévalués avec le même programme, xGen-MM-instruct obtient 64,8 en moyenne sur VQA général et perception. Après le réglage fin multi-image, la moyenne de toutes les mesures à une image passe de 66,9 à 67,3 pour la version interleave. Quelques mesures, notamment TextVQA et MMMU, baissent légèrement. Sur BLINK, QBench-2 et Mantis-eval, les scores multi-images montent respectivement de 46,6 / 52,4 / 42,4 à 49,7 / 75,1 / 56,7.
Quantité de données de préentraînement
Les auteurs font varier le nombre de tokens multimodaux de 2 à 100 milliards et observent les scores de préentraînement.
- 60 milliards de tokens : par rapport à 2 milliards, les mesures avec quelques exemples progressent sur COCO-Caps, Text-Caps et OK-VQA. TextVQA n'apparaît pas sur cette figure.
- 100 milliards de tokens : les gains supplémentaires sont plus modestes sur ces mesures.
Les courbes ralentissent donc entre 60 et 100 milliards. Comme elles n'intègrent pas le coût d'entraînement, elles ne permettent pas de calculer un rendement optimal de l'investissement.
Stratégie de résolution variable
Les auteurs comparent trois façons de traiter les images :
- Résolution variable (any-resolution) : l'image est découpée en blocs, auxquels s'ajoute une vue globale réduite. Chaque ensemble est échantillonné séparément par le Perceiver Resampler avant concaténation dans le LLM, pour garder davantage de détails.
- Résolution fixe (fixed-resolution) : chaque image est ramenée à la taille d'entrée du codeur visuel tout en conservant son rapport largeur–hauteur.
- Échantillonnage fixe (anyres-fixed-sampling) : les représentations de tous les blocs sont concaténées, puis échantillonnées ensemble.
Dans la figure, l'échantillonnage bloc par bloc est le meilleur sur les tâches riches en texte DocVQA, ChartQA et OCRBench. Il s'agit d'une ablation SFT simplifiée : ses scores ne se comparent pas directement aux résultats principaux du modèle entièrement réglé.
Échantillonnage sensible à l'instruction
Les auteurs demandent si fournir les tokens d'instruction au moment de condenser l'image aide le modèle.
La différence de résultats avec la version de base est faible. Ils supposent que le Perceiver Resampler, composé seulement de couches d'attention croisée dans cette variante, ne reproduit pas entièrement le bénéfice de l'approche Q-Former sensible à l'instruction.
Ils conservent donc l'échantillonneur initial, plus simple, et laissent à de futurs travaux l'amélioration des connecteurs vision–langage guidés par les instructions.
Diversité des données purement textuelles
Une autre expérience examine la composition du corpus purement textuel et ses effets, notamment sur les tests multimodaux de mathématiques et de code.
Elle oppose deux mélanges :
- Données diversifiées : conversations, mathématiques, code et autres domaines.
- Données d'un seul type : conversations ordinaires seulement.
Avec des textes de mathématiques et de code, MMMU passe de 39,1 à 40,9, et MathVista de 37,1 à 38,9. Mais ScienceQA baisse de 84,8 à 81,4, et MMStar de 46,1 à 45,3 : on ne peut pas dire que toutes les tâches de connaissance progressent.
Cette ablation montre que la composition du texte change certains indicateurs multimodaux. Mélanger du texte pur vise aussi à maintenir les capacités linguistiques, mais ce tableau ne les mesure pas directement.
Conclusion
Les auteurs proposent avec xGen-MM, ou BLIP-3, un cadre complet pour entraîner une famille ouverte de grands modèles multimodaux. Leur recette associe un mélange de données préparées, une architecture accessible et plusieurs phases d'entraînement. Les modèles obtiennent de bons résultats sur les tests présentés et montrent une capacité à apprendre à partir de quelques exemples en contexte.
La concurrence entre modèles ouverts et fermés reste vive. En publiant modèles, données préparées et code de réglage fin, les auteurs veulent donner à la communauté de recherche des bases accessibles pour étudier et développer les capacités des grands modèles multimodaux.