Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
- Publication
- Journal of Machine Learning Research 2022Revue
- Premier dépôt sur arXiv
- arXiv:2101.03961
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{transformersswitchtransformer2021,
title = {{Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity}},
author = {William Fedus and Barret Zoph and Noam Shazeer},
year = {2021},
eprint = {2101.03961},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2101.03961}
}
Tout le monde sait que les grands modèles de langue peuvent obtenir de bons résultats.
Mais empiler aveuglément des paramètres finira par rencontrer des limites.
Définir le problème
Une piste serait de miser sur l'ajustement fin, comme avec LoRA, que nous avons déjà vu. Cela ne résout cependant pas le problème de fond.
Le problème tient en partie à l'architecture dense des modèles, dont chaque calcul mobilise beaucoup de paramètres et de ressources.
Et l'attention ajoute un coût en lorsque la longueur de la séquence augmente. Agrandir le modèle exige aussi davantage de ressources d'entraînement : avec le matériel disponible, cela devient vite difficile.
Une autre piste est le mélange d'experts (Mixture of Experts, MoE).
L'idée n'est pas nouvelle. En 2017, Google Brain proposait déjà une couche MoE à routage clairsemé :
Un MoE répartit le modèle entre plusieurs « experts ». Un routeur affecte chaque token à un ou plusieurs experts selon ses caractéristiques. Grâce à cette activation clairsemée, on peut augmenter fortement le nombre total de paramètres sans accroître dans les mêmes proportions le calcul effectué pour chaque entrée.
Autrement dit, on cherche un modèle « très gros, mais qui ne mobilise qu'une petite partie de ses composants à chaque calcul », afin d'améliorer la performance pour un coût matériel donné.
Avec un routage top- où , plusieurs experts traitent le même token. Cela peut donner plus de souplesse au routeur, mais complique aussi le calcul et les communications. Les auteurs pensent pouvoir simplifier ce choix :
- Comme on dit, trop de cuisiniers gâtent la sauce : un seul expert suffit pour chaque token !
Résoudre le problème
Architecture du modèle
La figure résume le fonctionnement de Switch Transformer :
-
Le FFN ordinaire devient une couche d'experts clairsemée (Switch FFN) :
Dans un Transformer classique, tous les tokens passent par le même réseau feed-forward et partagent ses poids. Ici, ce FFN est remplacé par plusieurs experts, chacun étant un FFN indépendant.
-
Rôle du routeur : Le routeur choisit dynamiquement l'expert qui traitera chaque token à partir de sa représentation d'entrée.
- Dans la figure, les tokens x1 = « More » et x2 = « Parameters » sont évalués séparément. Le routeur peut les envoyer à deux experts différents, ou au même.
-
Pourquoi l'opération est clairsemée : Un token ne passe finalement que par un seul des FFN experts. Le modèle possède donc beaucoup de groupes de paramètres, mais n'en active qu'un pour ce token ; son calcul ne croît pas proportionnellement au nombre total d'experts.
-
Sortie et poids du routeur (gate value) : Après le FFN choisi, la sortie du token est multipliée par une valeur produite par le routeur. Elle sert de coefficient pondérant la contribution de cet expert pour ce token.
Voilà le routage dynamique de Switch Transformer : plusieurs experts dans le modèle, un seul sélectionné pour chaque token.
Capacité des experts
Lorsque plusieurs experts traitent les tokens d'un lot, on fixe d'avance le nombre maximal de tokens que chacun peut accueillir.
Cette capacité de l'expert se calcule ainsi :
Le nombre de places par expert est donc déterminé par la taille du lot et ajusté avec un facteur de capacité.
Le routeur choisit un expert pour chaque token d'après une distribution de probabilités. Si la répartition était parfaitement équilibrée, aucun expert ne dépasserait sa capacité ; avec un facteur supérieur à 1, certaines places pourraient rester libres.
En pratique, certains experts reçoivent davantage de tokens que d'autres. Quand la capacité est épuisée, les tokens en excès (overflow) ne traversent pas le FFN expert de cette couche : ils passent directement à la couche suivante par la connexion résiduelle, représentée par la ligne rouge en pointillés.
Augmenter le facteur de capacité réduit le risque de débordement. En contrepartie, des places peuvent rester vides : les cases blanches de la figure montrent ce padding, qui entraîne du calcul et des communications inutiles.
Il faut donc équilibrer la capacité des experts et le routage des tokens pour obtenir de bonnes performances.
Perte d'équilibrage de charge
Pour éviter que le routeur n'envoie presque tous les tokens au même expert, Switch Transformer ajoute une perte auxiliaire différentiable.
L'idée est d'équilibrer à la fois la part de tokens attribuée à chaque expert et la probabilité moyenne que le routeur lui accorde. Si est la fraction de tokens envoyés à l'expert et sa probabilité moyenne de routage :
Pour experts, on vise et . La perte auxiliaire vaut :
Ici, est un hyperparamètre fixé à dans l'étude. Quand la répartition est équilibrée, chaque produit tend vers et la perte est faible.
Cette perte fournit un signal de gradient supplémentaire pendant l'entraînement et encourage une répartition plus uniforme.
Stabiliser l'entraînement et l'ajustement fin
L'entraînement d'un modèle à experts clairsemés peut être instable, notamment à cause du routage discret et de l'emploi d'une précision réduite comme bfloat16.
Les auteurs proposent deux ajustements :
- Précision sélective : effectuer localement le calcul du routeur en float32, sur l'appareil, puis revenir à bfloat16. On garde ainsi une grande partie de la vitesse du bfloat16 tout en améliorant la stabilité.
- Initialisation plus petite : réduire d'un facteur dix l'échelle d'initialisation du Transformer, initialement . Cela améliore les résultats et réduit l'instabilité au début de l'entraînement.
Pour limiter le surapprentissage pendant l'ajustement fin, ils ajoutent aussi une mesure simple :
- Augmenter le dropout dans les couches d'experts : l'« expert dropout ».
Dans cette phase, le dropout des FFN experts passe à 0,4, tandis que celui des couches sans experts reste à 0,1. Les quatre petites tâches aval testées dans l'article en bénéficient.
Discussion
Comparaison avec les modèles denses
Les auteurs comparent Switch-Base multilingue au modèle dense mT5-Base avec des FLOPs comparables. Sur la figure, la perplexité logarithmique négative est plus élevée pour Switch-Base dans les 101 langues, ce qui correspond à une perplexité plus faible dans cette expérience de pré-entraînement multilingue.
L'amélioration n'est donc pas limitée à une ou deux langues dans ce cadre précis. La figure ne compare cependant ni toutes les tâches aval ni des modèles denses plus grands.
Effet du nombre d'experts
L'article étudie plusieurs propriétés de passage à l'échelle, à commencer par le nombre d'experts.
-
Graphique de gauche :
- L'axe horizontal donne le nombre de paramètres, augmenté principalement grâce aux experts.
- L'axe vertical donne la perte de test (test loss) : plus elle est basse, mieux c'est.
Le point le plus haut à gauche correspond à T5-Base, environ 223 millions de paramètres. Les autres modèles passent de 2 à 256 experts et possèdent bien plus de paramètres, tout en recevant le même budget de calcul d'entraînement.
Dans cette expérience à budget de calcul fixe, augmenter le nombre d'experts continue de réduire la perte de test.
-
Graphique de droite :
- L'axe horizontal indique le nombre de pas d'entraînement.
- L'axe vertical indique la perplexité logarithmique négative : une valeur plus élevée signifie une perplexité plus faible.
Le T5-Base dense, en violet, est comparé aux Switch-Base à 16, 32, 64 et 128 experts. À nombre de pas identique et à FLOPs par exemple proches, Switch-Base atteint une valeur plus élevée. C'est une meilleure efficacité en nombre d'exemples dans les conditions de cette expérience.
Dans l'ensemble, à budget de calcul et durée d'entraînement contrôlés, davantage d'experts et donc de paramètres s'accompagnent d'une perte de test plus basse. Cela illustre l'intérêt de l'extension par experts clairsemés.
Calcul fixe et temps d'entraînement
Les auteurs comparent les modèles sur les mêmes 32 cœurs TPUv3 et avec les mêmes FLOPs par exemple.
La figure montre que Switch Transformer, notamment sa variante à 64 experts, atteint la qualité de T5-Base en moins de temps : il lui suffit parfois d'environ un septième du temps de T5-Base pour obtenir la même perplexité. Il continue ensuite à améliorer sa performance.
Parallélisme de modèle et de données
Les auteurs examinent comment combiner parallélisme de données, parallélisme de modèle et parallélisme d'experts à très grande échelle.
-
Parallélisme de données (Data Parallelism) : On répartit les données entre les cœurs de calcul, qui gardent chacun une copie des mêmes paramètres. Chaque cœur traite une partie différente du lot ; les gradients sont rassemblés avant chaque mise à jour des paramètres. Les cœurs n'ont pas besoin d'échanger des résultats intermédiaires pendant une même propagation avant et arrière, mais ils doivent synchroniser leurs gradients à chaque mise à jour. La mémoire et le calcul requis sur chaque cœur continuent aussi de croître avec la taille du modèle.
-
Parallélisme de modèle (Model Parallelism) : On partage les grands poids, par exemple ceux d'un FFN, entre plusieurs cœurs. Chaque cœur n'en stocke et n'en calcule qu'une partie, ce qui permet de loger un modèle plus grand. Mais les entrées, sorties et résultats partiels doivent alors circuler entre les cœurs pendant le calcul.
-
Parallélisme d'experts (Expert Parallelism) : Des experts FFN différents sont placés sur des cœurs différents. Le routeur envoie chaque token vers l'expert choisi. Le nombre total de paramètres augmente sans augmentation comparable du calcul par token, mais les communications et l'équilibrage deviennent importants. Pour les très grands modèles, cette stratégie doit être combinée avec les deux autres.
La figure détaille ces répartitions :
Le quadrillage en pointillés de 4 × 4 représente les cœurs utilisés dans l'entraînement distribué. Il montre deux aspects :
-
Partie supérieure : La taille des formes représente celle des matrices de poids FFN, et une même couleur désigne les mêmes poids. En parallélisme de données, les cœurs gardent des copies identiques. En parallélisme de modèle, chacun garde un fragment des poids. En parallélisme d'experts, les couleurs distinguent les experts. La figure maintient la quantité de paramètres par cœur, mais une matrice plus large accroît le calcul par token.
-
Partie inférieure : Elle montre la répartition des lots de tokens. Chaque cœur conserve le même nombre de tokens pour maintenir une mémoire comparable ; une couleur commune indique les mêmes tokens. Les cœurs du parallélisme de modèle travaillent sur les mêmes données, ceux du parallélisme de données se partagent des données différentes, et le parallélisme d'experts doit en plus expédier les tokens vers les experts sélectionnés.
En combinant ces stratégies, les auteurs entraînent Switch-XXL, à 395 milliards de paramètres, et Switch-C, à 1 600 milliards. Dans le tableau 9, Switch-XXL et T5-XXL demandent chacun 6,3 T FLOPs par séquence, tandis que Switch-C en demande 890 B. Les deux Switch ont une perplexité logarithmique négative supérieure à celle de T5-XXL aux pas 250 K et 500 K.
Ces expériences montrent qu'une énorme extension du nombre de paramètres était réalisable dans leur configuration d'entraînement et pouvait améliorer l'efficacité en nombre d'exemples. Switch-XXL restait parfois instable ; les auteurs n'ont pas observé le même problème avec Switch-C. La stabilité dépend donc aussi de l'architecture et du budget de calcul précis.
Tout s'explique-t-il par le nombre de paramètres ?
Oui, les auteurs reconnaissent que l'avantage de Switch Transformer vient bien de son très grand nombre de paramètres :
- Mais c'est un choix délibéré !
Augmenter les paramètres à budget de calcul comparable peut améliorer l'efficacité en nombre d'exemples et les résultats. Par rapport à une extension fondée uniquement sur davantage de FLOPs, leur méthode démontre l'intérêt d'obtenir de meilleurs résultats pour un temps et un calcul similaires dans ces expériences.
Et pour les petits modèles ?
Les auteurs insistent sur le fait que, malgré leur intérêt pour les centaines de milliards ou les billions de paramètres, on peut aussi employer quelques experts seulement, par exemple deux, sur des GPU ou TPU ordinaires et obtenir des gains. Les équipes travaillant à plus petite échelle peuvent donc également explorer cette méthode.
Pourquoi les modèles clairsemés ne sont-ils pas plus répandus ?
Les succès des modèles denses et l'optimisation du matériel pour eux ont réduit l'incitation à essayer la sparsité. Historiquement, le routage, l'instabilité de l'entraînement et les communications entre cœurs ont aussi compliqué la mise en œuvre.
La conception de Switch Transformer atténue plusieurs de ces difficultés et abaisse le seuil d'entrée pour expérimenter avec les modèles clairsemés.
Conclusion
Switch Transformer simplifie le mélange d'experts en donnant à chaque token un seul expert FFN. L'architecture reste assez simple à comprendre et permet d'employer beaucoup de paramètres avec un calcul par token limité.
Face aux références denses étudiées, elle obtient de bons résultats sur plusieurs tâches de NLP et configurations d'entraînement, avec des gains de vitesse significatifs.
Les auteurs pensent que les modèles clairsemés méritent davantage d'attention. Espérons que leur travail donnera envie à d'autres de creuser cette piste.