{"notes":[{"id":"text-recognition/crnn","category":"text-recognition","legacyPath":"text-recognition/1507-crnn","legacySlug":"1507-crnn","legacyPaths":[],"title":"CRNN","subtitle":"Je veux tout !","author":"Z. Yuan","paperDate":"2017","publishedOn":"2024-10-07","paperTitle":"An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition","paperUrl":"https://doi.org/10.1109/tpami.2016.2646371","bibliography":{"title":"An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition","authors":["Baoguang Shi","Xiang Bai","Cong Yao"],"url":"https://doi.org/10.1109/tpami.2016.2646371","pdfUrl":null,"codeUrl":null,"preprint":null,"publication":{"venue":"IEEE Transactions on Pattern Analysis and Machine Intelligence","shortVenue":"IEEE TPAMI","year":2017,"kind":"journal","url":"https://doi.org/10.1109/tpami.2016.2646371"},"citation":"@article{textrecognitioncrnn2017,\n  title = {{An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition}},\n  author = {Baoguang Shi and Xiang Bai and Cong Yao},\n  year = {2017},\n  journal = {IEEE Transactions on Pattern Analysis and Machine Intelligence},\n  url = {https://doi.org/10.1109/tpami.2016.2646371},\n  doi = {10.1109/tpami.2016.2646371}\n}\n","citationPath":"/content/papers/citations/text-recognition/crnn.1b8f44a91ef1.bib"},"thumbnail":{"src":"/content/papers/assets/3eab698b0f22c3bd4a66aebe62707ef15cb44b313611f4772c224e3f9916f395.jpg","width":900,"height":1080},"locale":"fr","path":"/content/papers/fr/text-recognition/crnn.e0b8ab4e4be4.md","headings":[{"id":"définition-du-problème","text":"Définition du problème","depth":2},{"id":"1-définir-un-lexique","text":"1. Définir un lexique","depth":3},{"id":"2-coder-une-suite-de-caractères","text":"2. Coder une suite de caractères","depth":3},{"id":"3-coder-des-n-grammes","text":"3. Coder des N-grammes","depth":3},{"id":"résolution-du-problème","text":"Résolution du problème","depth":2},{"id":"architecture-du-modèle","text":"Architecture du modèle","depth":3},{"id":"couches-convolutives","text":"Couches convolutives","depth":3},{"id":"couches-récurrentes","text":"Couches récurrentes","depth":3},{"id":"annotations-de-séquence-non-alignées","text":"Annotations de séquence non alignées","depth":3},{"id":"stratégie-dentraînement","text":"Stratégie d'entraînement","depth":3},{"id":"mesures-dévaluation","text":"Mesures d'évaluation","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"comparer-le-modèle-sous-plusieurs-angles","text":"Comparer le modèle sous plusieurs angles","depth":3},{"id":"comparaison-avec-les-méthodes-antérieures","text":"Comparaison avec les méthodes antérieures","depth":3},{"id":"étendre-le-modèle-à-dautres-séquences","text":"Étendre le modèle à d'autres séquences","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"text-recognition/satrn","relation":"next","topic":"De la reconnaissance récurrente à l’attention"}]},{"id":"text-recognition/satrn","category":"text-recognition","legacyPath":"text-recognition/1910-satrn","legacySlug":"1910-satrn","legacyPaths":[],"title":"SATRN","subtitle":"Le Transformer arrive sur le champ de bataille","author":"Z. Yuan","paperDate":"2019-10-10","publishedOn":"2024-10-13","paperTitle":"On Recognizing Texts of Arbitrary Shapes with 2D Self-Attention","paperUrl":"https://arxiv.org/abs/1910.04396","bibliography":{"title":"On Recognizing Texts of Arbitrary Shapes with 2D Self-Attention","authors":["Junyeop Lee","Sungrae Park","Jeonghun Baek","Seong Joon Oh","Seonghyeon Kim","Hwalsuk Lee"],"url":"https://arxiv.org/abs/1910.04396","pdfUrl":"https://arxiv.org/pdf/1910.04396","codeUrl":null,"preprint":{"id":"1910.04396","submittedOn":"2019-10-10","url":"https://arxiv.org/abs/1910.04396"},"publication":{"venue":"CVPR Workshops","year":2020,"kind":"workshop","url":"https://doi.org/10.1109/cvprw50498.2020.00281"},"citation":"@misc{textrecognitionsatrn2019,\n  title = {{On Recognizing Texts of Arbitrary Shapes with 2D Self-Attention}},\n  author = {Junyeop Lee and Sungrae Park and Jeonghun Baek and Seong Joon Oh and Seonghyeon Kim and Hwalsuk Lee},\n  year = {2019},\n  eprint = {1910.04396},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1910.04396}\n}\n","citationPath":"/content/papers/citations/text-recognition/satrn.1f218ed8cb52.bib"},"thumbnail":{"src":"/content/papers/assets/30eedea70bdfcce81cbdde80e181f20fe6b6887ab2f147bec508540a92a678d4.jpg","width":944,"height":1080},"locale":"fr","path":"/content/papers/fr/text-recognition/satrn.42ffef9d2fb2.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"architecture-du-modèle","text":"Architecture du modèle","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"comparaison-avec-les-méthodes-antérieures","text":"Comparaison avec les méthodes antérieures","depth":3},{"id":"comparaison-avec-sar","text":"Comparaison avec SAR","depth":3},{"id":"reconnaissance-de-textes-sur-plusieurs-lignes","text":"Reconnaissance de textes sur plusieurs lignes","depth":3},{"id":"étude-dablation","text":"Étude d’ablation","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"text-recognition/crnn","relation":"background","topic":"De la reconnaissance récurrente à l’attention"},{"id":"text-recognition/parseq","relation":"next","topic":"De la reconnaissance récurrente à l’attention"}]}],"text":"L'OCR est une vieille discipline, mais l'apprentissage profond lui a donné un nouvel élan.\n\n## Définition du problème\n\nAvec la diffusion de l'apprentissage profond, la reconnaissance optique de caractères (OCR) connaît de nouvelles possibilités. Par rapport aux méthodes classiques de classification fondées sur des caractéristiques conçues à la main, les méthodes à réseau convolutif (CNN) ont montré de meilleures performances et une meilleure capacité de généralisation.\n\nUn de leurs principaux atouts est d'apprendre directement des caractéristiques à partir des images, sans devoir les concevoir ni les sélectionner à la main. Cela épargne le travail de conception des caractéristiques.\n\nIl reste toutefois une question décisive en reconnaissance de texte : **comment classer efficacement le résultat ?**\n\nPour cette dernière étape, plusieurs approches dominent. Empruntons d'abord une image à nos voisins de **CHAR** :\n\n- [**[14.06] Synthetic Data and Artificial Neural Networks for Natural Scene Text Recognition**](https://arxiv.org/abs/1406.2227v4)\n\n  ![char paper](/content/papers/assets/a8cc9ff082613b1af2da8aad099546e7323bbe0a7d38ddd2a191bff345ec6610.jpg)\n\n### 1. Définir un lexique\n\nLa « Dictionary Encoding », ou codage par dictionnaire, est la solution la plus directe. Le système définit à l'avance un lexique de toutes les étiquettes possibles, en général des mots ou des groupes de mots. Devant une image, il choisit l'entrée du lexique qui correspond le mieux au texte. En somme, le modèle choisit dans une liste prédéfinie.\n\nSi le mot de l'image n'y figure pas, l'approche échoue. Elle convient donc mal aux chaînes inédites, comme un mot de passe ou un numéro de téléphone.\n\nUn lexique énorme, contenant des centaines de milliers d'entrées, ralentit aussi le système et se prête mal à l'extension.\n\n### 2. Coder une suite de caractères\n\nAvec le « Character Sequence Encoding », on ne choisit plus un mot dans un lexique défini à l'avance : on prédit directement une suite de caractères. Le système reconnaît les caractères de l'image, puis les assemble pour former le texte complet.\n\nCette tâche est plus difficile que la sélection d'un mot entier. Le modèle doit apprendre les caractères et leur combinaison dans une séquence ; il lui faut aussi tirer parti du contexte pour éviter des combinaisons erronées.\n\n### 3. Coder des N-grammes\n\nLe « Bag-of-N-gram Encoding » est un compromis entre le mot entier et les caractères isolés : il classe l'image à partir de séquences de N caractères.\n\nUn N-gramme contient N caractères : deux pour un bigramme, trois pour un trigramme, voire davantage. Il permet de représenter des caractères et leurs combinaisons, donc une part du contexte.\n\nQuand N augmente, le nombre de combinaisons possibles croît très vite, de même que le coût de calcul, surtout pour les textes longs. De petits N-grammes peuvent aussi manquer la structure d'un mot entier ; selon la tâche, la précision peut être inférieure à celle d'un lexique ou d'une prédiction caractère par caractère.\n\n---\n\nEn réunissant ces éléments, les auteurs voudraient un modèle qui coche toutes les cases :\n\n1. **Entraînement de bout en bout** : apprendre directement à partir de l'image, sans pipeline séparé de prétraitement.\n2. **Caractéristiques convolutives** : les apprendre sur les images d'entraînement plutôt que les définir à la main.\n3. **Aucune annotation caractère par caractère** : apprendre à partir de la transcription complète de l'image.\n4. **Aucun lexique imposé** : reconnaître des suites de longueur variable composées de caractères connus, y compris des mots absents d'un dictionnaire.\n5. **Un petit modèle** : demander peu d'espace de stockage et fonctionner efficacement.\n\nCela commence à faire beaucoup, non ? Voyons comment les auteurs s'y prennent.\n\n## Résolution du problème\n\n### Architecture du modèle\n\n\n\n![model arch](/content/papers/assets/3eab698b0f22c3bd4a66aebe62707ef15cb44b313611f4772c224e3f9916f395.jpg)\n\n\n\nCRNN réunit trois parties. Regardons-les sur la figure.\n\n### Couches convolutives\n\nTout en bas figurent les « Convolutional Layers » : un réseau convolutif familier, chargé d'extraire les caractéristiques de l'image.\n\nSupposons une image de texte de `128x32` pixels (largeur × hauteur). Le modèle séquentiel reçoit les colonnes de la *carte de caractéristiques* produite par le CNN, et non les 128 colonnes de pixels de l'image d'origine. Les caractéristiques de chaque colonne sont concaténées en un vecteur.\n\nUne autre possibilité serait d'envoyer directement l'image originale au modèle séquentiel.\n\nLa séquence serait toutefois longue et le modèle plus complexe à entraîner. Les auteurs préfèrent donc extraire d'abord les caractéristiques avec le CNN, puis transmettre cette séquence au réseau suivant.\n\nUn autre problème apparaît : si l'on réduit trop la largeur dans le CNN, il reste trop peu de pas de temps.\n\nReprenons une image large de 128 pixels : en divisant plusieurs fois sa largeur par deux, on finit avec très peu de colonnes de caractéristiques.\n\nCe n'est pas ce que nous voulons : il ne reste plus assez d'indices pour prédire le texte !\n\nLes auteurs remplacent donc les 3e et 4e opérations de `MaxPooling` par des fenêtres rectangulaires de `1×2` (largeur × hauteur), afin de conserver davantage de colonnes horizontales.\n\nLe réseau réduit tout de même la largeur : dans l'exemple de l'article, une image de `100×32` pixels donne environ 25 pas de temps.\n\n\n> [!TIP]\n> \n> Dans cette configuration, les deux premières opérations de max-pooling réduisent largeur et hauteur ; les 3e et 4e utilisent des fenêtres rectangulaires et réduisent surtout la hauteur. La dernière convolution `2×2` modifie aussi la taille de sortie.\n> \n> \n> \n> ![settings](/content/papers/assets/900cd5ac7a828f6741427fa43dc99eddaeb0ba88e7aadd731f5d6bc18ea7fc33.jpg)\n> \n> \n\n\n### Couches récurrentes\n\nAu milieu se trouvent les « Recurrent Layers ».\n\nNous avons transformé l'image de texte en séquence de caractéristiques. Pour la traiter, les auteurs utilisent un BiLSTM.\n\nLe LSTM est une variante du réseau récurrent (RNN) conçue pour mieux saisir les dépendances lointaines. Un RNN classique peine à conserver l'information lorsque les pas de temps s'accumulent. Le LSTM régule sa mémoire avec une cellule et des portes d'entrée, d'oubli et de sortie : il peut conserver les indices utiles et écarter les autres sur une séquence plus longue.\n\nUn BiLSTM combine deux LSTM de sens opposés, l'un allant du début vers la fin et l'autre de la fin vers le début. Chaque pas de temps bénéficie ainsi du contexte des deux côtés. Dans des tâches comme la modélisation du langage, la reconnaissance de la parole ou la traduction, ce contexte peut améliorer la prédiction.\n\n\n\n![BiLSTM](/content/papers/assets/0778719902d362c78b6cfaab18608fdd3492439d534e98e9563e9c1655c31bb2.jpg)\n\n\n\nRevenons à notre image : après l'extraction par CNN, la longueur de la séquence est **la largeur de la carte de caractéristiques de sortie**. Chaque pas correspond à une région réceptive de l'image d'origine, dont l'étendue dépend du CNN (voir la figure ci-dessous).\n\n\n\n![detail](/content/papers/assets/35ed76da4c223b2b997fa7b62b0080d2c295f2acb08fda725abdced3d2efcc89.jpg)\n\n\n\nLe BiLSTM transforme cette séquence en représentations de niveau plus élevé, prêtes à servir à la prédiction du texte.\n\n### Annotations de séquence non alignées\n\nC'est la « Transcription Layer » du schéma.\n\nComme nous le disions, annoter la position de chaque caractère est laborieux.\n\nLes auteurs emploient donc la CTC (*Connectionist Temporal Classification*) pour apprendre à prédire la transcription sans alignement des caractères :\n\n- [**[06.06] Connectionist temporal classification: labelling unsegmented sequence data with recurrent neural networks**](https://dl.acm.org/doi/abs/10.1145/1143844.1143891)\n\nLa CTC traite une séquence de prédictions par pas de temps $y = \\{y_1, ..., y_T\\}$ et calcule la probabilité d'une transcription $l$ sans connaître la position précise de chaque caractère. Elle convient ainsi à la parole et à la reconnaissance de texte manuscrit, entre autres.\n\nContrairement à une supervision alignée, elle n'exige pas de lier chaque pas de temps à un caractère particulier, ce qui simplifie les annotations d'entraînement.\n\nPour une entrée $y = \\{y_1, ..., y_T\\}$ de longueur $T$, chaque $y_t \\in \\mathbb{R}^{|L'|}$ est une distribution sur l'ensemble $L' = L \\cup \\{\\text{blank}\\}$. $L$ regroupe les étiquettes de la tâche, par exemple les lettres de l'alphabet ; `blank` désigne l'absence de caractère à ce pas de temps. Ce symbole aide à représenter des transcriptions de longueur variable.\n\nLe modèle peut prédire plusieurs fois le même caractère ou le symbole `blank`. La fonction $B$ ramène ces chemins redondants à la transcription : elle fusionne d'abord les répétitions consécutives, puis supprime les `blank`.\n\nPour « hello », un chemin de prédictions pourrait être :\n\n```\n--hh-e-l-ll-oo--\n```\n\nIci, `-` représente `blank`. Après fusion des répétitions et suppression des `blank`, on obtient :\n\n```\nhello\n```\n\nLa CTC transforme ainsi une séquence de prédictions redondantes en une transcription plus courte.\n\nPour calculer la probabilité d'une transcription $l$ à partir de $y = \\{y_1, ..., y_T\\}$, il faut tenir compte de tous les chemins $\\pi$ que $B$ ramène à $l$. On additionne leurs probabilités :\n\n$$\np(l | y) = \\sum_{\\pi : B(\\pi) = l} p(\\pi | y),\n$$\n\nLa probabilité d'un chemin de prédictions est :\n\n$$\np(\\pi | y) = \\prod_{t=1}^{T} y^t_{\\pi_t},\n$$\n\nAutrement dit, à chaque pas $t$, on prend la probabilité attribuée à l'étiquette $\\pi_t$.\n\n\n> [!TIP]\n> \n> Pour rendre la CTC plus concrète, prenons le mot « cat ».\n> \n> Supposons quatre pas de temps avec les probabilités suivantes :\n> \n> | Pas de temps | c   | a   | t   | blank |\n> | ------------ | --- | --- | --- | ----- |\n> | 1            | 0.6 | 0.1 | 0.1 | 0.2   |\n> | 2            | 0.1 | 0.7 | 0.1 | 0.1   |\n> | 3            | 0.1 | 0.2 | 0.6 | 0.1   |\n> | 4            | 0.2 | 0.2 | 0.2 | 0.4   |\n> \n> À chaque pas, le modèle estime la probabilité de chaque étiquette, y compris `blank`. Au premier pas, `c` est le plus probable ; au quatrième, c'est `blank`.\n> \n> Plusieurs chemins peuvent donner la transcription « cat », par exemple :\n> \n> - la suite de quatre pas $\\text{c-at}$ ;\n> - la suite de quatre pas $\\text{-cat}$.\n> \n> La CTC additionne les probabilités de tous les chemins qui correspondent à « cat ». Pendant l'entraînement, le modèle minimise la log-vraisemblance négative de la transcription correcte ; il apprend ainsi à attribuer davantage de probabilité aux bons chemins, sans alignement caractère par caractère.\n> \n> La CTC peut donc apprendre la bonne transcription sans annotation de la position de chaque caractère dans l'image.\n\n\n### Stratégie d'entraînement\n\nLes auteurs entraînent leur modèle avec le jeu de données synthétiques de Jaderberg et ses collègues :\n\n- [**Text Recognition Data**](https://www.robots.ox.ac.uk/~vgg/data/text/) : environ 8 millions d'images d'entraînement accompagnées de leur transcription. Elles sont créées par un moteur de synthèse visant un rendu réaliste.\n\nLe modèle est entraîné une seule fois sur ces données, puis testé directement sur tous les jeux réels, sans affinage propre à chacun.\n\nVoici les principaux réglages du réseau :\n\n- La structure des convolutions s'inspire de VGG, avec des adaptations à la reconnaissance de mots anglais.\n- Les 3e et 4e opérations de max-pooling emploient des fenêtres rectangulaires $w=1, h=2$ plutôt que carrées.\n- Une couche de normalisation par lots est insérée après chacune des 5e et 6e convolutions, ce qui accélère nettement l'entraînement.\n- L'optimisation utilise ADADELTA, avec $\\rho$ fixé à 0.9. À l'entraînement, les images sont redimensionnées à $100 \\times 32$ pour accélérer le calcul.\n- Au test, la hauteur des images est ramenée à 32 pixels ; leur largeur garde les proportions initiales, avec un minimum de 100 pixels.\n\n### Mesures d'évaluation\n\nLes auteurs évaluent le modèle sur quatre jeux courants de reconnaissance de texte de scène :\n\n1. **ICDAR 2003 (IC03)**\n\n   - Le jeu comprend 251 images de scène annotées avec des boîtes de texte.\n   - Pour rester comparable aux travaux antérieurs, on exclut habituellement les extraits contenant des caractères non alphanumériques ou moins de trois caractères. Il reste alors 860 images de mots découpés.\n   - Chaque image dispose d'un lexique de 50 mots. Un **lexique complet** réunit aussi les lexiques de toutes les images pour une autre condition d'évaluation.\n\n2. **ICDAR 2013 (IC13)**\n\n   - Une partie des données d'IC03 est reprise et corrigée ; l'ensemble final compte 1 015 images de mots découpés avec des annotations précises.\n   - Contrairement à IC03, aucun lexique n'est fourni : l'évaluation se fait sans aide lexicale.\n\n3. **IIIT 5K-Word (IIIT5k)**\n\n   - Le test contient 3 000 images de mots découpés, collectées sur Internet, avec des polices et des présentations variées.\n   - Chaque image est associée à deux lexiques : un petit de 50 mots et un grand de 1 000 mots.\n\n4. **Street View Text (SVT)**\n\n   - Les 249 images de scène tirées de Google Street View donnent 647 extraits de mots.\n   - Chaque extrait est accompagné d'un lexique de 50 mots pour l'évaluation assistée.\n\n## Discussion\n\n### Comparer le modèle sous plusieurs angles\n\n\n\n![model size](/content/papers/assets/481472731c3d265b92e4b15f8c362864052b8696aecacd85e46ff6ee367822ce.jpg)\n\n\n\nLes auteurs réunissent plusieurs propriétés dans le tableau ci-dessus pour comparer CRNN aux autres méthodes :\n\n- **E2E Train** : le modèle peut-il être entraîné de bout en bout, sans étapes indépendantes ?\n- **Conv Ftrs** : utilise-t-il des caractéristiques convolutives apprises sur les images plutôt que conçues à la main ?\n- **CharGT-Free** : peut-il être entraîné sans annotation de la position de chaque caractère ?\n- **Unconstrained** : peut-il reconnaître des mots absents d'un lexique prédéfini, ou d'autres séquences de caractères ?\n- **Model Size** : le nombre de paramètres du modèle, et non la taille d'un fichier sur disque.\n\nLe tableau montre que CRNN réunit plusieurs de ces avantages : apprentissage de bout en bout, absence d'annotations par caractère, absence de lexique imposé et petite taille du modèle.\n\n### Comparaison avec les méthodes antérieures\n\n![compare](/content/papers/assets/d82a3ffb46d24f3d45e9734e5a6cdfda82841e5d8052b782c899449d79d625dc.jpg)\n\nLe tableau présente la précision de CRNN sur quatre jeux publics, en comparaison avec les modèles d'apprentissage profond antérieurs.\n\nAvec un lexique contraint, CRNN dépasse les autres méthodes dans la plupart des colonnes. Face à Jaderberg et al. [22], il obtient un meilleur résultat sur IIIT5k et SVT avec assistance lexicale, mais un moins bon résultat sur IC03 avec le lexique « Full ».\n\nL'architecture de CRNN ne dépend pas d'un lexique défini à l'avance : en principe, elle peut traiter des chaînes arbitraires, comme des numéros de téléphone, des phrases ou d'autres écritures, dont le chinois, si les caractères sont pris en charge. Les expériences de ce tableau portent toutefois sur des mots anglais en scène naturelle.\n\nSans lexique contraint, CRNN est le meilleur du tableau sur SVT ; sur IC03 et IC13, certains concurrents obtiennent un meilleur score. Les résultats marqués d'une étoile chez Jaderberg et al. [22] restent, eux, limités à un lexique de 90 000 mots.\n\n\n> [!TIP]\n> \n> À l'époque, les articles présentaient encore leurs tableaux par noms d'auteurs. Ce n'est pas très pratique pour s'y retrouver ! Si cela vous intéresse, le texte original donne les références.\n\n\n### Étendre le modèle à d'autres séquences\n\n\n\n![generalization](/content/papers/assets/50c19e32d6677abbf4b8a7646231b20fcab297ac2c68e306b90e5c8ab8f91338.jpg)\n\n\n\nQui a dit que l'OCR se limitait aux lettres ?\n\nCRNN peut aussi servir à la reconnaissance optique de partitions musicales (OMR).\n\nLes anciennes méthodes d'OMR demandent souvent un prétraitement de l'image, comme la binarisation, la détection des portées, puis la reconnaissance séparée des notes. Les auteurs abordent plutôt la partition comme une séquence et prédisent directement une suite de notes à partir de l'image.\n\n- **Pour simplifier, l'expérience reconnaît seulement la hauteur des notes, ignore les accords et suppose que toutes les partitions sont en do majeur.**\n\nPour entraîner CRNN, les auteurs ont collecté 2 650 images de partitions sur le site MuseScore :\n\n- [**https://musescore.com/sheetmusic**](https://musescore.com/sheetmusic)\n\nChaque image contient un extrait de 3 à 20 notes, dont la suite de hauteurs a été annotée manuellement. Des rotations, changements d'échelle et ajouts de bruit portent ensuite le jeu d'entraînement à 265 000 exemples.\n\nPour comparer, les auteurs évaluent deux moteurs d'OMR commerciaux : [**Capella Scan**](https://www.capella-software.com/us/index.cfm/products/capella-scan/info-capella-scan/) et [**PhotoScore**](https://www.avid.com/sibelius).\n\n![omr result](/content/papers/assets/7a41c3b4975f4443e8b044ae3476c107c365c1d7b8a57b1884a1946c1e042999.jpg)\n\nCette expérience emploie un CRNN allégé : les 4e et 6e convolutions sont retirées, et le LSTM bidirectionnel devient unidirectionnel. Dans chaque cellule du tableau, les deux nombres sont **la proportion d'extraits entièrement reconnus / la distance d'édition moyenne**. CRNN obtient une meilleure proportion et une distance plus faible sur les trois jeux.\n\nCapella Scan et PhotoScore s'en sortent relativement bien sur « Clean », mais leurs performances baissent nettement sur les données synthétiques et les images du monde réel.\n\nCes systèmes dépendent en grande partie d'une binarisation fiable pour trouver portées et notes. Sous un mauvais éclairage, avec du bruit ou un fond chargé, cette étape échoue souvent. Les caractéristiques convolutives de CRNN résistent mieux au bruit et aux déformations.\n\nSes couches récurrentes profitent aussi du contexte de la partition : la reconnaissance d'une note peut tirer parti des notes voisines. Par exemple, comparer les positions verticales aide à distinguer certaines hauteurs.\n\n## Conclusion\n\nRevenons à ce que les auteurs demandaient au départ :\n\n1. **Entraînement de bout en bout** : apprendre directement à partir de l'image, sans pipeline séparé de prétraitement.\n2. **Caractéristiques convolutives** : les apprendre sur les images d'entraînement plutôt que les définir à la main.\n3. **Aucune annotation caractère par caractère** : apprendre à partir de la transcription complète de l'image.\n4. **Aucun lexique imposé** : reconnaître des suites de longueur variable composées de caractères connus, y compris des mots absents d'un dictionnaire.\n5. **Un petit modèle** : demander peu d'espace de stockage et fonctionner efficacement.\n\nCRNN remplit toutes ces ambitions. C'est un classique que quiconque travaille sur l'OCR devrait lire.\n","imageSizes":{"/content/papers/assets/a8cc9ff082613b1af2da8aad099546e7323bbe0a7d38ddd2a191bff345ec6610.jpg":{"width":1100,"height":440},"/content/papers/assets/3eab698b0f22c3bd4a66aebe62707ef15cb44b313611f4772c224e3f9916f395.jpg":{"width":900,"height":1080},"/content/papers/assets/900cd5ac7a828f6741427fa43dc99eddaeb0ba88e7aadd731f5d6bc18ea7fc33.jpg":{"width":780,"height":810},"/content/papers/assets/0778719902d362c78b6cfaab18608fdd3492439d534e98e9563e9c1655c31bb2.jpg":{"width":1044,"height":576},"/content/papers/assets/35ed76da4c223b2b997fa7b62b0080d2c295f2acb08fda725abdced3d2efcc89.jpg":{"width":576,"height":456},"/content/papers/assets/481472731c3d265b92e4b15f8c362864052b8696aecacd85e46ff6ee367822ce.jpg":{"width":928,"height":972},"/content/papers/assets/d82a3ffb46d24f3d45e9734e5a6cdfda82841e5d8052b782c899449d79d625dc.jpg":{"width":1546,"height":774},"/content/papers/assets/50c19e32d6677abbf4b8a7646231b20fcab297ac2c68e306b90e5c8ab8f91338.jpg":{"width":952,"height":856},"/content/papers/assets/7a41c3b4975f4443e8b044ae3476c107c365c1d7b8a57b1884a1946c1e042999.jpg":{"width":1448,"height":320}}}
