{"notes":[{"id":"text-recognition/sar","category":"text-recognition","legacyPath":"text-recognition/1811-sar","legacySlug":"1811-sar","legacyPaths":[],"title":"SAR","subtitle":"二次元注意力マップ","author":"Z. Yuan","paperDate":"2018-11-02","publishedOn":"2024-10-11","paperTitle":"Show, Attend and Read: A Simple and Strong Baseline for Irregular Text Recognition","paperUrl":"https://arxiv.org/abs/1811.00751","bibliography":{"title":"Show, Attend and Read: A Simple and Strong Baseline for Irregular Text Recognition","authors":["Hui Li","Peng Wang","Chunhua Shen","Guyu Zhang"],"url":"https://arxiv.org/abs/1811.00751","pdfUrl":"https://arxiv.org/pdf/1811.00751","codeUrl":null,"preprint":{"id":"1811.00751","submittedOn":"2018-11-02","url":"https://arxiv.org/abs/1811.00751"},"publication":{"venue":"AAAI","year":2019,"kind":"conference","url":"https://arxiv.org/abs/1811.00751"},"citation":"@misc{textrecognitionsar2018,\n  title = {{Show, Attend and Read: A Simple and Strong Baseline for Irregular Text Recognition}},\n  author = {Hui Li and Peng Wang and Chunhua Shen and Guyu Zhang},\n  year = {2018},\n  eprint = {1811.00751},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1811.00751}\n}\n","citationPath":"/content/papers/citations/text-recognition/sar.429fd6a175f4.bib"},"thumbnail":{"src":"/content/papers/assets/5d30550b9ceceb13eae308e5c7eae88d7f1a5baf19ef43fa90066a49c0011976.jpg","width":1604,"height":516},"locale":"ja","path":"/content/papers/ja/text-recognition/sar.a26549a01041.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"モデルアーキテクチャ","text":"モデルアーキテクチャ","depth":3},{"id":"エンコーダ","text":"エンコーダ","depth":3},{"id":"デコーダ","text":"デコーダ","depth":3},{"id":"2d-注意力マップ","text":"2D 注意力マップ","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"他の方法との比較","text":"他の方法との比較","depth":3},{"id":"可視化の表示","text":"可視化の表示","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"text-recognition/rare","relation":"comparison","topic":"曲がった文字・不規則な文字の認識"},{"id":"text-recognition/dan","relation":"comparison","topic":"曲がった文字・不規則な文字の認識"}]},{"id":"text-recognition/rare","category":"text-recognition","legacyPath":"text-recognition/1603-rare","legacySlug":"1603-rare","legacyPaths":[],"title":"RARE","subtitle":"自動補正","author":"Z. Yuan","paperDate":"2016","publishedOn":"2024-10-08","paperTitle":"Robust Scene Text Recognition With Automatic Rectification","paperUrl":"https://openaccess.thecvf.com/content_cvpr_2016/html/Shi_Robust_Scene_Text_CVPR_2016_paper.html","bibliography":{"title":"Robust Scene Text Recognition With Automatic Rectification","authors":["Baoguang Shi","Xinggang Wang","Pengyuan Lyu","Cong Yao","Xiang Bai"],"url":"https://openaccess.thecvf.com/content_cvpr_2016/html/Shi_Robust_Scene_Text_CVPR_2016_paper.html","pdfUrl":"https://openaccess.thecvf.com/content_cvpr_2016/papers/Shi_Robust_Scene_Text_CVPR_2016_paper.pdf","codeUrl":null,"preprint":null,"publication":{"venue":"CVPR","year":2016,"kind":"conference","url":"https://openaccess.thecvf.com/content_cvpr_2016/html/Shi_Robust_Scene_Text_CVPR_2016_paper.html"},"citation":"@inproceedings{textrecognitionrare2016,\n  title = {{Robust Scene Text Recognition With Automatic Rectification}},\n  author = {Baoguang Shi and Xinggang Wang and Pengyuan Lyu and Cong Yao and Xiang Bai},\n  year = {2016},\n  booktitle = {CVPR},\n  url = {https://openaccess.thecvf.com/content_cvpr_2016/html/Shi_Robust_Scene_Text_CVPR_2016_paper.html}\n}\n","citationPath":"/content/papers/citations/text-recognition/rare.e993d8c6fce6.bib"},"thumbnail":{"src":"/content/papers/assets/ede56fcdf7e421a6d8418d322e7a516326d84123169b83be8f9badb72fbb994e.jpg","width":1224,"height":496},"locale":"ja","path":"/content/papers/ja/text-recognition/rare.3138a5b56f3e.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"空間変換ネットワーク","text":"空間変換ネットワーク","depth":3},{"id":"位置推定ネットワーク","text":"位置推定ネットワーク","depth":3},{"id":"グリッド生成器","text":"グリッド生成器","depth":3},{"id":"サンプラー","text":"サンプラー","depth":3},{"id":"エンコーダー-デコーダー","text":"エンコーダー-デコーダー","depth":3},{"id":"辞書による補助認識","text":"辞書による補助認識","depth":3},{"id":"モデルの訓練","text":"モデルの訓練","depth":3},{"id":"評価指標","text":"評価指標","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"他の方法との比較","text":"他の方法との比較","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{"位相ネットワーク":"位置推定ネットワーク","メッシュジェネレーター":"グリッド生成器"},"guide":null,"relatedReading":[{"id":"text-recognition/sar","relation":"comparison","topic":"曲がった文字・不規則な文字の認識"},{"id":"text-recognition/dan","relation":"comparison","topic":"曲がった文字・不規則な文字の認識"}]},{"id":"text-recognition/dan","category":"text-recognition","legacyPath":"text-recognition/1912-dan","legacySlug":"1912-dan","legacyPaths":[],"title":"DAN","subtitle":"一緒にしないで","author":"Z. Yuan","paperDate":"2019-12-21","publishedOn":"2024-10-17","paperTitle":"Decoupled Attention Network for Text Recognition","paperUrl":"https://arxiv.org/abs/1912.10205","bibliography":{"title":"Decoupled Attention Network for Text Recognition","authors":["Tianwei Wang","Yuanzhi Zhu","Lianwen Jin","Canjie Luo","Xiaoxue Chen","Yaqiang Wu","Qianying Wang","Mingxiang Cai"],"url":"https://arxiv.org/abs/1912.10205","pdfUrl":"https://arxiv.org/pdf/1912.10205","codeUrl":null,"preprint":{"id":"1912.10205","submittedOn":"2019-12-21","url":"https://arxiv.org/abs/1912.10205"},"publication":{"venue":"AAAI","year":2020,"kind":"conference","url":"https://arxiv.org/abs/1912.10205"},"citation":"@misc{textrecognitiondan2019,\n  title = {{Decoupled Attention Network for Text Recognition}},\n  author = {Tianwei Wang and Yuanzhi Zhu and Lianwen Jin and Canjie Luo and Xiaoxue Chen and Yaqiang Wu and Qianying Wang and Mingxiang Cai},\n  year = {2019},\n  eprint = {1912.10205},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1912.10205}\n}\n","citationPath":"/content/papers/citations/text-recognition/dan.d39e18024fa7.bib"},"thumbnail":{"src":"/content/papers/assets/e53f7bec264bbeb70e49cb487f7356d7b9d8b657cecebf15e670b6f48aaa7cfe.jpg","width":1478,"height":420},"locale":"ja","path":"/content/papers/ja/text-recognition/dan.72fc05515cf8.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"注意機構の欠陥","text":"注意機構の欠陥","depth":3},{"id":"出力の結びつき","text":"出力の結びつき","depth":3},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"モデルアーキテクチャ","text":"モデルアーキテクチャ","depth":3},{"id":"特徴抽出","text":"特徴抽出","depth":3},{"id":"整列モジュール","text":"整列モジュール","depth":3},{"id":"分離型デコーダーモジュール","text":"分離型デコーダーモジュール","depth":3},{"id":"手書き文字認識の訓練戦略","text":"手書き文字認識の訓練戦略","depth":3},{"id":"シーン文字認識の訓練戦略","text":"シーン文字認識の訓練戦略","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"手書き文字認識性能","text":"手書き文字認識性能","depth":3},{"id":"消融実験","text":"消融実験","depth":3},{"id":"整列エラー分析","text":"整列エラー分析","depth":3},{"id":"認識エラー分析","text":"認識エラー分析","depth":3},{"id":"シーン文字認識性能","text":"シーン文字認識性能","depth":3},{"id":"堅牢性研究","text":"堅牢性研究","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{"解耦型デコーダーモジュール":"分離型デコーダーモジュール"},"guide":null,"relatedReading":[{"id":"text-recognition/rare","relation":"comparison","topic":"曲がった文字・不規則な文字の認識"},{"id":"text-recognition/sar","relation":"comparison","topic":"曲がった文字・不規則な文字の認識"}]}],"text":"大きな曲がりくねった文字は認識モデルに非常に大きな困難をもたらします。過去には、STN ネットワークを使用して幾何学的な補正を行う方法など、いくつかの解決策が試みられてきましたが、その効果には限界があります。\n\n## 問題の定義\n\nこれまでの解決方法を振り返ると、不規則な文字認識の問題に対しては、大きく分けて 3 つのアプローチがあります：\n\n1. **補正アルゴリズムの使用**：代表的な方法として RARE があり、STN ネットワークを使用して幾何学的補正を行いますが、文字の歪みがひどい場合は依然として処理が難しいです。\n\n   - [**[16.03] RARE: 自動補正**](/blog/papers/text-recognition/rare)\n\n2. **注意機構の使用**：文字をデコードする際に、モデルが局所的な 2D 特徴を選択できるようにしますが、ここで引用する従来手法は訓練時に文字単位の教師情報を必要とし、訓練データの形態が制限されます。\n\n   - [**[17.08] Learning to Read Irregular Text with Attention Mechanisms**](https://www.ijcai.org/proceedings/2017/0458.pdf)\n\n3. **多方向エンコーディング**：この方法は、任意の方向の文字を 4 つの方向からエンコードしますが、アーキテクチャの設計が複雑です。\n\n   - [**[17.11] AON: Towards Arbitrarily-Oriented Text Recognition**](https://arxiv.org/pdf/1711.04226)\n\n---\n\nいろいろ見て回った結果、著者はシンプルな方法を好んでいます。\n\n注意機構に基づくエンコーダ・デコーダのフレームワークに戻り、著者は ResNet と LSTM のアーキテクチャをベースにし、カスタマイズされた二次元注意モジュールを組み合わせて不規則な文字認識の問題を解決しています。\n\n注意機構の訓練には単語単位の文字列ラベルだけを用い、追加の文字枠や画素単位の教師情報は必要としません。\n\n## 解決問題\n\n### モデルアーキテクチャ\n\n![ResNet 特徴から LSTM エンコーダと二次元注意デコーダへ至る SAR の構成](/content/papers/assets/5d30550b9ceceb13eae308e5c7eae88d7f1a5baf19ef43fa90066a49c0011976.jpg \"原論文 Figure 2；出典：arXiv:1811.00751v2\")\n\n図：原論文の [Figure 2](https://arxiv.org/pdf/1811.00751v2)。高さ方向にプーリングした系列をエンコーダに送り、デコーダは元の二次元特徴マップを参照します。\n\nResNet-31 で二次元特徴マップを抽出します。バックボーンには水平方向の情報を多く残す $1 \\times 2$ 最大プーリング層もあります。高さ方向をプーリングした系列は LSTM エンコーダに送り、元の二次元特徴マップはデコーダの注意機構で参照できるように保持します。\n\n\n> [!TIP]\n> \n> 以前の研究ではほとんどが VGG を使用していました。\n\n\n### エンコーダ\n\n\n\n![SAR エンコーダが各列を高さ方向に最大プーリングして LSTM に送る流れ](/content/papers/assets/174646105f7cba3611f240ff6c588d368b9ef5fd4211a88b521ad7b5d8e539e2.jpg \"原論文 Figure 3；出典：arXiv:1811.00751v2\")\n\n\n\n図：原論文の [Figure 3](https://arxiv.org/pdf/1811.00751v2)。各列を系列の一要素とし、最後の状態が単語画像全体を表します。\n\n特徴マップを得た後、最初に LSTM を使用して画像をエンコードします。\n\nご存知のように、LSTM は 1 次元のシーケンスデータを処理するために使用されます。そのため、ここでは特徴マップの「高さ」を最大プーリングして 1 次元のシーケンスデータに圧縮し、それを LSTM に入力します。\n\nここでの LSTM は 2 層で、各層には 512 個の隠れユニットがあります。図から見ると、これは単方向の LSTM です。\n\n### デコーダ\n\n\n\n![二次元特徴を注意機構で参照しながら文字を生成する SAR デコーダ](/content/papers/assets/f27f3c0fb4f90a8d514ac1babcaa62980ad65429f9f2a9fc86a8f2a6c2a8d264.jpg \"原論文 Figure 4；出典：arXiv:1811.00751v2\")\n\n\n\n図：原論文の [Figure 4](https://arxiv.org/pdf/1811.00751v2)。エンコーダの最終状態で開始し、開始記号と直前の文字を使って終了記号まで復号します。\n\nデコーダ部分も LSTM です。\n\n上図に示すように、ここが著者が提案した主要な貢献点です：もし「2D 畳み込み特徴マップ V」の部分を取り除けば、それは基本的な LSTM デコーダになります。\n\nデコーダはまずエンコーダの最後の隠れ状態を受け取ります。各デコードステップでは、現在の状態を使って元の二次元畳み込み特徴マップへの注意重みを計算し、必要な局所特徴を選びます。\n\nここでの LSTM も 2 層で、各層に 512 個の隠れユニットがあります。エンコーダとデコーダのパラメータはそれぞれ独立しており、共有されていません。訓練時には Teacher Forcing の方法を使用し、推論時には前の時間ステップの予測結果を使用します。\n\n\n> [!TIP]\n> \n> **Teacher Forcing**\n> \n> モデルがある時間ステップで次の出力を生成する際、前のステップの予測を次の入力として使用するのではなく、実際の出力ラベル（グラウンドトゥルース）を次の入力として使用します。\n> \n> もしモデルが訓練初期に誤った出力を生成した場合、その誤った予測を次のステップの入力として使用し続けると、モデルはさらに多くの誤りを生成する可能性があります。Teacher Forcing はこのような誤差の蓄積を減らすことができます。\n> \n> 一方、学習時と推論時で入力の分布が異なるという課題があります。Teacher Forcing を徐々に減らす方法は系列学習で使われる対策の一つですが、この筆記では SAR がその手順を採用したとは確認していません。\n\n\n### 2D 注意力マップ\n\n\n\n![三掛ける三の畳み込みで中心と周囲八点を組み合わせる SAR の二次元注意機構](/content/papers/assets/d62e8049f185f75483d9b8c374ba8799364eecfde6decec34187e4ed9e29cdd6.jpg \"原論文 Figure 5；出典：arXiv:1811.00751v2\")\n\n\n\n図：原論文の [Figure 5](https://arxiv.org/pdf/1811.00751v2)。$3 \\times 3$ 畳み込みで中心と周囲八点を扱い、デコーダ状態と組み合わせます。\n\n従来の 2D 注意機構の不足を補うため、著者は新しい 2D 空間関係に基づく注意機構を提案しています：\n\n各位置$(i, j)$について、その注意重みを計算する際に、**隣接位置**の情報を考慮します。これらの隣接位置は位置$(i, j)$の**八方向近隣**から取得されます。\n\n注意スコア$e_{ij}$は次の式で計算されます：\n\n$$\ne_{ij} = \\tanh(W_v v_{ij} + \\sum_{p,q \\in N_{ij}} \\tilde{W}_{p-i, q-j} \\cdot v_{pq} + W_h h'_t)\n$$\n\nここで：\n\n- $v_{ij}$は位置$(i, j)$の局所特徴ベクトルです。\n- $N_{ij}$は位置$(i, j)$の周囲の八方向近隣を表します。\n- $h'_t$はデコーダ LSTM の時間ステップ$t$における隠れ状態で、注意を導く信号として使用されます。\n- $W_v, W_h$、および$\\tilde{W}$は学習すべき線形変換行列です。\n\nsoftmax 関数を用いて注意重み$\\alpha_{ij}$を計算します：\n\n$$\n\\alpha_{ij} = \\text{softmax}(w_e^T \\cdot e_{ij})\n$$\n\n現在の時間ステップ$t$における注意加重和（glimpse）$g_t$を計算します：\n\n$$\ng_t = \\sum_{i,j} \\alpha_{ij} v_{ij}, \\quad i = 1, \\ldots, H, \\quad j = 1, \\ldots, W\n$$\n\nここで$H$と$W$は特徴マップの高さと幅です。\n\n従来の注意機構と比較して、ここでは**八方向近隣の加重和項**が追加され、近隣位置の影響を考慮しています。この改善により、モデルは局所特徴間の空間的関係を捉えることができます。\n\n\n> [!TIP]\n> \n> この段落を読んで数式が多くて驚くかもしれませんが、実際には特徴マップに対して一度畳み込み演算を行い、その後 Softmax を計算し、最後に加重和を求めるだけです。\n> \n> そのため、「八方向近隣」と書かれている理由を考えてみてください。畳み込みカーネルのサイズが$3 \\times 3$であるため、各位置は周囲の 8 つの位置を考慮します。\n\n\n## 討論\n\n### 他の方法との比較\n\n![規則的および不規則な文字のベンチマークで SAR の精度を比較した表](/content/papers/assets/306f436861e54e0edcc612be7a7fe8efbcefed9b2e8e670af8ac6fdcc85a5378.jpg \"原論文 Table 2；出典：arXiv:1811.00751v2\")\n\n表：原論文の [Table 2](https://arxiv.org/pdf/1811.00751v2)。語彙表の大きさごとに列が分かれ、以下は語彙表なしの列を比較します。\n\nTable 2 の語彙表なしの列では、SAR は **IC15**、**SVTP**、**CT80**、**COCO-T** などの不規則な文字データセットで、論文発表時に競争力のある結果を報告しています。ただし、比較手法や訓練時の教師情報は同一ではありません。\n\n- **SVTP-None** では、SAR の **86.4%** は Liu、Chen、Wong（2018）の **78.9%** より **7.5 パーセントポイント**高い値です。比較手法の星印は、追加の文字単位の教師情報を示します。\n- **CT80-None** では、SAR の **89.6%** は Shi ら（2018）の **79.5%** より **10.1 パーセントポイント**高い値です。\n\n**IIIT5K**、**SVT**、**IC13** などの規則的な文字データセットでも競争力があります。語彙表なしではそれぞれ 95.0%、91.2%、94.0% で、SVT と IC13 は表中の最高値ではありません。IIIT5K と SVTP の語彙表なしの列では、SAR が表中最高の 95.0% と 86.4% です。\n\n語彙表なしの評価は、候補の文字列を事前に渡せない認識場面に近い条件です。ただし、比較手法の訓練データと教師情報には差があり、この表だけで実運用時の認識品質は判断できません。\n\n原論文の Table 3 は同一モデル内で注意機構を比較しています。SVTP では従来の二次元注意機構の **84.3%** に対して近隣項を加えた場合は **86.4%**、CT80 では **87.5%→89.6%** です。この結果は論文の試験条件における近隣項の効果をより直接的に示します。\n\n### 可視化の表示\n\n![Safaris と GRANDSTAND の例で SAR と従来の二次元注意マップを比較](/content/papers/assets/322659b411cbd24a8bca3498f368db5153f89113a7477bc39df61aef7b95ad66.jpg \"原論文 Figure 7；出典：arXiv:1811.00751v2\")\n\n図：原論文の [Figure 7](https://arxiv.org/pdf/1811.00751v2)。選ばれた二例を示し、赤字は誤認識した文字です。\n\n著者は、SAR の 2D 注意機構と従来の 2D 注意機構を比較しています。\n\nデコードされた文字は対応する注意マップの左側に表示され、誤った文字は赤で示されています。この二例では SAR の位置合わせと認識が良好ですが、全体の効果は Table 2 と Table 3 の数値で判断する必要があります。\n\n## 結論\n\nSAR は、規則的な文字と不規則な文字の認識で高い性能を示しました。デコーダが二次元特徴マップを参照し、注意スコアに近隣の情報も加える設計は、Table 3 の同一モデル内の比較でも支持されています。今後は訓練の高速化や、さらに複雑な文字への対応を改善する余地があります。\n\nその後の研究でも SAR は比較用のベースラインとして使われています。今後の筆記で、その研究も紹介していきます。\n","imageSizes":{"/content/papers/assets/5d30550b9ceceb13eae308e5c7eae88d7f1a5baf19ef43fa90066a49c0011976.jpg":{"width":1604,"height":516},"/content/papers/assets/174646105f7cba3611f240ff6c588d368b9ef5fd4211a88b521ad7b5d8e539e2.jpg":{"width":916,"height":580},"/content/papers/assets/f27f3c0fb4f90a8d514ac1babcaa62980ad65429f9f2a9fc86a8f2a6c2a8d264.jpg":{"width":1060,"height":616},"/content/papers/assets/d62e8049f185f75483d9b8c374ba8799364eecfde6decec34187e4ed9e29cdd6.jpg":{"width":924,"height":732},"/content/papers/assets/306f436861e54e0edcc612be7a7fe8efbcefed9b2e8e670af8ac6fdcc85a5378.jpg":{"width":1536,"height":690},"/content/papers/assets/322659b411cbd24a8bca3498f368db5153f89113a7477bc39df61aef7b95ad66.jpg":{"width":1060,"height":812}}}
