{"notes":[{"id":"text-detection/drrg","category":"text-detection","legacyPath":"text-detection/2003-drrg","legacySlug":"2003-drrg","legacyPaths":[],"title":"DRRG","subtitle":"グラフ畳み込みの初探","author":"Z. Yuan","paperDate":"2020-03-17","publishedOn":"2024-12-08","paperTitle":"Deep Relational Reasoning Graph Network for Arbitrary Shape Text Detection","paperUrl":"https://arxiv.org/abs/2003.07493","bibliography":{"title":"Deep Relational Reasoning Graph Network for Arbitrary Shape Text Detection","authors":["Shi-Xue Zhang","Xiaobin Zhu","Jie-Bo Hou","Chang Liu","Chun Yang","Hongfa Wang","Xu-Cheng Yin"],"url":"https://arxiv.org/abs/2003.07493","pdfUrl":"https://arxiv.org/pdf/2003.07493","codeUrl":null,"preprint":{"id":"2003.07493","submittedOn":"2020-03-17","url":"https://arxiv.org/abs/2003.07493"},"publication":{"venue":"CVPR","year":2020,"kind":"conference","url":"https://arxiv.org/abs/2003.07493"},"citation":"@misc{textdetectiondrrg2020,\n  title = {{Deep Relational Reasoning Graph Network for Arbitrary Shape Text Detection}},\n  author = {Shi-Xue Zhang and Xiaobin Zhu and Jie-Bo Hou and Chang Liu and Chun Yang and Hongfa Wang and Xu-Cheng Yin},\n  year = {2020},\n  eprint = {2003.07493},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2003.07493}\n}\n","citationPath":"/content/papers/citations/text-detection/drrg.a689d577b87c.bib"},"thumbnail":{"src":"/content/papers/assets/7f65ed561e78695572f8751aacdcb0033cdc33d5926dec733cffa9363404f6dd.jpg","width":1602,"height":532},"locale":"ja","path":"/content/papers/ja/text-detection/drrg.9f8ae9887a95.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"モデルアーキテクチャ","text":"モデルアーキテクチャ","depth":3},{"id":"特徴抽出","text":"特徴抽出","depth":3},{"id":"文字の構成要素定義","text":"文字の構成要素定義","depth":3},{"id":"文字構成要素予測","text":"文字構成要素予測","depth":3},{"id":"損失関数の計算","text":"損失関数の計算","depth":3},{"id":"局所的なグラフの生成","text":"局所的なグラフの生成","depth":3},{"id":"重複サンプルのフィルタリング","text":"重複サンプルのフィルタリング","depth":3},{"id":"グラフ畳み込みネットワークgcn","text":"グラフ畳み込みネットワーク（GCN）","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"アブレーション実験","text":"アブレーション実験","depth":3},{"id":"他の方法との比較","text":"他の方法との比較","depth":3},{"id":"可視化結果","text":"可視化結果","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{"消融実験":"アブレーション実験"},"guide":null,"relatedReading":[{"id":"text-detection/craft","relation":"comparison","topic":"文字とテキスト要素のグループ化"},{"id":"text-detection/textfusenet","relation":"comparison","topic":"文字とテキスト要素のグループ化"}]},{"id":"text-detection/craft","category":"text-detection","legacyPath":"text-detection/1904-craft","legacySlug":"1904-craft","legacyPaths":[],"title":"CRAFT","subtitle":"ワードクラフト","author":"Z. Yuan","paperDate":"2019-04-03","publishedOn":"2024-09-14","paperTitle":"Character Region Awareness for Text Detection","paperUrl":"https://arxiv.org/abs/1904.01941","bibliography":{"title":"Character Region Awareness for Text Detection","authors":["Youngmin Baek","Bado Lee","Dongyoon Han","Sangdoo Yun","Hwalsuk Lee"],"url":"https://arxiv.org/abs/1904.01941","pdfUrl":"https://arxiv.org/pdf/1904.01941","codeUrl":null,"preprint":{"id":"1904.01941","submittedOn":"2019-04-03","url":"https://arxiv.org/abs/1904.01941"},"publication":{"venue":"CVPR","year":2019,"kind":"conference","url":"https://arxiv.org/abs/1904.01941"},"citation":"@misc{textdetectioncraft2019,\n  title = {{Character Region Awareness for Text Detection}},\n  author = {Youngmin Baek and Bado Lee and Dongyoon Han and Sangdoo Yun and Hwalsuk Lee},\n  year = {2019},\n  eprint = {1904.01941},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1904.01941}\n}\n","citationPath":"/content/papers/citations/text-detection/craft.9339a46a41c9.bib"},"thumbnail":{"src":"/content/papers/assets/23aa86e47496a2a8c7efbb29e374c0d0d4a2d9c85ff7ba25a14dbc2fb58d5007.jpg","width":2181,"height":2310},"locale":"ja","path":"/content/papers/ja/text-detection/craft.96130eb75219.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"モデルアーキテクチャ","text":"モデルアーキテクチャ","depth":3},{"id":"ラベル生成","text":"ラベル生成","depth":3},{"id":"弱教師あり学習","text":"弱教師あり学習","depth":3},{"id":"語単位の境界ボックス","text":"語単位の境界ボックス","depth":3},{"id":"曲線テキストの多角形","text":"曲線テキストの多角形","depth":3},{"id":"訓練データセット","text":"訓練データセット","depth":3},{"id":"訓練戦略","text":"訓練戦略","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"他の方法との比較","text":"他の方法との比較","depth":3},{"id":"可視化","text":"可視化","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"text-detection/drrg","relation":"comparison","topic":"文字とテキスト要素のグループ化"},{"id":"text-detection/textfusenet","relation":"comparison","topic":"文字とテキスト要素のグループ化"}]},{"id":"text-detection/textfusenet","category":"text-detection","legacyPath":"text-detection/2009-textfusenet","legacySlug":"2009-textfusenet","legacyPaths":[],"title":"TextFuseNet","subtitle":"複数画像特徴の融合","author":"Z. Yuan","paperDate":"2020","publishedOn":"2024-09-14","paperTitle":"TextFuseNet: Scene Text Detection with Richer Fused Features","paperUrl":"https://doi.org/10.24963/ijcai.2020/72","bibliography":{"title":"TextFuseNet: Scene Text Detection with Richer Fused Features","authors":["Jian Ye","Zhe Chen","Juhua Liu","Bo Du"],"url":"https://doi.org/10.24963/ijcai.2020/72","pdfUrl":null,"codeUrl":null,"preprint":null,"publication":{"venue":"IJCAI","year":2020,"kind":"conference","url":"https://doi.org/10.24963/ijcai.2020/72"},"citation":"@inproceedings{textdetectiontextfusenet2020,\n  title = {{TextFuseNet: Scene Text Detection with Richer Fused Features}},\n  author = {Jian Ye and Zhe Chen and Juhua Liu and Bo Du},\n  year = {2020},\n  booktitle = {IJCAI},\n  url = {https://doi.org/10.24963/ijcai.2020/72},\n  doi = {10.24963/ijcai.2020/72}\n}\n","citationPath":"/content/papers/citations/text-detection/textfusenet.6d2f47c1b808.bib"},"thumbnail":{"src":"/content/papers/assets/81482c12e303bbecce9bb400023a1e451ee2a09ae67efe28b28454a083b54fc0.jpg","width":1722,"height":686},"locale":"ja","path":"/content/papers/ja/text-detection/textfusenet.a6ab2fc2abd8.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"モデルアーキテクチャ","text":"モデルアーキテクチャ","depth":3},{"id":"マルチルート融合アーキテクチャ","text":"マルチルート融合アーキテクチャ","depth":3},{"id":"弱教師あり学習","text":"弱教師あり学習","depth":3},{"id":"訓練データセット","text":"訓練データセット","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"アブレーション実験","text":"アブレーション実験","depth":3},{"id":"他の手法との比較","text":"他の手法との比較","depth":3},{"id":"可視化","text":"可視化","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{"弱監督学習":"弱教師あり学習","消融実験":"アブレーション実験"},"guide":null,"relatedReading":[{"id":"text-detection/craft","relation":"comparison","topic":"文字とテキスト要素のグループ化"},{"id":"text-detection/drrg","relation":"comparison","topic":"文字とテキスト要素のグループ化"}]}],"text":"2020 年前後、グラフ畳み込みネットワーク（Graph Convolutional Network, GCN）が盛況を迎えました。\n\nこの時、Transformer が画像領域で広く使われる前、GCN は非常に良い選択肢でした。なぜなら、GCN は不規則なデータを処理でき、データ間の関係を捉えることができるからです。\n\nところが、グラフ畳み込みがコンピュータビジョンで流行り始めたところへ、Transformer が登場して注目をさらっていきました。まるで揺りかごのうちに勢いをそがれたようです。本論文では、文字の構成要素間の関係を明示的に表すために、あえてグラフを使います。\n\n\n> [!TIP]\n> \n> もしグラフ畳み込みネットワークが何か分からない場合は、まず以下の別の記事を読んでみてください：\n> \n> - [**グラフ畳み込みネットワークの概要**](/blog/article/graph-convolutional-networks)\n\n\n## 問題の定義\n\n新しい道具があるのに、文字検出の問題に使う人がまだほとんどいない。これこそ最大の問題ではありませんか！\n\nそこで著者は GCN を文字検出に使うことにしました。論文は、任意形状の文字検出で GCN による関係推論を行う初期の試みの一つだと位置づけています。\n\nしたがって、この記事の最も難しい部分は、グラフ畳み込みネットワークが何であるかを理解することです。この知識をすでに持っているなら、この論文はあまり難しくないでしょう。\n\n## 解決問題\n\n### モデルアーキテクチャ\n\n\n\n![model](/content/papers/assets/7f65ed561e78695572f8751aacdcb0033cdc33d5926dec733cffa9363404f6dd.jpg)\n\n\n\n全体のモデルアーキテクチャは非常に多くのコンポーネントで構成されており、大まかにいくつかの部分に分けることができます：\n\n1. **特徴抽出器**：VGG-16 をバックボーンネットワークとして使用し、FPN（Feature Pyramid Network）を加えています。\n2. **文字の構成要素定義**：文字のインスタンスを順番に並べた、近似矩形の小さなセグメントに切り分けます。\n3. **文字の構成要素予測**：畳み込み操作を使用して文字構成要素の予測結果を得ます。\n4. **損失関数計算**：予測結果と真のラベルとの間で損失を計算します。\n5. **グラフ畳み込みネットワーク**：文字構成要素間の関係をグラフとして表現し、GCN を使用して推論します。\n\n### 特徴抽出\n\n\n\n![feature-extraction](/content/papers/assets/dc8171f5ae563e294715253d42ca430567f4273b93c4720cb4a569843d8fb84d.jpg)\n\n\n\nまず、特徴抽出器が必要です。ここでは VGG-16 をバックボーンネットワークとして使用し、FPN（Feature Pyramid Network）を加えています。\n\n論文ではこの多尺度特徴の融合を FPN と呼んでいます。図を見ると層間の特徴は、標準的な FPN に多い要素ごとの加算ではなく、連結（concatenate）で融合されています。そのため、融合方法には U-Net に似たところもあります。\n\n### 文字の構成要素定義\n\n\n\n![text-component-prediction](/content/papers/assets/5cf4b14252cc9d002fc8b2a6e29ad8b41d474c50a4bec5fcff045d549ffbf24e.jpg)\n\n\n\n\n> [!TIP]\n> \n> ここではいくつかの用語の対応があり、図と合わせて確認してください。\n\n\nこの論文では、著者は完全な文字インスタンス（例えば、一行または単語の文字領域）を順番に並べた近似的な矩形の小さなセグメントに切り分けます。\n\nこれらの小さなセグメントを使うことで、予測時に文字の形状、サイズ、方向をより細かく記述でき、最終的にそれらのセグメントを再連結して完全な文字を形成します。\n\n各文字構成要素 $D$ は以下の幾何学的属性のセットで表されます：\n\n$$\nD = (x, y, h, w, \\cos\\theta, \\sin\\theta)\n$$\n\n- $x, y$：この構成要素の中心点座標。つまり文字構成要素が画像内で位置する場所。\n- $h, w$：それぞれ構成要素の高さ（height）と幅（width）を表します。\n- $\\cos\\theta, \\sin\\theta$：文字構成要素の方向角度（orientation）を表すために使用されます。\n\n角度は数学的に周期性があるため、$\\cos\\theta$ と $\\sin\\theta$ を使用することで、直接角度を使う際の複雑さを避け、方向の滑らかな変化を保証します。\n\n- **$h$ の定義**：\n\n  論文では、文字構成要素の高さ $h$ は、上半分 $h_1$ と下半分 $h_2$ を組み合わせて定義されています。\n\n- **幅 $w$ と高さ $h$ の関係**：\n\n  幅 $w$ は高さ $h$ に基づいて線形ルールで取得されます。\n\n  実験では、最小幅 $w_{\\min}$ と最大幅 $w_{\\max}$ が設定されています。ルールは次のようになります：\n\n  $$\n  w_i =\n  \\begin{cases}\n  w_{\\min}, & h_i \\leq 2 \\cdot w_{\\min} \\\\\n  \\frac{h_i}{2}, & 2 \\cdot w_{\\min} < h_i < 2 \\cdot w_{\\max} \\\\\n  w_{\\max}, & h_i \\geq 2 \\cdot w_{\\max}\n  \\end{cases}\n  $$\n\n  意味は以下の通りです：\n\n  - 構成要素が非常に小さい場合（$h_i$ が小さい）、幅は最小値 $w_{\\min}$ に固定され、構成要素が狭すぎて識別が難しくなるのを避けます。\n  - 構成要素の高さが中間範囲にある場合、幅は高さに比例します（$w = h/2$）。これにより、構成要素の外観が合理的な比率を保つことができます。\n  - 高さが非常に大きい場合、幅は最大値 $w_{\\max}$ に固定され、過度に広がるのを防ぎます。\n\n  実験では、著者は $w_{\\min} = 8$ と $w_{\\max} = 24$ を設定しています。\n\n---\n\n文字の向きを明確に定義するため（例えば、斜めや水平）、および「文字中心領域（TCR）」を抽出しやすくするために、著者は TextSnake の方法を参照しています。\n\n\n> [!TIP]\n> \n> もし TextSnake の詳細に興味がある場合は、別の記事を参照してください：\n> \n> - [**[18.07] TextSnake: テキストスネーク**](/blog/papers/text-detection/textsnake)\n\n\n手順は次の通りです：\n\n1. **上辺と下辺の点の列を取得**：\n\n   文字領域をその長辺方向に沿って一連の四辺形に分割します（長い文字をいくつかの小さな区間に分けるようなもの）。これにより、次の二つの点のセットを取得します：\n\n   - $P_1 = \\{tp_0, tp_1, ..., tp_n\\}$：文字の上辺（top line）に対応する一連の点。\n   - $P_2 = \\{bp_0, bp_1, ..., bp_n\\}$：文字の下辺（bottom line）に対応する一連の点。\n\n   ここで、$tp_i$ と $bp_i$ は、同一の垂直面下で対応する上辺および下辺の点として扱われます。\n\n2. **どの線が上辺で、どの線が下辺かを決定**：\n\n   $P_1$ と $P_2$ を得た後、どの点のセットが文字の上辺で、どの点のセットが下辺であるかを判別する必要があります。\n\n   ここで、次のようにベクトルのセット $V$ を定義します：\n\n   $$\n   V = \\{ tp_0 - bp_0, tp_1 - bp_1, \\ldots, tp_n - bp_n \\}\n   $$\n\n   すなわち、上辺の各点から下辺の対応点を引いて得られる一連の垂直ベクトルです。その後、次を計算します：\n\n   $$\n   p = \\sum_{i=0}^{n} \\sin(v_i)\n   $$\n\n   ここで $v_i=tp_i-bp_i$ です。$\\sin(v_i)$ はベクトルの方向角の正弦を略記したものです。上下の命名は画像座標の規約にも依存します。論文の規約では $p\\geq0$ のとき $P_1$ が上辺、$P_2$ が下辺で、そうでなければ逆です。\n\n   この判定方法はベクトルの方向を用いて上下の辺を決定し、文字領域の上下方向を特定して文字の傾き角度 $\\theta$ を推定します。\n\n3. **文字中心領域（TCR）の取得**：\n\n\n\n    ![tcr](/content/papers/assets/94b45f25075c5f8389629ad81a990f3b430354a65a8526ecd817f708afc69f50.jpg)\n\n\n\n   文字の向きが確定した後、文字領域（Text Region, TR）を「縮小」して、より小さく正確な文字中心領域（TCR）を得ます。\n\n   上記の図を拡大して見ると、これを行う方法は 3 つのステップに分けることができます：\n\n   - 文字の中心線（center line）を計算します。これは上辺と下辺の中間に位置する線です。\n   - 中心線の両端をそれぞれ $0.5w$ ピクセル縮め、隣接する文字インスタンスと過度に近づかないようにします。\n   - 中心線を上下方向にそれぞれ $0.3h$ の距離だけ外向きに拡張し、わずかに厚みを持たせた中心帯状領域を作ります。これが TCR です。\n\n   TCR の存在により、ネットワークは後の判断で実際の文字コアの位置に焦点を合わせやすくなり、隣接する文字インスタンス（例えば、別々の単語や文字行）の区別にも柔軟性が増します。\n\n### 文字構成要素予測\n\n著者が定義した文字構成要素については既に知っています。次に、Backbone と FPN を通過した特徴マップを使用して文字構成要素を予測します。以下の畳み込み操作を通じて CR を得ます：\n\n$$\nCR = \\text{conv}_{1\\times1}(\\text{conv}_{3\\times3}(F_{\\text{share}}))\n$$\n\nこれは、特徴マップに対してまず$3\\times3$の畳み込みを行い、その後$1\\times1$の畳み込みを適用することを意味します。\n\n最終的な$CR$テンソルの次元は$(h \\times w \\times 8)$となります。ここで、$h \\times w$は特徴マップの空間的サイズであり、最後の次元は 8 つのチャネルを持ち、それぞれ次のように対応します：\n\n- 4 チャネルは TR と TCR の分類 logit で、それぞれ softmax を通して文字領域と文字中心領域を予測します。\n- 残りの 4 チャネルは $h_1, h_2, \\cos\\theta, \\sin\\theta$ の回帰出力です。\n\nここでの softmax は TR と TCR の二つの分類予測に使われます。TR と TCR は排他的な四つの意味クラスではありません。また、$\\cos\\theta$ と $\\sin\\theta$ を正規化し、$\\cos^2\\theta + \\sin^2\\theta = 1$ を満たすようにします。\n\n最後に、予測結果に対してしきい値（threshold）を設定し、局所領域で NMS（Non-Maximum Suppression）を行うことで、冗長な重複構成要素を除去し、よりクリーンで精度の高い文字構成要素の検出結果が得られます。\n\n### 損失関数の計算\n\n全体の検出損失 $L_{\\text{det}}$ は 2 つの部分から成り立っています：\n\n$$\nL_{\\text{det}} = L_{\\text{cls}} + L_{\\text{reg}}\n$$\n\n- $L_{\\text{cls}}$: 分類損失（classification loss）、どのピクセルが文字領域（TCR/TR）または背景に属するかを決定するために使用されます。\n- $L_{\\text{reg}}$: 回帰損失（regression loss）、文字の幾何学的属性（高さ、方向など）を正確に予測するために使用されます。\n\n---\n\n分類損失 $L_{\\text{cls}}$ は交差エントロピー損失（cross-entropy loss）です。\n\n論文では、文字関連領域を 2 つの範囲に分けています：\n\n- **TR (Text Region)**：文字全体の領域で、文字の上下辺の間に位置する範囲。\n- **TCR (Text Center Region)**：TR の中心を縮小/調整した「文字中心領域」で、文字のコア位置をより正確に特定し、干渉を避けるために使用されます。\n\n定義は次の通りです：\n\n$$\nL_{\\text{cls}} = L_{\\text{tr}} + \\lambda_1 L_{\\text{tcrp}} + \\lambda_2 L_{\\text{tcrn}}\n$$\n\nここには 3 つのサブ損失があります：\n\n1. $L_{\\text{tr}}$：\n   文字領域 TR に属するピクセルの分類誤差を計算します。\n\n2. $L_{\\text{tcrp}}$：\n   TR 内のピクセルにのみ計算され、文字領域内で TCR（文字の中心領域）を正確に識別することを確保します。\n   言い換えれば、$L_{\\text{tcrp}}$ は「文字と確定した」場所で、さらにそのピクセルを「文字中心領域」または「非中心の文字領域」と区別します。\n\n3. $L_{\\text{tcrn}}$：\n   「非 TR」範囲内のピクセルに計算され、背景領域で TCR が現れるノイズを抑制します。\n   簡単に言えば、背景（文字がない場所）で TCR を予測すると、この損失を大きくしてネットワークが背景で誤って TCR をラベル付けしないようにします。\n\nトレーニングをより安定させるために、論文では OHEM（Online Hard Example Mining）法が使用されています。OHEM は困難な負のサンプル（文字領域に属さないピクセル）を選択して損失を計算し、簡単に判定できる負のサンプルがトレーニングに影響を与えるのを防ぎます。著者は負と正のサンプルの比率を 3:1 に設定しました。\n\n実験では、ハイパーパラメータとして$\\lambda_1 = 1.0$と$\\lambda_2 = 0.5$が設定されており、これは$L_{\\text{tcrp}}$と$L_{\\text{tcrn}}$が全体の分類損失においてどれだけの重みを持つかを示しています。\n\n---\n\n回帰損失は、モデルが文字の高さや方向などの属性を正確に推定できるようにするために使用されます。\n\nしかし、TCR 内でのみ明確な高さや方向の情報（TCR は文字の中心に正確に位置し、文字の方向と高さのラベルを安定的に取得できる範囲）が得られるため、回帰損失は TCR 範囲内でのみ計算されます。\n\n定義は次の通りです：\n\n$$\nL_{\\text{reg}} = L_{h} + \\beta(L_{\\sin} + L_{\\cos})\n$$\n\nここには 3 つの部分があります：\n\n1. **$L_h$：高さ回帰損失**\n\n   予測された高さと実際の高さの差異を測定します。\n\n   高さ$h$は$h_1$と$h_2$から構成され（前述の定義で$h = h_1 + h_2$として知られています）、損失計算は次のようになります：\n\n   $$\n   L_{h} = \\frac{1}{|\\Omega|} \\sum_{i \\in \\Omega} \\left( \\log(h + 1) \\sum_{k=0}^{2} \\text{smoothL1}\\left(\\frac{\\hat{h}_{ki}}{h_{ki}} - 1\\right) \\right)\n   $$\n\n   ここで：\n\n   - $\\Omega$：TCR 内のすべての正サンプルの集合（ラベルのあるピクセル）。\n   - $h_{ki}$：高さに関する教師値です。上式は原論文の $k=0,1,2$ を残していますが、3 つの添字の対応は十分説明されていません。公開コードは上側・下側の高さ損失を加算し、対数の重みをコメントアウトしています。再現時は論文の式と実装を区別してください。\n\n     ***\n\n\n> [!TIP]\n> \n> **なぜ$\\log(h+1)$という重み項が必要なのか？**\n> \n> 高い文字（大きな高さ）に対して予測誤差の影響が大きくなる可能性があるため、$\\log(h+1)$を使用することで、より大きな文字の構成要素に大きな重みを与え、モデルがさまざまな文字サイズで精度を維持できるようにします。\n\n\n2. **$L_{\\sin}$ と $L_{\\cos}$：方向回帰損失**\n\n   予測された文字の方向（$\\sin \\theta$と$\\cos \\theta$で表される）がどれだけ正確であるかを測定します：\n\n   $$\n   L_{\\sin} = \\text{smoothL1}(\\hat{\\sin\\theta} - \\sin\\theta)\n   $$\n\n   $$\n   L_{\\cos} = \\text{smoothL1}(\\hat{\\cos\\theta} - \\cos\\theta)\n   $$\n\n   極端な誤差の影響を軽減するために smooth L1 損失を使用し、トレーニングをより安定させます。\n\n3. **$\\beta$：バランス因子**\n\n   これは方向損失$L_{\\sin}$と$L_{\\cos}$が全体の$L_{\\text{reg}}$においてどれだけの重みを持つかを調整するために使用されます。論文では$\\beta = 1.0$に設定されています。\n\n### 局所的なグラフの生成\n\n\n\n![local-graph](/content/papers/assets/5ee2bbbf773d0e1ecb94875a4f4b612bac823100d951bef82d8a3ea9194b690d.jpg)\n\n\n\n著者はこの論文で文字検出の問題を解決するためにグラフ畳み込みネットワーク（GCN）を使用したいと考えており、そのためには文字構成要素間の関係をグラフとして表現する必要があります。\n\n画像内で多くの文字構成要素が検出される可能性があるため、画像全体に巨大なグラフ構造を生成すること（すべてのノードを完全に接続すること）は非常に非効率です。\n\n実際には、各文字構成要素は空間的に近くにある少数の要素とのみ関連があり、画像内のすべての要素との関係を構築する必要はありません。したがって、著者は各「ピボット点（pivot）」文字構成要素に対して、少数の隣接する要素のみを含む「局所的なグラフ」を構築することを選び、過度に複雑な全体グラフの処理を避けました。\n\n局所的なグラフは、特定の文字構成要素（「ピボット」と呼ばれる）を中心に、その周囲の他の構成要素だけを考慮し、小さなグラフ構造を形成します。このようにして、グラフのサイズは非常に小さな範囲に制限され、後続の関係推論プロセスを加速させることができます。\n\n局所的なグラフを作成するために、著者は過去の文献（下記）を参考にしており、検出された文字構成要素から 1 つの要素を「ピボット」として選び、その周囲で隣接ノードを探し、局所的なグラフ $G_p$ を形成し、隣接ノードを「1-hop」および「2-hop」範囲に分けます：\n\n- 1-hop 隣接ノード：ピボットから始めて、距離（ある種の類似度測定に基づく）で最も近い 8 つの構成要素を第一階隣接ノードとして選びます（つまり、ピボットに最も近い要素）。\n- 2-hop 隣接ノード：8 個の 1-hop ノードの**それぞれについて**近い 4 ノードを選び、局所グラフを作る際に重複を除きます。\n\n\n> [!TIP]\n> \n> 参考文献：[**[19.03] Linkage Based Face Clustering via Graph Convolution Network**](https://arxiv.org/abs/1903.11306)\n\n\n重複を除く前の候補数は、ピボットを含めて最大 $1+8+8\\times4=41$ です。画像全体の数百・数千の構成要素を完全接続する場合に比べ、グラフを小さくできます。\n\n最後に、どの構成要素がピボットの最も近い隣接ノードであるかを決定するために、「類似度」や「距離」を測定する方法が必要です。\n\n論文では、ユークリッド距離の相対的な比率を使用して類似度を定義しています：\n\n$$\nE_s = 1 - \\frac{D(p, v_i)}{\\max(H_m, W_m)}\n$$\n\n- $D(p, v_i)$ はピボット $p$ とノード $v_i$ の間の L2 ユークリッド距離（画像座標空間内の距離）。\n- $H_m$ と $W_m$ は画像全体の高さと幅です。\n\n### 重複サンプルのフィルタリング\n\nトレーニング中、同一の文字インスタンス内で選択された異なるピボットに対応する局所的なグラフがあまりにも似ている場合（例えば、同じ行の隣接する文字を選んだ場合、その結果、局所的なグラフのほとんどのノードが重複して現れる）、これはモデルが「簡単なサンプル」を繰り返し学習することになり、トレーニングの効率が低下します。\n\nこのため、著者はフィルタリング条件を提案しました：\n\n$$\nG_{\\text{iou}} = \\frac{|G_p \\cap G_q|}{|G_p \\cup G_q|} < \\xi\n$$\n\nここで $G_p$ と $G_q$ は同一の文字インスタンス $T$ 内で異なるピボットから形成された 2 つの局所的なグラフであり、それらの 1-hop 隣接ノード集合を交差（$\\cap$）および結合（$\\cup$）して、2 つの局所的なグラフの「重なりの割合」を計算します。\n\n重なりの割合 $G_{\\text{iou}}$ が高すぎる場合（例えば 1 に近い場合、2 つの局所的なグラフがほぼ同じであることを意味する）、そのピボットは使用されません。これにより、「重複した、簡単な」サンプルを生成するのを避けます。\n\n著者は実験で$\\xi = 0.75$を設定しており、重なりの割合が 0.75 未満の場合にのみ使用します。これは局所グラフの重複を減らす仕組みです。\n\n### グラフ畳み込みネットワーク（GCN）\n\n前述のステップで、著者は各画像に複数の「局所的なグラフ」を作成しました。各局所的なグラフは、「ピボットノード」とその 1-hop および 2-hop 隣接ノードを含んでいます。これらの局所的なグラフを使用して、ノード間の初歩的な接続情報を把握できますが、これらは粗い接続の推定にすぎません。\n\nノード間の実際の接続確率をより深く推論するため、特にピボットノードとその 1-hop 隣接ノード間の関係を判定するために、著者はここで「グラフ畳み込みネットワーク（Graph Convolutional Network, GCN）」モデルを導入します。\n\nGCN を使用することで、グラフ構造内で隣接情報を層ごとに集約し、より高度な関係推論を行うことができます。\n\n\n> [!TIP]\n> \n> これまでの説明はすべて「グラフ畳み込みネットワーク」を導入するための準備でした！\n\n\n1 つのグラフ（Graph）は通常、$g(X, A)$として表されます：\n\n- $X$：ノード特徴行列、各行が 1 つのノードの特徴ベクトルを表します。\n- $A$：隣接行列、ノード間の接続関係を記述します。もし第$i$ノードと第$j$ノードがエッジで接続されていれば、$A_{ij} = 1$、そうでなければ 0（または他の重み）となります。\n\nここでは、局所的なグラフ$G_p$（ピボット$p$を中心とした局所的なグラフ）のためにノード特徴行列$X$と隣接行列$A$を構築し、それらをグラフ畳み込みネットワークに入力して関係推論を行います。\n\nノード特徴は 2 つの部分から構成されます：\n\n1. **RROI 特徴（RROI features）**\n2. **幾何学的特徴（geometric features）**\n\nRRoI-Align（RRoI は回転した RoI、つまり回転した文字の領域を考慮する RoI 基準）法を使用して、画像の特徴マップから各文字構成要素の特徴ブロックを抽出し、その特徴ベクトルを$F_r$と呼びます。\n\n\n> [!TIP]\n> \n> RRoI-Align の詳細については、以下の文献を参照してください：\n> \n> - [**[17.03] Arbitrary-oriented scene text detection via rotation proposals**](https://arxiv.org/abs/1703.01086)\n\n\nこれらの特徴は主に画像の外観情報に由来しますが、文字領域内のテクスチャや形状を捉えることができますが、文字構成要素が画像全体でどこにあるのか、スケール、方向などの「幾何学的な属性（geometric features）」が欠けています。\n\nそのため、ノード特徴をより包括的にするために、著者はここで Transformer の位置エンコーディングを直接採用し、文字構成要素の幾何学的情報を高次元空間に埋め込み（embedding）ます：\n\n$$\n\\varepsilon_{2i}(z) = \\cos\\left(\\frac{z}{1000^{2i/C_{\\varepsilon}}}\\right), \\quad i \\in [0, C_{\\varepsilon}/2 - 1]\n$$\n\n$$\n\\varepsilon_{2i+1}(z) = \\sin\\left(\\frac{z}{1000^{2i/C_{\\varepsilon}}}\\right), \\quad i \\in [0, C_{\\varepsilon}/2 - 1]\n$$\n\n1 つの文字構成要素には 6 つの幾何学的属性（例えば$x, y, h, w, \\cos\\theta, \\sin\\theta$）がありますが、これらの各属性は上記の埋め込み（embedding）を使用して$C_{\\varepsilon}$次元に変換され、最終的に$6 \\cdot C_{\\varepsilon}$次元の特徴ベクトル$F_g$が得られます。\n\n最後に、$F_r$（RROI 特徴）と$F_g$（幾何学的特徴埋め込み）を連結し、ノード特徴 $x_q=[F_r;F_g]$ を作ります。局所グラフに入力する前にピボットの特徴 $x_p$ を引き、相対特徴 $x_q-x_p$ にします。\n\n---\n\nノード特徴の準備が整った後、次は隣接行列$A$を構築することです。\n\nグラフの疎性と計算量を制御するため、著者は各ノードに対して最も近い$u$個の隣接ノードを選び、各ノードが他のノードと過度に接続されないようにしています。もしノード$n_j$がノード$n_i$の最も近い$u$個の隣接ノードの 1 つであれば、$A_p(n_i, n_j) = 1$、そうでなければ 0 となります。実験では$u$は 3 に設定されています。\n\nこのようにして構築された隣接行列$A \\in \\mathbb{R}^{N \\times N}$は、局所的なグラフのトポロジー構造を定義します。\n\n---\n\nノード特徴行列$X$と隣接行列$A$を得た後、著者はここで 1 層のバッチ正規化（Batch Normalization）と 4 層のグラフ畳み込み層を積み重ね、各層の後に ReLU 活性化関数を適用しました。モデルは softmax 交差エントロピー損失を使用して、1-hop ノードとピボットの接続予測を行います。\n\nトレーニング段階では、バックプロパゲーションは 1-hop ノードの分類誤差のみに適用されます。実際に最も重要なのはピボットとその最も近い隣接ノードとの接続が成立しているかどうかを決定することです。2-hop ノードは補助情報として提供され、グラフ畳み込みがより広範な文脈的特徴を捉えるのを助けますが、2-hop ノードの接続について直接最適化は行われません。\n\nテスト段階では、トレーニングされたモデルを使用して、ピボットと 1-hop ノードの接続結果を判断し、最終的な文字インスタンスを再構築します。再度、前述のグラフを確認しましょう：\n\n\n\n![architecture](/content/papers/assets/96fa95364af4e797311e2f2988cd28fed479477c19ca85791808b9b04b1f1db8.jpg)\n\n\n\n文字ノードの特徴を GCN で処理し、softmax から文字構成要素とピボット間の接続確率を得ます。推論時には各構成要素を順にピボットとしてグラフを作り、BFS で接続された構成要素をまとめます。その後、Min-Path で中心点を並べ、上下の境界の中点をつないで、最終的な文字境界を作ります。\n\n## 討論\n\n### アブレーション実験\n\n\n\n![ablation](/content/papers/assets/acfc2e3d101ba3850355342429db2a017d34428d52a270cea46521a3bb1afa39.jpg)\n\n\n\nモデル全体のアーキテクチャは非常に複雑であるため、まずはアブレーション実験に注目しましょう。\n\nデータの差異が実験結果に与える影響を減らすために、著者はまず SynthText を使用して事前学習を行い、その後、モデルを Total-Text と CTW1500 に微調整しました。MSRA-TD500 データセットについては、英語と中国語の文字が含まれているため、ICDAR2017-MLT で事前学習を行い、MSRA-TD500 で微調整を行いました。\n\n上表の baseline は、文字領域と中心領域の交わりを使って構成要素をまとめる方式で、GCN が学習した接続関係は使いません。関係推論ネットワークを加えると、各データセットの Hmean（F-score）が向上しました：\n\n- Total-Text で Hmean は 1.83 パーセントポイント向上。\n- CTW1500 で Hmean は 0.78 パーセントポイント向上。\n- MSRA-TD500 で Hmean は 4.27 パーセントポイント向上。\n\nこの中では MSRA-TD500 の増分が最大で、長い文字行を含むこのデータセットで関係推論が役立ったことがわかります。一方、著者は CTW1500 での改善幅が小さい理由として、アノテーション上の問題を挙げています：\n\n- CTW1500 には「DO NOT CARE」のアノテーション基準がなく、非常に小さな文字や非英語文字がアノテーションされていないため、評価時に干渉が生じます。下の図の例のように。\n- このデータセットの文字行（text line）のアノテーションが時々非常に混乱しており、モデルの予測とアノテーションが整合しづらいです。\n\n\n\n![comparison](/content/papers/assets/45ac0b4e6155eb3f447853ad6beeac3aef80acec48c8681c23b940de7b89afa3.jpg)\n\n\n\nCTW1500 での増分は小さいものの、三つのデータセットでのアブレーション結果は、関係推論ネットワークが Hmean の改善に役立つことを示しています。\n\n\n> [!TIP]\n> \n> このアブレーション実験、少し内容が足りないのでは？\n> \n> GCN モジュールには多くのコンポーネントがありますが、アブレーション実験ではそれを全体として扱い、もっと細かい分析がされていないのは少し残念です。\n\n\n### 他の方法との比較\n\n\n\n![comparison](/content/papers/assets/be9ba4fd1cefbbdf497147f6ff6e6d84f3defb47d6de442de0b3c6de5c35b2e4.jpg)\n\n\n\n著者は ICDAR2017-MLT を事前学習データセットとして使用し、CTW1500 と Total-Text で微調整を行いました。\n\n上表では、本論文の方法（DRRG）の Hmean は Total-Text で 85.73%、CTW1500 で 84.45% に達し、表に挙げられた他の方法を上回ります。TextSnake と比較すると、CTW1500 と Total-Text でそれぞれ 8.85、7.33 パーセントポイント高い結果です。\n\nMSRA-TD500 では、DRRG の Hmean も 85.08%に達し、他の方法よりも優れています。\n\n### 可視化結果\n\n\n\n![visualization](/content/papers/assets/9b1e6f4e56183a4f0df338fb492884296e7a44e3809041b01cb3b97c2b17b18e.jpg)\n\n\n\n曲がった不規則な文字に対して、著者は実験で良い結果を得ています。\n\n上図の上段は文字構成要素をまとめた結果、下段は生成された文字境界です。これらの例から、DRRG がさまざまな形状の文字を検出できることがわかります。\n\n## 結論\n\nこの論文の革新は、文字構成要素間の関係をグラフ問題として構造化し、グラフ畳み込みネットワークを使用してノードとエッジの深い推論を行い、真の接続関係を確定することにあります。その後の後処理ステップで、これらの要素を効果的に統合し、完全な文字インスタンスを形成します。\n\n次の TextBPN アーキテクチャでもグラフ畳み込みネットワークが登場し、グラフ畳み込みネットワークが文字検出タスクにおいて有効であることが証明されます。\n\n\n> [!NOTE]\n> \n> この論文でのグラフ畳み込みは文字ノード間の接続を見つけるために使用されており、別の論文では文字輪郭の座標予測を洗練させるためにグラフ畳み込みを利用しています。興味のある読者は以下の文献も参照してください：\n> \n> - [**[21.07] TextBPN: グラフ畳み込みの再考**](/blog/papers/text-detection/textbpn)\n\n\n\n> [!TIP]\n> \n> モデルアーキテクチャは常に複雑な問題ですが、グラフ畳み込みは本当に魅力的な研究方向であり、従来の CNN アーキテクチャを超えて、グラフ問題の推論能力を深層学習領域に導入することで、多くのアプリケーションに新たな可能性をもたらしています。\n","imageSizes":{"/content/papers/assets/7f65ed561e78695572f8751aacdcb0033cdc33d5926dec733cffa9363404f6dd.jpg":{"width":1602,"height":532},"/content/papers/assets/dc8171f5ae563e294715253d42ca430567f4273b93c4720cb4a569843d8fb84d.jpg":{"width":890,"height":850},"/content/papers/assets/5cf4b14252cc9d002fc8b2a6e29ad8b41d474c50a4bec5fcff045d549ffbf24e.jpg":{"width":988,"height":714},"/content/papers/assets/94b45f25075c5f8389629ad81a990f3b430354a65a8526ecd817f708afc69f50.jpg":{"width":988,"height":338},"/content/papers/assets/5ee2bbbf773d0e1ecb94875a4f4b612bac823100d951bef82d8a3ea9194b690d.jpg":{"width":988,"height":756},"/content/papers/assets/96fa95364af4e797311e2f2988cd28fed479477c19ca85791808b9b04b1f1db8.jpg":{"width":616,"height":530},"/content/papers/assets/acfc2e3d101ba3850355342429db2a017d34428d52a270cea46521a3bb1afa39.jpg":{"width":980,"height":396},"/content/papers/assets/45ac0b4e6155eb3f447853ad6beeac3aef80acec48c8681c23b940de7b89afa3.jpg":{"width":1008,"height":632},"/content/papers/assets/be9ba4fd1cefbbdf497147f6ff6e6d84f3defb47d6de442de0b3c6de5c35b2e4.jpg":{"width":1648,"height":712},"/content/papers/assets/9b1e6f4e56183a4f0df338fb492884296e7a44e3809041b01cb3b97c2b17b18e.jpg":{"width":1738,"height":640}}}
