{"notes":[{"id":"multimodality/simvlm","category":"multimodality","legacyPath":"multimodality/2108-simvlm","legacySlug":"2108-simvlm","legacyPaths":[],"title":"SimVLM","subtitle":"少し簡単に","author":"Z. Yuan","paperDate":"2021-08-24","publishedOn":"2024-06-04","paperTitle":"SimVLM: Simple Visual Language Model Pretraining with Weak Supervision","paperUrl":"https://arxiv.org/abs/2108.10904","bibliography":{"title":"SimVLM: Simple Visual Language Model Pretraining with Weak Supervision","authors":["Zirui Wang","Jiahui Yu","Adams Wei Yu","Zihang Dai","Yulia Tsvetkov","Yuan Cao"],"url":"https://arxiv.org/abs/2108.10904","pdfUrl":"https://arxiv.org/pdf/2108.10904","codeUrl":null,"preprint":{"id":"2108.10904","submittedOn":"2021-08-24","url":"https://arxiv.org/abs/2108.10904"},"publication":{"venue":"ICLR","year":2022,"kind":"conference","url":"https://openreview.net/pdf?id=GUrhfTuf_3"},"citation":"@misc{multimodalitysimvlm2021,\n  title = {{SimVLM: Simple Visual Language Model Pretraining with Weak Supervision}},\n  author = {Zirui Wang and Jiahui Yu and Adams Wei Yu and Zihang Dai and Yulia Tsvetkov and Yuan Cao},\n  year = {2021},\n  eprint = {2108.10904},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2108.10904}\n}\n","citationPath":"/content/papers/citations/multimodality/simvlm.3f1debdaa343.bib"},"thumbnail":{"src":"/content/papers/assets/3b0abd9539f567530912cf12033a3707473305523048b725fdac2b67934909fd.jpg","width":1224,"height":704},"locale":"ja","path":"/content/papers/ja/multimodality/simvlm.1bb644721ec3.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"simvlm-モデル設計","text":"SimVLM モデル設計","depth":3},{"id":"事前学習戦略","text":"事前学習戦略","depth":3},{"id":"データセット","text":"データセット","depth":3},{"id":"考察","text":"考察","depth":2},{"id":"モデルの効果はどうか","text":"モデルの効果はどうか？","depth":3},{"id":"ゼロショットのパフォーマンスはどうか","text":"ゼロショットのパフォーマンスはどうか？","depth":3},{"id":"誰の貢献か","text":"誰の貢献か？","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{"討論":"考察"},"guide":null,"relatedReading":[{"id":"multimodality/pixelbert","relation":"comparison","topic":"画素から学ぶ画像・テキスト特徴"},{"id":"multimodality/vilt","relation":"comparison","topic":"画素から学ぶ画像・テキスト特徴"}]},{"id":"multimodality/pixelbert","category":"multimodality","legacyPath":"multimodality/2004-pixelbert","legacySlug":"2004-pixelbert","legacyPaths":[],"title":"Pixel-BERT","subtitle":"ピクセルの言語","author":"Z. Yuan","paperDate":"2020-04-02","publishedOn":"2024-06-04","paperTitle":"Pixel-BERT: Aligning Image Pixels with Text by Deep Multi-Modal Transformers","paperUrl":"https://arxiv.org/abs/2004.00849","bibliography":{"title":"Pixel-BERT: Aligning Image Pixels with Text by Deep Multi-Modal Transformers","authors":["Zhicheng Huang","Zhaoyang Zeng","Bei Liu","Dongmei Fu","Jianlong Fu"],"url":"https://arxiv.org/abs/2004.00849","pdfUrl":"https://arxiv.org/pdf/2004.00849","codeUrl":null,"preprint":{"id":"2004.00849","submittedOn":"2020-04-02","url":"https://arxiv.org/abs/2004.00849"},"publication":null,"citation":"@misc{multimodalitypixelbert2020,\n  title = {{Pixel-BERT: Aligning Image Pixels with Text by Deep Multi-Modal Transformers}},\n  author = {Zhicheng Huang and Zhaoyang Zeng and Bei Liu and Dongmei Fu and Jianlong Fu},\n  year = {2020},\n  eprint = {2004.00849},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2004.00849}\n}\n","citationPath":"/content/papers/citations/multimodality/pixelbert.c08c8ff05b89.bib"},"thumbnail":{"src":"/content/papers/assets/6bef1a64980cdb97551b5daaf2d3ff21f4bdb4b5bc852b778a2b24b84959a78e.jpg","width":1224,"height":628},"locale":"ja","path":"/content/papers/ja/multimodality/pixelbert.cdcc3f8d7e41.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"問題解決","text":"問題解決","depth":2},{"id":"pixel-bert-モデル設計","text":"Pixel-BERT モデル設計","depth":3},{"id":"ピクセル特徴のエンコード","text":"ピクセル特徴のエンコード","depth":3},{"id":"句子特徴のエンコード","text":"句子特徴のエンコード","depth":3},{"id":"クロスモーダル学習","text":"クロスモーダル学習","depth":3},{"id":"事前学習方法","text":"事前学習方法","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"vqa-の表現","text":"VQA の表現","depth":3},{"id":"nlvr2-の表現","text":"NLVR2 の表現","depth":3},{"id":"画像-テキスト検索","text":"画像-テキスト検索","depth":3},{"id":"モデルの重要な設計は何か","text":"モデルの重要な設計は何か？","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"multimodality/vilt","relation":"comparison","topic":"画素から学ぶ画像・テキスト特徴"},{"id":"multimodality/simvlm","relation":"comparison","topic":"画素から学ぶ画像・テキスト特徴"}]},{"id":"multimodality/vilt","category":"multimodality","legacyPath":"multimodality/2102-vilt","legacySlug":"2102-vilt","legacyPaths":[],"title":"ViLT","subtitle":"あなたが歌い終わった後に私が登場","author":"Z. Yuan","paperDate":"2021-02-05","publishedOn":"2024-04-05","paperTitle":"ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision","paperUrl":"https://arxiv.org/abs/2102.03334","bibliography":{"title":"ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision","authors":["Wonjae Kim","Bokyung Son","Ildoo Kim"],"url":"https://arxiv.org/abs/2102.03334","pdfUrl":"https://arxiv.org/pdf/2102.03334","codeUrl":"https://github.com/dandelin/vilt","preprint":{"id":"2102.03334","submittedOn":"2021-02-05","url":"https://arxiv.org/abs/2102.03334"},"publication":{"venue":"ICML","year":2021,"kind":"conference","url":"https://proceedings.mlr.press/v139/kim21k.html"},"citation":"@misc{multimodalityvilt2021,\n  title = {{ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision}},\n  author = {Wonjae Kim and Bokyung Son and Ildoo Kim},\n  year = {2021},\n  eprint = {2102.03334},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2102.03334}\n}\n","citationPath":"/content/papers/citations/multimodality/vilt.1555ccf87693.bib"},"thumbnail":{"src":"/content/papers/assets/9365d24c758fb8098d2dee6d761d9398a0800b712acb97926f5aac408eea2cce.jpg","width":1224,"height":456},"locale":"ja","path":"/content/papers/ja/multimodality/vilt.4a7123993c8e.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"vilt-設計理念","text":"ViLT 設計理念","depth":3},{"id":"vilt-設計の詳細","text":"ViLT 設計の詳細","depth":3},{"id":"事前学習戦略","text":"事前学習戦略","depth":3},{"id":"考察","text":"考察","depth":2},{"id":"パフォーマンスはどうだったか","text":"パフォーマンスはどうだったか？","depth":3},{"id":"最も重要な貢献","text":"最も重要な貢献","depth":3},{"id":"複雑度の分析","text":"複雑度の分析","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{"定義された問題":"問題の定義","解決問題":"問題の解決","vilt-設計細節":"vilt-設計の詳細","討論":"考察"},"guide":null,"relatedReading":[{"id":"multimodality/visualbert","relation":"comparison","topic":"画像・テキストを統合する Transformer エンコーダ"},{"id":"multimodality/vlbert","relation":"comparison","topic":"画像・テキストを統合する Transformer エンコーダ"},{"id":"multimodality/pixelbert","relation":"comparison","topic":"画素から学ぶ画像・テキスト特徴"}]}],"text":"物事が複雑になりすぎると、誰もがそれを避けたくなります：\n\n本当にこんなに複雑にする必要があるのでしょうか？\n\n今、GPT-3 は登場し、非常に優れたパフォーマンスを達成していますが、彼らは物事をこんなに複雑にはしていません！\n\n本論文の著者は、この考えに基づき、もはや従来のエンコーダーアーキテクチャに固執するべきではないと考えています。\n\nもしかすると、私たちは物事をもう少し簡単にすることができるかもしれません？\n\n## 問題の定義\n\n著者が定義した問題は以下の通りです：\n\n1. **事前学習と微調整のパラダイムの欠点**\n\n   - マスク付き言語モデル（MLM）を使用して、大規模な未ラベルテキストコーパスでモデル（例えば BERT）を事前学習し、その後微調整する方法は主流となっていますが、最近の自己回帰型言語モデル（例：GPT-3）は、微調整なしで少量のデータを使用して強力なパフォーマンスを発揮できることを示しています。\n\n2. **マルチモーダル対応の課題**\n\n   - 視覚とテキストのマルチモーダル対応を構築しようとしていますが、画像とテキストの間の整合性を捉えることは容易ではありません。初期の方法は通常、人工的にラベル付けされたデータセットに依存して、物体検出と統合モデルの MLM 事前学習を行っていました。\n   - 人間の注釈データの規模は限られているため、従来の方法は複雑な事前学習スキームを使用する必要があり、さらにタスク固有の補助損失を導入する必要があり、VLP の事前学習プロトコル全体が複雑になってしまいました。\n\n3. **ゼロショット能力の欠如**\n   - 現在の事前学習と微調整に基づく方法はゼロショット能力において良好なパフォーマンスを示していません。つまり、モデルは未見の新しいタスクへの一般化能力が制限されています。\n   - 一部の方法は特定のタスクにのみ焦点を当てているため、汎用の事前学習・微調整表現として使用するのは難しいです。例えば、いくつかの方法は画像分類や画像テキスト検索といった特定のタスクにのみ焦点を当てています。\n\n## 解決問題\n\n### SimVLM モデル設計\n\n![model_arch](/content/papers/assets/3b0abd9539f567530912cf12033a3707473305523048b725fdac2b67934909fd.jpg)\n\n1. **PrefixLM**\n\n   単方向言語モデルから得たゼロショット能力のインスピレーションを受けて、著者は「プレフィックス言語モデル」または「PrefixLM」という新しい方法を提案しました。従来の単方向言語モデルとは異なり、PrefixLM にはいくつかの特徴があります：\n\n   - **前置きシーケンスに対する双方向的注意**：\n\n     PrefixLM では、与えられたプレフィックス内のトークン同士が双方向に注意を向けます。続く生成部分はプレフィックス全体と既に生成したトークンを見ることができますが、未来の出力は見られません。\n\n   - **自己回帰的分解の範囲**：\n\n     PrefixLM は、前置きの後の部分に対して自己回帰的分解を行い、次のシーケンスを予測しようとします。\n\n   - **画像をテキストの前置きとして扱う**：\n\n     視覚言語タスクでは画像パッチをテキストの前に置き、プレフィックスの長さをランダムに選びます。そのプレフィックスには画像パッチがすべて含まれ、予測損失は後続テキストにだけかかります。画像がテキストの説明より先に提示されることが多いという観察に基づく設計です。\n\n\n> [!TIP]\n> \n> 例えば、私たちが公園でボールを追いかけている犬の画像を持っているとしましょう。PrefixLM のタスクは、この画像からその内容を記述するテキストを生成することです。処理の流れは次のようになります：\n> \n> 1. 画像をプレフィックスとして：この論文では、最初に ResNet の 3 つの畳み込みブロックで元画像をパッチ表現にし、プレフィックスとして入力します。\n> 2. 簡単なテキスト記述：この画像を前置きとして、例えば「犬が…」という簡単な説明を入力します。\n> 3. デコーダから記述を生成：エンコーダは画像と与えられたテキストのプレフィックスを双方向に処理します。デコーダはプレフィックスと生成済みの「犬が」を使いますが、まだ生成していない語は見られません。\n> 4. 記述の生成を続ける：上記の文脈を考慮して、モデルは「公園でボールを追いかけている」と生成する可能性があります。\n> \n> したがって、画像前置きと生成されたテキストを組み合わせることにより、完全な記述「犬が公園でボールを追いかけている」を得ることができます。\n\n\n2. **アーキテクチャ設計**\n\n   Transformer をコアアーキテクチャとして使用し、Encoder-Decoder のシーケンス・ツー・シーケンス言語モデルを利用し、視覚モジュールとテキストモジュールを組み合わせています：\n\n   - **視覚モジュール**\n\n     ViT と同じくパッチ列を使いますが、画像パッチは直接の線形射影ではなく ResNet の最初の 3 つのブロックを経て作ります。それをテキストトークンと連結して Transformer のプレフィックスに入力します。\n\n   - **テキストモジュール**\n\n     SentencePiece によるサブワード分割でテキストを固定語彙のトークンに変えます。原論文は、ここで使った分割アルゴリズムが Byte-Pair Encoding (BPE) だとは指定していません。\n\n\n> [!TIP]\n> \n> おっと！このアーキテクチャ、VL-T5 に似ている！\n> \n> VL-T5 のアーキテクチャを見てみましょう：\n> \n> ![vl-t5](/content/papers/assets/95b75d44ac94924daf37cc4da698dafbb37b5968f7ec81cce39a47ef577c5c9b.jpg)\n> \n> - 両者ともに Encoder-Decoder を使用\n> - 両者ともに Encoder に画像情報とテキスト情報を加えている\n> - 実際にはかなり違います！\n> \n> 一見似ていますが、実際には大きく異なります。\n> \n> VL-T5 では、**物体検出器の出力**から得た各領域の RoI 特徴を使います。同時に、タスクのプレフィックスと質問文を加えます：\n> \n> - 最初のテキスト：プレフィックスとして、モデルが解決すべき問題のタイプを示します。\n> - 2 番目のテキスト：問題の本質。\n> \n> これらの 2 つのテキストと画像の部分を通じて、モデルは「多数の物体」の中から、テキストに一致する記述を見つけ、デコーダを使用して結果を出力します。\n> \n> この設計は Encoder に多くの処理を任せています。Decoder を外して Encoder の後ろに分類ヘッドを置けるだろうか、とも考えたくなります。ただし、これは私たちの推測です。VL-T5 論文はその消融を行っておらず、その構成なら統一したテキストラベル生成の設定からも外れます。\n\n\n   それでは SimVLM に戻りましょう。SimVLM は問題をすべて Encoder に残していません。私たちには、まるで「事件現場」を作り上げるようなものに見えます。ここでの Decoder は探偵の役割を果たし、Encoder に残された手がかりを使って、次の結果を推理しようとします。\n\n   さらには、著者によると：**ここで言及されている「前置き」の画像の手がかりは、必ずしも画像から来る必要はなく、「画像を記述するテキスト」を前置きとして入力しても全く問題ない！**とのことです。\n\n   後続タスクの表では、SimVLM-Base の VQA test-std が 78.14、VL-T5 は 70.30 で、差は約 7.8 ポイントです。ただし事前学習データ、画像入力、モデル設定が異なるので、差を Decoder の設計だけに帰することはできません。\n\n### 事前学習戦略\n\nここには MLM も、ITM も、あなたが必要だと思っていたものもありません。\n\n著者が使うのは一つの「PrefixLM」目標です。画像パッチと一部のテキストを双方向注意のプレフィックスとし、残りのテキストを自己回帰的に予測します。純テキストにも同じ目標を使うので、単なる GPT 式の文字の続きを当てるだけではありません。\n\nあれ？こんなにシンプルで予想外です……\n\n### データセット\n\n- **ALIGN トレーニングデータセット**：画像とその関連する記述やテキスト注釈を含み、「大量のノイズ」を含む大規模なデータセット。このような画像-テキストペアのデータセットは視覚言語事前学習に使用され、マルチモーダル学習タスクをサポートします。\n- **Colossal Clean Crawled Corpus (C4)**：C4 は大規模なテキストデータセットで、主に言語モデルの事前学習に使用されます。このデータセットはウェブのテキストから整理され、効率的で大規模な事前学習のために設計されています。\n\n## 考察\n\n### モデルの効果はどうか？\n\n![result](/content/papers/assets/3cdcc56ee02e0a97088a032ca69bcd434a01102a26834486d675ed5268fc1e40.png)\n\nSimVLM はその簡略化された事前学習と微調整方法を使用して優れたパフォーマンスを達成し、事前学習と微調整のプロセスにシームレスに適用できます：\n\n1. **モデル比較**\n\n   - SimVLM は、LXMERT、VL-T5、UNITER、OSCAR、Villa、SOHO、UNIMO、VinVL などの複数の先進的な視覚言語事前学習（VLP）方法と比較されました。\n   - SimVLM-Huge は表中の VQA、NLVR2、SNLI-VE、NoCaps、Multi30k などで高い値ですが、すべての列で最高ではありません。例えば COCO キャプションの BLEU@4 は 40.6 で、OSCAR の 41.7 より低いです。\n   - これらの論文間比較は生成式事前学習の競争力を示しますが、データや設定が揃っていない。\n\n2. **特定タスクでのパフォーマンス**\n\n   - **判別タスク**\n\n     SimVLM-Base の VQA test-std は 78.14 で、表中の VinVL の 76.60 より高い一方、SNLI-VE test の 84.15 は SOHO の 84.95 より低いです。SimVLM-Huge の VQA test-std は 80.34 で VinVL より 3.74 ポイント高く、単一モデルで 80％を超えています。\n\n   - **複雑な視覚言語推論**\n\n     SimVLM-Huge の NLVR2 test-P／SNLI-VE test は 85.15／86.32 で、表中の先行方法より高い値です。これは各論文の結果を並べた比較です。\n\n   - **生成タスク**\n\n     SimVLM-Huge は COCO キャプションの Karpathy 5k 分割で METEOR／CIDEr／SPICE が表中の CIDEr 最適化モデルを上回りますが、BLEU@4 の 40.6 は OSCAR の 41.7 より低いです。NoCaps の CIDEr／SPICE は 110.3／14.5 で、VinVL の 92.5／13.1 より高い値です。\n\n   - **画像翻訳**\n\n     SimVLM はまた、Multi30k の英語からドイツ語への画像翻訳タスクで良い結果を示しました。\n\n### ゼロショットのパフォーマンスはどうか？\n\n著者はここで、三つのゼロショットの応用方法を探りました。具体的には：\n\n1. **ゼロショット/少数ショット画像キャプション生成**\n\n   ![result1](/content/papers/assets/52a706f57cc491dc7970a4d9b714f385d59f1734163cda3d4e0928b9dd44a0ad.png)\n\n   事前学習は、雑音を含むウェブ画像とキャプションから学ぶ形とも見られます。ゼロショットでは直接生成し、少数ショットでは訓練データの 1％で 5 エポック微調整します。SimVLM-Huge のゼロショット COCO CIDEr は 32.2 で、完全教師ありモデルより低い値です。一方、NoCaps のゼロショット CIDEr は 101.4、少数ショット COCO CIDEr は 131.3 に達します。著者は「A picture of」というプレフィックスでキャプションが改善する例も示しています。\n\n2. **ゼロショットクロスモーダルトランスファー**\n\n   ![result2](/content/papers/assets/0953a59ff465db05a416d2ac3924bea28a0cd4fdf601082312ade38080cda122.png)\n\n   著者は下流の純テキストデータだけで SimVLM を微調整し、対象となる画像とテキストの組では追加学習せずに評価します。このクロスモーダル転移を SNLI-VE と Multi30k で調べました。\n\n   SNLI のテキストで微調整した SimVLM-Huge は、SNLI-VE の画像とテキストで test 73.86 です。完全教師あり UNITER の 78.28 より低いものの、画像を与えず仮説だけで評価すると約 34％になり、3 クラスのランダム推測に近づきます。MNLI のテキストで微調整した場合は test 66.97。Multi30k の言語・モダリティをまたぐ転移は BLEU@4／METEOR が 18.2／32.6 で、表中の LIUM の 23.8／35.1 より低い値です。転移は可能ですが、これらの比較では完全教師ありモデルとの差が残ります。\n\n3. **オープンエンドビジュアルクエスチョンアンサー**\n\n   ![result3](/content/papers/assets/df4de4a18dc0cbe40c50fe14c77a1e7e120929bd7c9c911419d8d5f7518783e9.png)\n\n   視覚的な質問応答（VQA）タスクでは、従来の方法は通常、質問を 3,129 の候補回答セットに対して多ラベル分類として定義します。しかし、この方法は固定の回答セットがすべての可能な状況をカバーするのが難しいため、現実のアプリケーションには限界があります。これにより、オープンエンド VQA が挑戦的になります。\n\n   Karpathy-test の候補 3129 個に正解がない問題では、生成式 SimVLM-Huge が 30.3、識別式の同モデルが 17.5 です。2085 個の候補回答だけで微調整した場合も、未見回答群は 28.8 でした。ただし、どちらも VQA で微調整した結果です。VQA で全く微調整せず実際の質問を直接聞くと意味のある答えを出せないことが多く、少数の提示文による定性例はこの制約を覆しません。\n\n### 誰の貢献か？\n\n![ablation](/content/papers/assets/38549433c6962dcabc4de2c7b07ef00656a6a4e14648c559a43a64ba1ced2966.png)\n\nまず、小型モデルの VQA は Encoder-Decoder の 67.43 から Decoder のみの 65.23 に下がります。測定した設定では、双方向のプレフィックス符号化を残すことに利点があります。\n\n次に、Decoder のみを単方向 LM にすると 64.48、完全な小型モデルを span corruption に変えると 66.23 で、いずれも PrefixLM の 67.43 に及びません。これは試した条件での PrefixLM の効果を支持しますが、表だけですべての統一目標に勝つとまでは言えません。\n\n画像とテキストのデータを外すと VQA は 67.43 から 49.23、純テキストを外すと 65.25 になります。両方がこの実験に貢献していますが、純テキストがどの条件でも不可欠とまでは証明していません。\n\n最後に畳み込み段階を外すと VQA は 63.11 です。ResNet のブロックを 2／3／4 個使うと 65.57／67.43／66.55 で、この設定では 3 個が最良でした。ただし表は、画像とテキストの粒度の違いがその原因だと単独で検証したものではありません。\n\n## 結論\n\nこれほどシンプルなアーキテクチャで、これほどの結果が得られるとは。\n\nSimVLM の成功は、この原則の最良の証明です。この論文が示すのは、効果的な技術戦略だけでなく、今日の複雑な技術世界の中でも、シンプルで直接的な解決策を見つけることが可能であるということです。\n\n多くの人々は複雑な問題には複雑な解決策が必要だと自然に考えがちですが、SimVLM がシンプルな「PrefixLM」戦略で登場したとき、それはこの既存の思考パターンを打破し、その後の研究に明確な方向を示しました。\n\nSimVLM の優れたパフォーマンスに基づき、将来の研究者たちは ViT の視点から最適化を試みるかもしれません。ViT はすでに多くの進化形態を持っていますし、あるいは GPT の戦略をさらに深めて、視覚言語事前学習領域のさらなる発展を推進する可能性もあります。\n","imageSizes":{"/content/papers/assets/3b0abd9539f567530912cf12033a3707473305523048b725fdac2b67934909fd.jpg":{"width":1224,"height":704},"/content/papers/assets/95b75d44ac94924daf37cc4da698dafbb37b5968f7ec81cce39a47ef577c5c9b.jpg":{"width":1224,"height":296},"/content/papers/assets/3cdcc56ee02e0a97088a032ca69bcd434a01102a26834486d675ed5268fc1e40.png":{"width":1024,"height":407},"/content/papers/assets/52a706f57cc491dc7970a4d9b714f385d59f1734163cda3d4e0928b9dd44a0ad.png":{"width":1024,"height":492},"/content/papers/assets/0953a59ff465db05a416d2ac3924bea28a0cd4fdf601082312ade38080cda122.png":{"width":1024,"height":506},"/content/papers/assets/df4de4a18dc0cbe40c50fe14c77a1e7e120929bd7c9c911419d8d5f7518783e9.png":{"width":1024,"height":487},"/content/papers/assets/38549433c6962dcabc4de2c7b07ef00656a6a4e14648c559a43a64ba1ced2966.png":{"width":1002,"height":824}}}
