{"notes":[{"id":"mamba/s4","category":"mamba","legacyPath":"mamba/2111-s4","legacySlug":"2111-s4","legacyPaths":[],"title":"S4","subtitle":"曼巴的序曲","author":"Z. Yuan","paperDate":"2021-10-31","publishedOn":"2024-11-17","paperTitle":"Efficiently Modeling Long Sequences with Structured State Spaces","paperUrl":"https://arxiv.org/abs/2111.00396","bibliography":{"title":"Efficiently Modeling Long Sequences with Structured State Spaces","authors":["Albert Gu","Karan Goel","Christopher Ré"],"url":"https://arxiv.org/abs/2111.00396","pdfUrl":"https://arxiv.org/pdf/2111.00396","codeUrl":null,"preprint":{"id":"2111.00396","submittedOn":"2021-10-31","url":"https://arxiv.org/abs/2111.00396"},"publication":{"venue":"ICLR","year":2022,"kind":"conference","url":"https://arxiv.org/abs/2111.00396"},"citation":"@misc{mambas42021,\n  title = {{Efficiently Modeling Long Sequences with Structured State Spaces}},\n  author = {Albert Gu and Karan Goel and Christopher Ré},\n  year = {2021},\n  eprint = {2111.00396},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2111.00396}\n}\n","citationPath":"/content/papers/citations/mamba/s4.bd8f80223f7e.bib"},"thumbnail":{"src":"/content/papers/assets/86eedb9a9143dff790f0e1e5af878b5b3eb93e2b6ea2d3c788567363967af802.jpg","width":1224,"height":424},"locale":"zh-hant","path":"/content/papers/zh-hant/mamba/s4.e1710d4b6db4.md","headings":[{"id":"狀態空間模型","text":"狀態空間模型","depth":2},{"id":"hippo-理論","text":"HiPPO 理論","depth":3},{"id":"離散化","text":"離散化","depth":3},{"id":"卷積表示法","text":"卷積表示法","depth":3},{"id":"定義問題","text":"定義問題","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"s4-參數化正規加低秩","text":"S4 參數化：正規加低秩","depth":3},{"id":"s4-計算複雜度","text":"S4 計算複雜度","depth":3},{"id":"s4-層的架構細節","text":"S4 層的架構細節","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"效率基準測試","text":"效率基準測試","depth":3},{"id":"長距離推理之穩定性","text":"長距離推理之穩定性","depth":3},{"id":"可視化分析","text":"可視化分析","depth":3},{"id":"可以作為通用模型嗎","text":"可以作為通用模型嗎？","depth":3},{"id":"hippo-的重要性","text":"HiPPO 的重要性","depth":3},{"id":"實驗-3正則化與完整-s4-方法的性能","text":"實驗 3：正則化與完整 S4 方法的性能","depth":4},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/hippo","relation":"background","topic":"從狀態空間記憶到視覺序列"},{"id":"mamba/mamba","relation":"next","topic":"從狀態空間記憶到視覺序列"}]},{"id":"mamba/hippo","category":"mamba","legacyPath":"mamba/2008-hippo","legacySlug":"2008-hippo","legacyPaths":[],"title":"HiPPO","subtitle":"河馬的記憶","author":"Z. Yuan","paperDate":"2020-08-17","publishedOn":"2024-12-07","paperTitle":"HiPPO: Recurrent Memory with Optimal Polynomial Projections","paperUrl":"https://arxiv.org/abs/2008.07669","bibliography":{"title":"HiPPO: Recurrent Memory with Optimal Polynomial Projections","authors":["Albert Gu","Tri Dao","Stefano Ermon","Atri Rudra","Christopher Re"],"url":"https://arxiv.org/abs/2008.07669","pdfUrl":"https://arxiv.org/pdf/2008.07669","codeUrl":null,"preprint":{"id":"2008.07669","submittedOn":"2020-08-17","url":"https://arxiv.org/abs/2008.07669"},"publication":{"venue":"NeurIPS","year":2020,"kind":"conference","url":"https://papers.nips.cc/paper_files/paper/2020/hash/102f0bb6efb3a6128a3c750dd16729be-Abstract.html"},"citation":"@misc{mambahippo2020,\n  title = {{HiPPO: Recurrent Memory with Optimal Polynomial Projections}},\n  author = {Albert Gu and Tri Dao and Stefano Ermon and Atri Rudra and Christopher Re},\n  year = {2020},\n  eprint = {2008.07669},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2008.07669}\n}\n","citationPath":"/content/papers/citations/mamba/hippo.b20e3393056b.bib"},"thumbnail":{"src":"/content/papers/assets/0edb34026ecfca3a51cdc9a978386d1f6a0aab6d88e101c0fd44d7a9db21462f.jpg","width":1440,"height":514},"locale":"zh-hant","path":"/content/papers/zh-hant/mamba/hippo.2ef44b6b89d1.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"序列的壓縮表示","text":"序列的壓縮表示","depth":3},{"id":"近似的優劣","text":"近似的優劣","depth":3},{"id":"hippo-框架","text":"HiPPO 框架","depth":2},{"id":"正交多項式與係數投影","text":"正交多項式與係數投影","depth":3},{"id":"轉化為微分方程","text":"轉化為微分方程","depth":3},{"id":"hippo-抽象化","text":"HiPPO 抽象化","depth":3},{"id":"hippo-應用範例","text":"HiPPO 應用範例","depth":3},{"id":"hippo-離散化","text":"HiPPO 離散化","depth":3},{"id":"hippo-低階投影","text":"HiPPO 低階投影","depth":3},{"id":"時間尺度穩健性","text":"時間尺度穩健性","depth":2},{"id":"legs-測度的定義","text":"LegS 測度的定義","depth":3},{"id":"理論特性與優勢","text":"理論特性與優勢","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"長程記憶基準任務","text":"長程記憶基準任務","depth":3},{"id":"時間尺度穩健性-1","text":"時間尺度穩健性","depth":3},{"id":"可擴展性驗證","text":"可擴展性驗證","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/s4","relation":"next","topic":"從狀態空間記憶到視覺序列"}]},{"id":"mamba/mamba","category":"mamba","legacyPath":"mamba/2312-mamba","legacySlug":"2312-mamba","legacyPaths":[],"title":"Mamba","subtitle":"誰是繼承人","author":"Z. Yuan","paperDate":"2023-12-01","publishedOn":"2024-12-25","paperTitle":"Mamba: Linear-Time Sequence Modeling with Selective State Spaces","paperUrl":"https://arxiv.org/abs/2312.00752","bibliography":{"title":"Mamba: Linear-Time Sequence Modeling with Selective State Spaces","authors":["Albert Gu","Tri Dao"],"url":"https://arxiv.org/abs/2312.00752","pdfUrl":"https://arxiv.org/pdf/2312.00752","codeUrl":null,"preprint":{"id":"2312.00752","submittedOn":"2023-12-01","url":"https://arxiv.org/abs/2312.00752"},"publication":{"venue":"COLM","year":2024,"kind":"conference","url":"https://colmweb.org/2024/AcceptedPapers.html"},"citation":"@misc{mambamamba2023,\n  title = {{Mamba: Linear-Time Sequence Modeling with Selective State Spaces}},\n  author = {Albert Gu and Tri Dao},\n  year = {2023},\n  eprint = {2312.00752},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2312.00752}\n}\n","citationPath":"/content/papers/citations/mamba/mamba.5671f143cfd6.bib"},"thumbnail":{"src":"/content/papers/assets/8f6187d5a2a7a17c0687f2ca08ea302601584bb95f5cd5f52927c54d6e76089a.jpg","width":1224,"height":500},"locale":"zh-hant","path":"/content/papers/zh-hant/mamba/mamba.a0eeb5912657.md","headings":[{"id":"定義問題","text":"定義問題","depth":2},{"id":"解決問題","text":"解決問題","depth":2},{"id":"可選擇機制","text":"可選擇機制","depth":3},{"id":"s6-架構","text":"S6 架構","depth":3},{"id":"mamba-架構","text":"Mamba 架構","depth":3},{"id":"再談選擇機制","text":"再談選擇機制","depth":3},{"id":"訓練方法與協定","text":"訓練方法與協定","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"scaling-laws","text":"Scaling Laws","depth":3},{"id":"和其他語言模型的比較","text":"和其他語言模型的比較","depth":3},{"id":"推論效率比較","text":"推論效率比較","depth":3},{"id":"消融實驗-選擇機制","text":"消融實驗-選擇機制","depth":3},{"id":"消融實驗-關鍵參數","text":"消融實驗-關鍵參數","depth":3},{"id":"消融實驗-其他設定","text":"消融實驗-其他設定","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"mamba/s4","relation":"background","topic":"從狀態空間記憶到視覺序列"},{"id":"mamba/vim","relation":"next","topic":"從狀態空間記憶到視覺序列"}]}],"text":"我們想要看個 Mamba，但發現有許多前置任務需要完成，需要補足一些基礎知識。\n\n因此，我們先從 S4 開始。\n\n這篇論文主要為了改進現有的狀態空間模型（State Space Model, SSM）的問題。\n\n說到 SSM，這表示我們又得繼續往前補充 SSM 的相關知識。\n\n\n> [!TIP]\n> \n> 怎麼看個論文像是在玩解謎遊戲？\n\n\n## 狀態空間模型\n\n\n> [!NOTE]\n> \n> 作者也知道讀者們不熟，因此在論文中提供了一些基礎知識，我們一起來看看。\n\n\n狀態空間模型（State Space Model，簡稱 SSM）是一種數學工具，用於描述動態系統的行為。它廣泛應用於控制工程、信號處理、經濟學和近年來的深度學習領域。\n\nSSM 的核心思想是通過內部的「狀態」來描述系統的動態行為。它將外部輸入信號映射到系統的內部狀態，進而生成輸出信號。這種框架能夠捕捉系統隨時間的演化，特別適合處理時間序列數據和動態過程。\n\nSSM 通過兩個核心方程描述系統的行為：\n\n1. **狀態方程（State Equation）**：描述系統狀態隨時間的變化。\n\n   $$\n   \\dot{x}(t) = A x(t) + B u(t)\n   $$\n\n   - **狀態轉移矩陣 $A$**：決定了系統的內在動態，如自然衰減或振盪。\n   - **輸入矩陣 $B$**：決定了輸入如何影響系統狀態。\n\n2. **輸出方程（Output Equation）**：描述如何從狀態獲得輸出。\n   $$\n   y(t) = C x(t) + D u(t)\n   $$\n   - **輸出矩陣 $C$**：決定了哪些狀態對輸出有影響。\n   - **直接傳輸矩陣 $D$**：描述輸入對輸出的直接影響（若存在）。\n\n因此，在給定初始狀態 $x(0)$ 和輸入 $u(t)$ 的情況下，可以解出 $x(t)$ 和 $y(t)$，從而描述系統隨時間的演化。\n\n\n> [!TIP]\n> \n> 看到這裡，我們覺得這跟 RNN 很像，都是處理時序列，而且都有個隱藏狀態。\n\n\n### HiPPO 理論\n\n在過去的研究中，基礎的 SSM 在實際應用中表現不佳，原因線性一階常微分方程的解呈現指數形式，導致隨著序列長度增加，梯度可能指數性地衰減或增大，影響模型的學習能力。這使得 SSM 難以處理涉及長期記憶的序列任務。\n\n\n> [!TIP]\n> \n> 也就是梯度消失或梯度爆炸問題。\n\n\n為了解決問題，LSSL 模型（Linear State Space Layer）引入了 **HiPPO 理論**（High-order Polynomial Projection Operators），該理論專注於連續時間記憶的數學框架。\n\nHiPPO 提出了一類特殊的矩陣 $A \\in \\mathbb{R}^{N \\times N}$，當這些矩陣用於 SSM 的狀態轉移方程時，可以使狀態 $x(t)$ 高效地記憶輸入歷史 $u(t)$ 的信息。\n\nHiPPO 矩陣的數學定義如下：\n\n$$\nA_{nk} =\n\\begin{cases}\n-\\sqrt{\\frac{2n+1}{2k+1}} & \\text{if } n > k \\\\\n-(n+1) & \\text{if } n = k \\\\\n0 & \\text{if } n < k\n\\end{cases}\n$$\n\n- **$n > k$**：定義了不同階數之間的互動。\n- **$n = k$**：表示自反性（自身對自己的影響）。\n- **$n < k$**：則狀態之間無影響。\n\n這種矩陣結構能捕捉輸入歷史在時間上的重要性，並動態地調整記憶的優先級。在 Sequential MNIST 任務中，使用 HiPPO 替換後的模型的準確率從 **60% 提升至 98%**。這表明 HiPPO 理論能有效地解決長期依賴問題，並提升 SSM 在處理序列數據時的表現。\n\n\n> [!TIP]\n> \n> **HiPPO 的直觀理解**\n> \n> HiPPO 矩陣可以被視為一種將歷史訊號壓縮到固定維度的方式，並且在每個時間步上不斷更新這些壓縮信息。例如：\n> \n> - 高階訊號會受到更多關注（例如，近期的輸入比過去更重要）。\n> - 低階訊號會逐漸被淡化，但仍保留有意義的記憶，實現了有效的歷史表示。\n> \n> **那跟 RNN 有什麼區別？聽起來很像是 RNN 的隱藏層？**\n> \n> HiPPO 矩陣基於「連續時間的數學框架」來壓縮和更新輸入的歷史訊號。強調對輸入訊號的動態投影和多階結構化記憶，使用正交基來有效表示過去訊號。而 RNN 隱藏狀態基於「離散的非線性更新規則」，通常由神經網路自己完成，使用激活函數（如 $\\text{tanh}$ 或 $\\text{ReLU}$）來更新隱藏狀態，通過非線性轉換對當前輸入進行編碼。\n> \n> 因此 HiPPO 矩陣「自然地」支持「長期記憶」，尤其是透過正交多項式和特定矩陣設計來保留歷史信息。而 RNN 隱藏狀態則嚴重依賴梯度流，容易受到梯度消失或爆炸的影響，限制了其處理長期依賴的能力。\n> \n> LSTM 和 GRU 是為了解決此問題而設計的變體，通過門控機制保留長期記憶，但這種方法依然需要手工設計的非線性更新規則，效率仍低於 HiPPO 的數學結構化方式。\n\n\n### 離散化\n\nSSM 在處理離散輸入序列 $(u_0, u_1, \\dots)$ 時，需要將連續時間表示的公式離散化，因為輸入 $u_k$ 通常是來自連續信號 $u(t)$ 的離散采樣：\n\n$$\nu_k = u(k\\Delta),\n$$\n\n其中 $\\Delta$ 表示時間步長，連續輸入與離散輸入的關係為 $u_k = u(k\\Delta)$，這表示第 $k$ 個樣本是連續訊號在時間 $k\\Delta$ 的值。\n\n為了實現這一轉換，常用的方法是**雙線性法（bilinear method）**，它將連續狀態矩陣 $A$ 轉換為離散版本 $\\bar{A}$。\n\n離散化後的狀態空間模型表示為：\n\n$$\n\\begin{aligned}\nx_k &= \\bar{A} x_{k-1} + \\bar{B} u_k, \\\\\ny_k &= \\bar{C} x_k,\n\\end{aligned}\n$$\n\n其中：\n\n$$\n\\begin{aligned}\n\\bar{A} &= (I - \\frac{\\Delta}{2} A)^{-1} (I + \\frac{\\Delta}{2} A) \\\\\n\\bar{B} &= (I - \\frac{\\Delta}{2} A)^{-1} \\Delta B \\\\\n\\bar{C} &= C\n\\end{aligned}\n$$\n\n- **$\\bar{A}$** 是離散狀態矩陣，用於描述隱藏狀態的演變。\n- **$\\bar{B}$** 是離散輸入矩陣，描述輸入如何影響狀態。\n- **$\\bar{C}$** 是輸出矩陣，與連續情況相同。\n\n離散化後的公式轉化為序列到序列的映射，將每個時間步的隱藏狀態 $x_k$ 與前一步的狀態 $x_{k-1}$ 相連，類似於遞迴神經網路（RNN）的結構。\n\n$x_k \\in \\mathbb{R}^N$ 可以看作是 RNN 的隱藏狀態，$\\bar{A}$ 為遞迴層的權重矩陣。\n\n\n> [!TIP]\n> \n> **這些公式在做什麼？**\n> \n> 這些公式的目的是將一個連續時間的系統轉換成離散時間的版本，裡面的元素代表：\n> \n> - **$A$**：這個矩陣描述了系統內部狀態如何隨時間變化，就像系統的「自然演變規則」或「內在特性」。你可以理解成沒有外在影響時，系統自己會怎麼改變的規律。\n> - **$B$**：這個矩陣說明了「外部輸入」如何影響系統的狀態，類似於系統接收外部資訊的「通道」或「方式」。它告訴我們，當有輸入訊號時，系統的狀態會發生怎樣的改變。\n> - **$C$**：這個矩陣將系統的「內部狀態」轉換為「可觀察的輸出」。可以把它看作系統的「顯示器」，透過它，我們能夠看到或測量系統狀態所產生的輸出結果。\n> - **$\\Delta$**：這是時間間隔，表示我們每隔多長時間對系統進行一次觀察或更新，例如每秒鐘一次。\n> - **$I$**：這是單位矩陣，相當於在矩陣運算中「不改變」任何東西，主要用於數學計算的便利。\n> \n> 基於上述元素，我們可以拆解公式：\n> \n> - **$\\bar{A}$ 的公式**\n> \n>   $$\n>   \\bar{A} = \\left( I - \\frac{\\Delta}{2} A \\right)^{-1} \\left( I + \\frac{\\Delta}{2} A \\right)\n>   $$\n> \n>   這個公式的目的是將連續時間的狀態變化規則 $A$ 轉換為離散時間的版本 $\\bar{A}$，我們可以這樣理解：\n> \n>   - **$\\left( I + \\frac{\\Delta}{2} A \\right)$**：這部分表示我們根據目前狀態，向前預估了一小步，預測系統會如何改變。\n> \n>   - **$\\left( I - \\frac{\\Delta}{2} A \\right)^{-1}$**：這部分對前面的預估進行修正，校正預測中的誤差，確保結果更準確。\n> \n>   總之就是 $\\bar{A}$ 告訴我們系統狀態如何從前一時刻轉移到下一時刻。\n> \n> - **$\\bar{B}$ 的公式**\n> \n>   $$\n>   \\bar{B} = \\left( I - \\frac{\\Delta}{2} A \\right)^{-1} \\Delta B\n>   $$\n> \n>   這個公式的目的是將輸入矩陣 $B$ 轉換為離散時間下的版本 $\\bar{B}$，以描述輸入如何在每個時間步上對系統狀態產生影響。\n> \n>   首先，$\\Delta B$ 表示在時間間隔 $\\Delta$ 內，輸入對系統的直接影響。\n> \n>   然後，使用 $\\left( I - \\frac{\\Delta}{2} A \\right)^{-1}$ 對這個影響進行調整，考慮到系統本身的動態特性，使得輸入的影響在離散時間下更加準確。\n> \n> - **$\\bar{C} = C$**\n> \n>   輸出矩陣 $C$ 保持不變，因為系統輸出的測量方式在離散化過程中不需要調整。\n> \n> ---\n> \n> 所以我們現學現賣，實際應用一下。\n> \n> 假設你正在開車，汽車的狀態（如速度和位置）會隨時間而改變。\n> \n> 連續時間的公式 $A, B, C$ 描述了汽車在每一刻的動態變化，但我們只能每隔一段時間（$\\Delta$）進行觀察和控制。\n> \n> 1. **$\\bar{A}$**：描述在離散的時間步長下，汽車的內在變化（如慣性和自然減速）如何從上一時刻的狀態演變到下一時刻。\n> 2. **$\\bar{B}$**：描述駕駛者的操作（如踩油門或煞車，作為輸入）如何在每個時間步對汽車的狀態產生影響。\n> 3. **$\\bar{C}$**：描述我們透過速度計或里程表等儀表讀取到的汽車速度或位置，這部分在離散化過程中保持不變。\n> \n\n\n### 卷積表示法\n\n儘管上面的遞迴公式能捕捉序列關係，但每一步的計算需要依賴前一步的結果，導致難以在 GPU 上高效訓練。\n\n所以我們必須將遞迴公式轉換為卷積形式，假設初始狀態 $x_{-1} = 0$，遞迴公式逐步展開：\n\n$$\n\\begin{aligned}\nx_0 &= \\bar{B} u_0, \\\\\nx_1 &= \\bar{A} \\bar{B} u_0 + \\bar{B} u_1, \\\\\nx_2 &= \\bar{A}^2 \\bar{B} u_0 + \\bar{A} \\bar{B} u_1 + \\bar{B} u_2, \\\\\n&\\dots\n\\end{aligned}\n$$\n\n輸出 $y_k$ 為：\n\n$$\ny_k = \\bar{C} x_k,\n$$\n\n即：\n\n$$\ny_k = \\bar{C} \\bar{A}^k \\bar{B} u_0 + \\bar{C} \\bar{A}^{k-1} \\bar{B} u_1 + \\cdots + \\bar{C} \\bar{B} u_k.\n$$\n\n展開後，我們發現這個部分可以被表示為卷積形式：\n\n$$\ny = K * u,\n$$\n\n其中：\n\n$$\nK = (\\bar{C} \\bar{B}, \\bar{C} \\bar{A} \\bar{B}, \\dots, \\bar{C} \\bar{A}^{L-1} \\bar{B}),\n$$\n\n$K$ 就是我們熟悉的卷積核，其描述了系統的輸出如何由輸入通過狀態矩陣傳遞來生成。\n\n## 定義問題\n\n\n> [!TIP]\n> \n> 我們終於可以回到論文本身了，真不容易。\n\n\n作者在一開始就明確指出，這篇論文的核心目標是解決序列模型在處理「長距離依賴(Long-Range Dependencies, LRDs)」問題時的效能瓶頸，特別是現有模型在長序列處理上的計算與記憶需求過高的挑戰。\n\n目前大多數的序列模型只能有效處理「幾千個時間步長」，但現實世界的時間序列數據往往需要對「數萬個時間步長」進行推理。例如，Path-X 任務中的序列長度為 16384，現有模型在這樣的長距場景（LRA）基準測試上表現非常差，甚至只能達到隨機猜測的水平。\n\n雖然傳統的模型，像是 CTMs、RNNs、CNNs 和 Transformers，都提出了專門設計的變體以應對 LRD，例如正交 RNNs、擴張卷積、以及高效 Transformers 等，但這些方法仍在困難的基準測試（如 LRA 和原始音頻分類）上表現不佳。\n\n除了學術界主流的技術之外，SSM 雖然有理論上的潛力，但長期以來難以應用於深度學習，原因包括：\n\n- 深層 SSM 雖然理論上能處理 LRD，但在實際任務中表現有限。\n- 線性狀態空間層（LSSL）雖然能統一 CTM、RNN 和 CNN 的優勢，並展示了解決 LRD 的潛力，但由於其計算和記憶需求過高，而且實際應用中表現出數值不穩定性，尤其是矩陣 $A$ 的高度非正規性，使得傳統算法難以穩定應用。\n\n為了解決上述挑戰，作者提出了一種「結構化狀態空間模型」，稱為 S4。\n\n目標是通過對狀態矩陣 $A$ 的重新參數化與頻率域的生成函數計算，顯著降低計算複雜度與記憶需求，同時在數值上保持穩定性。\n\n## 解決問題\n\n在離散時間狀態空間模型（SSM）中，若直接進行計算涉及矩陣 $A$ 的多次相乘，這是計算的主要瓶頸：\n\n- **時間複雜度**：對於序列長度 $L$，計算公式需要 $O(N^2L)$ 次操作。\n- **空間複雜度**：存儲隱藏狀態需要 $O(NL)$ 空間。\n\n在這裡，作者透過對角化將矩陣 $A$ 轉化為更結構化的形式，簡化計算。\n\n\n> [!TIP]\n> \n> **對角化**（Diagonalization）是一種將矩陣轉換為簡單形式的數學操作。\n> \n> 它的目的是將一個矩陣 $A$ 表示為以下形式：\n> \n> $$\n> A = V \\Lambda V^{-1}\n> $$\n> \n> 其中：\n> \n> - **$\\Lambda$** 是一個對角矩陣，對角線以外的元素為 0。\n> - **$V$** 是由 $A$ 的特徵向量構成的矩陣。\n> - **$V^{-1}$** 是 $V$ 的逆矩陣。\n> \n> 對角化的好處在於，對角矩陣的計算（例如乘法、求冪）非常高效，可以簡化許多複雜運算。\n> \n> 假設我們需要計算矩陣 $A$ 的高次冪 $A^{10}$。\n> \n> - 如果直接計算：需要進行 9 次矩陣乘法。\n> - 如果 $A$ 已對角化：\n>   $$\n>   A^{10} = (V \\Lambda V^{-1})^{10} = V \\Lambda^{10} V^{-1}.\n>   $$\n>   - 由於 $\\Lambda$ 是對角矩陣，計算 $\\Lambda^{10}$ 只需對各對角元素求十次方。\n>   - 最後只需做兩次矩陣乘法（與 $V$ 和 $V^{-1}$）。\n> \n> 對角化可以極大地降低矩陣高次運算的計算成本，尤其在大型矩陣或頻繁運算的情境中，對角化是數值優化的重要工具。\n\n\n給定狀態空間模型 $(A, B, C)$，共軛變換為 $(V^{-1}AV, V^{-1}B, CV)$。\n\n若能穩定地將 $A$ 對角化，計算卷積核 $K$ 可化為 Vandermonde 矩陣與向量的乘積，理論上需 $O((N + L) \\log^2(N + L))$ 次運算；這正是作者先考慮、再檢查數值穩定性的方向。\n\n但對於 HiPPO 矩陣，直接對角化存在數值不穩定問題，因為對角化矩陣 $V$ 的元素大小呈指數增長，導致數值計算不可行。\n\n### S4 參數化：正規加低秩\n\n原文為 **Normal Plus Low-Rank**，簡稱 NPLR。\n\n在先前的討論中，作者得出結論：應該僅使用條件良好的矩陣 $V$ 進行共軛變換。理想情況下，矩陣 $A$ 可被酉矩陣（條件數為 1）對角化。\n\n根據線性代數的譜定理，滿足此條件的矩陣為正規矩陣，即滿足 $AA^* = A^*A$ 的矩陣。 然而，這一類矩陣的範圍有限，特別是 HiPPO 矩陣不屬於此範疇。\n\n儘管 HiPPO 矩陣不是正規矩陣，但可以分解為「正規矩陣」與「低秩矩陣」的和。 直接利用這種分解進行計算並不高效，因為對此分解求矩陣冪次仍然速度較慢且難以優化。\n\n為克服上述問題，作者同時應用了以下三種技術：\n\n- **技術一：透過生成函數求譜**\n  - 不直接計算 $K$，而是利用其截斷生成函數 $\\sum_{j=0}^{L-1} K_j \\zeta^j$，在單位根 $\\zeta$ 上進行計算後，透過逆快速傅里葉變換 (Inverse FFT) 得到 $K$。\n- **技術二：利用矩陣 resolvent 和 Woodbury 等式**\n  - 將生成函數中的矩陣運算轉化為矩陣的逆運算，而非高次冪。\n  - 使用 Woodbury 等式將 $(A + P Q^*)^{-1}$ 表達為 $A^{-1}$ 的形式，有效簡化至對角矩陣的計算。\n- **技術三：等價於 Cauchy 核的計算**\n  - 對角矩陣情況可轉化為計算 Cauchy 核 $\\frac{1}{\\omega_j - \\zeta_k}$，這是一個穩定且接近線性時間的問題，已有有效演算法。\n    - [**[13.03] Transformations of Matrix Structures Work Again**](https://arxiv.org/abs/1303.0353)\n    - [**[15.06] Fast Approximate Computations with Cauchy Matrices and Polynomials**](https://arxiv.org/abs/1506.02285)\n\n上述技術適用於所有可以分解為正規加低秩 (NPLR) 的矩陣。\n\n到這裡，作者提出了本篇論文的第一個定理：\n\n- **定理 1：HiPPO 矩陣的 NPLR 表示**\n\n  所有 HiPPO 矩陣（如 HiPPO-LegS, LegT, LagT）均具有以下形式的 NPLR 表示：\n\n  $$\n  A = V \\Lambda V^* - P Q^\\top = V (\\Lambda - (V^*P) (V^*Q)^*) V^*\n  $$\n\n  其中，$V \\in \\mathbb{C}^{N \\times N}$ 是酉矩陣，$\\Lambda$ 是對角矩陣，$P, Q \\in \\mathbb{R}^{N \\times r}$ 是低秩修正項的因子；對這裡的 LegS、LegT、LagT，$r$ 為 1 或 2。\n\n### S4 計算複雜度\n\nNPLR 矩陣可以轉化為對角加低秩矩陣形式（DPLR），但需注意其元素由 $\\mathbb{R}$ 擴展到 $\\mathbb{C}$。\n\n當矩陣 $A$ 表示為 DPLR 形式時，S4 在遞迴與卷積運算上皆達到最佳或近最佳的計算效率。\n\n- **S4 遞迴計算的定理與效率**\n\n  - **定理 2：S4 遞迴公式的運算效率**\n\n    經過證明，給定任意步長 $\\Delta$，遞迴公式 (3) 中每一步的計算可在 $O(N)$ 的運算量內完成，其中 $N$ 為狀態維度大小。\n\n- **S4 卷積計算的定理與效率**\n\n  - **定理 3：S4 卷積濾波器的運算效率**\n\n    經過證明，給定任意步長 $\\Delta$，SSM 的卷積濾波器 $K$ 的計算可歸約為 4 次 Cauchy 矩陣乘法，僅需 $\\tilde{O}(N + L)$ 的運算量與 $O(N + L)$ 的空間。\n\n\n> [!TIP]\n> \n> 證明的部分請讀者自行翻閱論文，內容實在太多了。\n\n\n定理 3 是本研究的核心技術貢獻，其演算法體現了 NPLR S4 參數化的設計動機，完整算法流程如下：\n\n\n\n![algo1](/content/papers/assets/e29d2b995692fccfae496d3ae66b926b8867080cf757ac821e82476af4de8a81.jpg)\n\n\n\nS4 在遞迴運算上達到線性複雜度 $O(N)$，在卷積運算上達到 $\\tilde{O}(N + L)$，兼具高效與穩定性，為 SSM 計算奠定了理論與實用基礎。\n\n### S4 層的架構細節\n\n在初始化時，S4 層的狀態空間模型 (SSM) 的矩陣 $A$ 被設置為 HiPPO 矩陣，並根據「定理 1」，該 SSM 與 $(\\Lambda - P Q^*, B, C)$ 單位等價。這些參數組成了 S4 層的 $5N$ 個可訓練參數。\n\n深度 SSM 由 $H$ 個各有參數的 SSM 複本組成，再透過逐位置線性層混合特徵。這樣的設計使 S4 層能處理多維特徵；層與層之間另加入非線性激活，形成深度網路。\n\n整體架構提供的輸出形狀與其他序列模型（如 Transformers、RNNs、CNNs）一致，為（batch size, sequence length, hidden dimension）。\n\n對比其他模型，S4 和卷積神經網路 (CNN) 有著相似的特點，本身是線性變換，但透過多層結構中的非線性轉換，整體深度 SSM 變為非線性。此外，S4 層中跨 $H$ 特徵的廣播處理方式與深度可分離卷積 (Depthwise-Separable Convolution) 相似，但 S4 的卷積核是全局性的。\n\n下表提供了 S4 層與其他序列模型的計算複雜度比較：\n\n\n\n![table1](/content/papers/assets/888db61b6c722ecf0060092b3cc4269edcd723c5f15f180d70c33eb2f6390b60.jpg)\n\n\n\n## 討論\n\n### 效率基準測試\n\n\n\n![efficiency](/content/papers/assets/148289469e1bd813ce2d4e8aa2a288ba55aefff77b5aee85204622cdacf62c44.jpg)\n\n\n\n作者為了評估 S4 的訓練速度和資源效率，進行了效率基準測試，首先是與 LSSL 進行比較。\n\n上表的層級測試顯示，維度 128、256、512 時 S4 的訓練步時間分別快 1.9、6.7、29.6 倍，配置記憶體則少 42、133、392 倍；增益會隨維度改變。\n\n接著，作者將 S4 與 Linear Transformer 和 Performer 等高效 Transformer 模型進行比較，結果如下表所示。在參數量匹配、長度 4096 的設定下，S4 相對普通 Transformer 的速度與記憶體比值為 5.19 倍與 0.091 倍，與 Linear Transformer 的 5.35 倍與 0.067 倍接近。\n\n\n\n![transformer](/content/papers/assets/5cd0dd1969d68618bf02a3d00f75998872a2e02ae7003b04483353ed6f69e8ed.jpg)\n\n\n\n### 長距離推理之穩定性\n\n\n\n![lra](/content/papers/assets/21684fb491abe8e2e5aadec8104233ac94fc9b23973bcaf610707259e7ae0e81.jpg)\n\n\n\n作者進一步探討了 S4 在長距離推理上的穩定性，對比了 S4 和其他模型在 LRA 和原始語音分類等挑戰性任務上的表現。\n\nS4 在 LRA 上的表現高於表中基準模型。原始實驗平均為 80.48%；此處圖片採論文後來更新的 Table 2，S4 平均為 86.09%、Path-X 為 96.35%，而表中其他模型的平均均低於 60%。這兩組數字對應不同實驗版本，不能混作同一列結果。\n\nS4 在 SC10 的原始語音（長度 16000）欄達到 98.32% 準確率，高於表中的原始語音基線，也高於各模型使用較短 MFCC 特徵時的成績。這是此任務的比較結果。\n\n### 可視化分析\n\n\n\n![visualization](/content/papers/assets/86eedb9a9143dff790f0e1e5af878b5b3eb93e2b6ea2d3c788567363967af802.jpg)\n\n\n\n作者透過可視化 S4 的學習表示，進一步分析其性能。\n\n上圖展示了經訓練的 S4 模型在 LRA Path-X 任務中的表現。將 SSM 的卷積核 $K \\in \\mathbb{R}^{16384}$ 重塑為 $128 \\times 128$ 的圖像進行可視化。\n\n左側的圖是 Path-X 任務的一個範例，該任務要求模型判斷兩個標記點是否通過一條路徑相連。\n\n頂部兩列是 S4 第一層的卷積核，主要呈現少量行的局部模式。\n\n底部兩列是最後一層的卷積核，圖中出現跨越整個 16384 像素序列、沿欄變化的結構與不同空間頻率。\n\n這張圖顯示部分學得的卷積核有二維空間結構；模型能否處理長距依賴，仍要連同上方 Path-X 測試結果判斷。\n\n### 可以作為通用模型嗎？\n\n作者為了探討 S4 是否可以作為通用序列模型，進行了一系列實驗。\n\n**圖像生成：CIFAR 密度估計**\n\n\n\n![cifar](/content/papers/assets/1ff921c0257b6a51813746de55f54b3ea32fe894577fd5d6ba871aaa3dc8b33c.jpg)\n\n\n\nCIFAR 密度估計是一個流行的自回歸圖像建模基準。將圖像展平為包含 3072 個 RGB 子像素的序列，逐個子像素進行預測。\n\n結果顯示，S4 large 沒有 2D 結構性偏置，仍得到 2.85 bpd，與 PixelSNAIL 的 2.85 相同，但不及 Sparse Transformer 的 2.80；S4 base 的 2.92 bpd 較差，圖中生成速度也須分別看待。\n\n---\n\n**文本生成：WikiText-103**\n\n\n\n![wikitext](/content/papers/assets/768837f5a54acda275d8e8d8c7114f485477a4cd5ea826317b9dd733fa69bdc3.jpg)\n\n\n\nWikiText-103 是語言建模的經典基準，要求模型基於上下文順序預測序列中的詞元。\n\n結果顯示，S4 以 S4 層替換 Transformer 的自注意力層，測試 ppl 為 20.95，與表中 Transformer 的 20.51 差 0.44；表中其他無注意力模型最低為 23.3。生成吞吐量分別為 48K 與 0.8K token／秒，但這是論文所述測試設定下的速度。\n\n---\n\n**時間序列預測：氣象數據**\n\n![timeseries](/content/papers/assets/1a205cb532231780e434e22c2ad7d401818c142f9bb897718d0183bc7518e20b.jpg)\n\n將 S4 應用於時間序列預測問題，與專為該任務設計的 Informer 進行比較。\n\n結果顯示，作者在附錄的 5 項預測任務、50 個設定中報告 S4 有 40 個設定優於對照方法。以 Weather 預測 720 步（30 天）為例，MSE 為 0.245，低於 Informer 的 0.359，約降 31.8%；原文所稱 37% 對不上這兩欄，較接近與 LogTrans 0.388 比較的差距。\n\n---\n\n從多項實驗中，S4 展現出作為通用序列模型的潛力，在圖像、文字與時間序列任務都有可比較的結果。生成速度與改變取樣率的能力各有其測試條件，仍需要結合具體任務判斷。\n\n### HiPPO 的重要性\n\nS4 的關鍵設計之一是使用 HiPPO 矩陣初始化 SSM。\n\n最後作者透過消融實驗驗證各組件的重要性，嘗試解答以下問題：\n\n1. HiPPO 初始化的重要性如何？\n2. 在 HiPPO 基礎上訓練 SSM 是否必要？\n3. S4 的效益是否僅來自 NPLR 參數化，而與 HiPPO 無關？\n\n這組消融實驗都在 Sequential CIFAR-10 上進行，模型最多使用 100K 可訓練參數，以驗證集停滯為條件調整學習率；前兩組不使用正則化，最後一組另加 0.1 Dropout。這些結果仍以此任務與模型規模為限。\n\n---\n\n**實驗 1：無約束的 SSM 初始化**\n\n![exp1](/content/papers/assets/a07467449f3068da9e7444c056302697a090fd3f0c37a28c263dd52dd2a34eec.jpg)\n\n- **對比初始化方法**\n\n  - **隨機 Gaussian 初始化**：以隨機高斯分佈初始化矩陣 $A$。\n  - **HiPPO 初始化**：使用 HiPPO 矩陣初始化。\n  - **隨機對角矩陣**：將 $A$ 設為隨機對角矩陣，但未使用 S4 的 NPLR 參數化。\n  - 對上述初始化方法，分別比較凍結與訓練 $A$ 矩陣的效果。\n\n  圖中的實線（訓練 $A$）在三種初始化下都優於虛線（凍結 $A$），隨機初始化的差距尤其明顯。\n\n  不同初始化方法在驗證集上的表現差異明顯。即使三種**訓練 $A$** 的模型在訓練集上都接近滿分，驗證集準確率仍相差超過 **15 個百分點**，其中 HiPPO 初始化最高。\n\n---\n\n**實驗 2：NPLR 參數化與 HiPPO 的結合**\n\n\n\n![exp2](/content/papers/assets/6beeb4c6cb71b9dd2029ed7ee1d29148e8c219b47c442006ec17f54bf13bcec4.jpg)\n\n\n\n檢驗 HiPPO 初始化是否為 S4 成效的主要來源，而非僅僅來自 NPLR 參數化。\n\n實驗結果如上圖所示，在同一 NPLR 參數化下，隨機初始化的驗證集曲線低於 HiPPO 初始化；這支持 HiPPO 初始化對此消融設定的作用。\n\n---\n\n#### **實驗 3：正則化與完整 S4 方法的性能**\n\n\n\n![exp3](/content/papers/assets/4855bb6c12483510cdfaad3c112fc8e6d2af4c9c6ce4200552222ff1bb49911b.jpg)\n\n\n\n在主消融實驗中加入輕量正則化（Dropout = 0.1），比較 HiPPO 初始化的 S4 與其他初始化方法的性能。\n\n圖中是加入 0.1 Dropout 後的**驗證集**曲線，HiPPO 初始化仍最高；另據論文正文，完整 S4 在**測試集**達到 **84.27%** 準確率，模型最多使用 100K 可訓練參數。\n\n## 結論\n\n作者在這篇論文中提出了「S4」序列模型，透過對狀態空間模型 (SSM) 的參數化創新，結合連續時間、遞迴和卷積視角，有效且有理地處理長距依賴 (LRD) 問題。\n\n在一系列基準測試中，S4 在多種數據模態和模型能力評估上均表現出色，顯示其作為通用序列建模解決方案的潛力，具有廣泛的應用價值和研究意義。\n\n\n> [!TIP]\n> \n> 這篇論文對我們來說較為艱澀，我們努力讀完之後仍然不能理解得十分透徹。\n> \n> 對於 S4 的具體實現和技術細節，未來我們需要更深入的研究和實踐。\n","imageSizes":{"/content/papers/assets/e29d2b995692fccfae496d3ae66b926b8867080cf757ac821e82476af4de8a81.jpg":{"width":1224,"height":368},"/content/papers/assets/888db61b6c722ecf0060092b3cc4269edcd723c5f15f180d70c33eb2f6390b60.jpg":{"width":1224,"height":296},"/content/papers/assets/148289469e1bd813ce2d4e8aa2a288ba55aefff77b5aee85204622cdacf62c44.jpg":{"width":960,"height":332},"/content/papers/assets/5cd0dd1969d68618bf02a3d00f75998872a2e02ae7003b04483353ed6f69e8ed.jpg":{"width":796,"height":368},"/content/papers/assets/21684fb491abe8e2e5aadec8104233ac94fc9b23973bcaf610707259e7ae0e81.jpg":{"width":1224,"height":424},"/content/papers/assets/86eedb9a9143dff790f0e1e5af878b5b3eb93e2b6ea2d3c788567363967af802.jpg":{"width":1224,"height":424},"/content/papers/assets/1ff921c0257b6a51813746de55f54b3ea32fe894577fd5d6ba871aaa3dc8b33c.jpg":{"width":912,"height":508},"/content/papers/assets/768837f5a54acda275d8e8d8c7114f485477a4cd5ea826317b9dd733fa69bdc3.jpg":{"width":824,"height":464},"/content/papers/assets/1a205cb532231780e434e22c2ad7d401818c142f9bb897718d0183bc7518e20b.jpg":{"width":1552,"height":304},"/content/papers/assets/a07467449f3068da9e7444c056302697a090fd3f0c37a28c263dd52dd2a34eec.jpg":{"width":1758,"height":444},"/content/papers/assets/6beeb4c6cb71b9dd2029ed7ee1d29148e8c219b47c442006ec17f54bf13bcec4.jpg":{"width":872,"height":432},"/content/papers/assets/4855bb6c12483510cdfaad3c112fc8e6d2af4c9c6ce4200552222ff1bb49911b.jpg":{"width":876,"height":444}}}
