DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
- 発表先
- Nature 2025学術誌
- arXiv への初回投稿
- arXiv:2501.12948
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{deepseekdeepseekr12025,
title = {{DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning}},
author = {DeepSeek-AI},
year = {2025},
eprint = {2501.12948},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2501.12948v1}
}
この論文をきちんと読むために、先に DeepSeek の前 3 世代のアーキテクチャを振り返る必要がありました。
どの論文もかなり分厚く、今振り返っても、読み切るだけでなかなか大変でした。
問題設定
OpenAI の o1 シリーズは、推論段階で Chain-of-Thought を長く使うアプローチを前面に出し、複雑な推論タスクで大きな性能向上を示したことで注目を集めました。
以前から、「過程報酬モデル」「強化学習」「探索アルゴリズム(モンテカルロ木探索や Beam Search など)」を使ってモデルの推論能力を改善しようとする研究はありましたが、o1 シリーズのような総合的な理論推論能力には届いていませんでした。
では、そこで終わりにするのか?
もちろん、そうはなりません。
DeepSeek の研究チームはこの論文で、純粋な強化学習だけで言語モデルの推論能力を引き上げられるかを初めて本格的に試しています。推論タスクの SFT によるコールドスタートを使わず、事前学習済みの DeepSeek-V3-Base に数千回の RL ステップを施して最初のモデルを作りました。それが DeepSeek-R1-Zero です。
では、これで問題は解決したのか。
まだです。
本当の話は、DeepSeek-R1-Zero のあとから始まります。
問題の解決
DeepSeek-R1-Zero
まず、DeepSeek-V3-Base をベースモデルとして使い、監督微調整を飛ばして、いきなり強化学習をかけます。
RL の学習コストを抑えるために、この論文では GRPO を採用しています。これは、方策モデルと同規模の critic を持たず、同じ質問に対する回答群の報酬から基準線を推定する方法です。
GRPO の狙いは、モデル自身に「よりよい答えを出すにはどうすればいいか」を学ばせることです。流れを簡単に整理すると次のようになります。
-
1. 旧モデルから複数の答えを生成する
-
各問題 に対して、旧方策 を使って答えの集合
を生成します。ここで は答えの数です。
-
-
2. 各答えの優位性 を計算する
各答え には報酬 が与えられます。
どの答えが平均より良かったかを比較するため、論文では優位性 を次のように定義しています。
これは、ある答えが平均との差でどれだけ優れていたかを、標準偏差で正規化して表したものです。
-
3. 新モデルを最適化する
新しいモデル が、より高得点な答えを出しやすくなるように学習させます。
そのための目的関数は次のとおりです。
見た目は大変そうですが、要点はそこまで複雑ではありません。
-
確率比 は、新モデルが答え を出す確率が旧モデルと比べてどれだけ変わったかを表します。
-
優位性 を掛ける 平均より良かった答えほど、その答えを出しやすくする方向に更新したいわけです。
-
clip 操作 確率比の変化が更新目標に与える影響を抑えるため、比率を に切り詰めた項と、切り詰めない項の小さい方を使います。 はハイパーパラメータです。更新に「安全ベルト」を付けるイメージですが、実際の確率比が常にこの範囲内に収まるという保証ではありません。
-
KL 散度のペナルティ によって、参照モデルから大きく逸脱しすぎないようにします。
論文はサンプルされた回答に対して次の KL ペナルティ推定式を使います。全回答分布を列挙した厳密な KL 値ではありません。
-
要するに、 を最大化することで、新モデルは「報酬の高かった答えを出しやすくしつつ、急に壊れない範囲で更新する」ように学びます。
報酬は強化学習における学習信号であり、最適化の方向そのものを決めます。
この論文では、ルールベースの報酬系を採用しています。主に次の 2 種類です。
- 正確性報酬:回答が正しいかどうかを評価する。たとえば数学では、特定形式で最終答えを出させることでルールベースに検証できる。LeetCode 系の問題であれば、コンパイラとテストケースで確認可能。
- フォーマット報酬:思考過程を
<think>と</think>に入れさせ、出力形式を一定に保つ。
DeepSeek-R1-Zero の学習時には、まず推論過程を出し、そのあと最終答えを出すというシンプルなテンプレートを使っています。
これは出力構造だけを制限し、内容面で特定の解法や反省スタイルを強制しない設計です。つまり、RL の中でモデルがどう自然に進化するかを観察したいわけです。
次の図では、DeepSeek-R1-Zero の AIME 2024 における平均 pass@1 が初期の 15.6% から 71.0% に上がり、OpenAI-o1-0912 の 74.4% に近づきます。赤線は 16 回のサンプリングによる多数決です。論文の別の表では、64 回のサンプリングによる cons@64 が 86.7% で、同じ指標の OpenAI-o1-0912 の 83.3% を上回ります。
訓練が進むにつれ、学習セットにおける平均応答長は長くなります。次の図が示すのはその変化です。テスト時にもより長い推論文を生成するようになりますが、反省や別解の探索が増えたかどうかは具体的な出力を見る必要があり、長さの曲線だけでは判断できません。
訓練中、著者は中間段階のモデルに「Aha Moment」と呼ぶ出力を観察しました。最初の解法を見直す文章が現れた例です。反省を明示的に指示しない RL でも、このような文章が生じうることに注目しています。
論文中には、その例も載っています。
ここから読み取れるポイントは次の通りです。
-
問題と初期推論
たとえば「 のとき、方程式 の実数解の和は何か」という問題に対し、モデルはまず平方して根号を外し、多項式形へ変形しようとします。
-
途中での疑問と再考
推論途中で、モデルは突然こう言います。
- "Wait, wait. Wait. That’s an aha moment I can flag here."
このあと出力は元の方程式に戻り、途中の導出を確認し直します。著者はこの出力を Aha Moment と呼びますが、抜粋からは実際に誤りを見つけたとまでは分かりません。
-
Aha Moment の意味
- 再確認:元の問題と導出をもう一度書き出し、先ほどの文章をそのまま続けてはいません。
- 観察範囲:これは中間モデルの一つの出力例で、反省が起きる頻度や正答率への寄与は、この例だけでは分かりません。
- 表現の仕方:人間のような「Aha Moment」という語り口は、出力の文体を示します。
この例は生成された推論の自己確認を示します。能力向上の根拠には、AIME などの評価結果も合わせて見る必要があります。
DeepSeek-R1
DeepSeek-R1-Zero の可読性や言語混在の問題を改善するため、研究チームは人間らしい cold start データを補助に用いた DeepSeek-R1 を導入しました。
要するに、推論能力を維持したまま、構造が明確で読みやすい出力に持っていくための多段階学習パイプラインです。
DeepSeek-R1 の学習は 4 段階に分かれます。
-
Cold Start
DeepSeek-R1-Zero と違って、ベースモデルからいきなり RL に入ると初期不安定性が大きくなります。
そこでまず、少量の高品質な長い CoT データを集め、DeepSeek-V3-Base を微調整し、安定した RL の初期値を作ります。
データ収集方法は主に次の通りです。
- Few-shot プロンプト:長い CoT の例を見せて、詳細な推論過程を模倣させる。
- 直接プロンプト生成:反省や検証を促すプロンプトを設計し、より整理された回答を出させる。
- 良質な出力の抽出:DeepSeek-R1-Zero の出力から、言語的に流暢で読みやすいものを選ぶ。
- 人手での後処理:最終的に人手で整え、不適切な出力や混乱した出力を除去する。
可読性を確保するため、出力形式も固定しています。
|special_token|<reasoning_process>|special_token|<summary>
<reasoning_process> は詳細な推論、<summary> はその要約です。完全な思考過程を残しつつ、読者が要点もすぐ掴めるようにしています。
-
推論指向 RL
Cold Start で安定化させたあと、本格的な RL を行います。目的は、数学・コード・科学・論理のような推論タスクをさらに強化することです。
-
大規模 RL の開始 微調整済み DeepSeek-V3-Base を土台に、DeepSeek-R1-Zero と同様の GRPO 系手法で学習を継続します。
-
言語混在への対処 RL プロンプトが多言語になると、モデルが言語を混ぜる傾向が出ました。そこで、CoT 内で目標言語の語彙比率に基づく「言語一致報酬」を導入します。
-
- 最終報酬設計 推論の正確性報酬と言語一致報酬を加算し、最終的な訓練信号とします。
-
拒否サンプリングと監督微調整
推論指向 RL が収束したあと、さらに高品質な監督データを作り、2 回目の微調整を行って汎用タスク性能を上げます。
データは 2 種類あります。
-
推論データ
- RL モデルから複数の候補を生成し、拒否サンプリングで正しい推論過程を選ぶ。ルールで判定できない一部の題目では、正解と生成結果を DeepSeek-V3 に渡す生成型の報酬判定も用いる。
- 言語混在、段落過長、コードブロックを含む出力は除外する。
- 最終的に約 60 万件の推論サンプルを収集する。
-
非推論データ
- 執筆、事実 QA、自己認識、翻訳などを含み、DeepSeek-V3 の教師ありデータの一部を再利用する。
- 一部のタスクでは潜在 CoT を出してから最終回答を生成させる。簡単な質問には CoT を付けない。
- こちらは約 20 万件。
合わせて約 80 万件のデータで、DeepSeek-V3-Base を 2 epoch 監督微調整します。
-
-
全シナリオ強化学習
最後に、モデルをより実用的にするため、推論タスクだけでなく広いシーンを対象に第 2 段階の RL を行います。有用性と安全性の両方を改善するのが狙いです。
推論データには引き続きルールベース報酬を使い、一般データには報酬モデルを使います。有用性の評価は最終要約だけを見て推論過程への干渉を抑え、安全性の評価は推論過程と要約を含む回答全体を見ます。
こうして、強い推論能力を保ちながら、より人間にとって使いやすい出力へ調整していきます。
この段階の後に分野ごとのテストを行います。
考察
評価結果
上の表は、DeepSeek-R1 の各種ベンチマークにおける評価結果です。分野ごとに見ていきましょう。
-
英語の知識と推論タスク
-
MMLU、MMLU-Redux、MMLU-Pro これらは学術分野や一般知識の質問に答える能力を見る指標です。
- MMLU (Pass@1): DeepSeek-R1 は 90.8。DeepSeek-V3 の 88.5 より高いものの、OpenAI-o1-1217 の 91.8 には届きません。
- MMLU-Redux (EM): 正解と完全一致するかを測ります。DeepSeek-R1 は 92.9、DeepSeek-V3 は 89.1 です。OpenAI-o1-1217 の値は表にありません。
- MMLU-Pro (EM): より難しい多分野の問題で、DeepSeek-R1 は 84.0、DeepSeek-V3 は 75.9 です。著者は STEM 問題の正答率向上を、大規模 RL による知識テスト改善の主な理由と見ています。
-
DROP (3-shot F1) と IF-Eval (Prompt Strict)
- DROP: 読解や数値推論を測る課題で、DeepSeek-R1 は 92.2 F1 です。
- IF-Eval: 指示された形式に従えるかを測ります。DeepSeek-R1 は 83.3 で、DeepSeek-V3 の 86.1、GPT-4o の 84.3 を下回ります。
-
GPQA Diamond と SimpleQA
- GPQA Diamond (Pass@1): 専門的な知識問題で、DeepSeek-R1 は 71.5。DeepSeek-V3 の 59.1 を上回り、OpenAI-o1-1217 の 75.7 を下回ります。
- SimpleQA (Correct): 事実に関する短い質問で、DeepSeek-R1 は 30.1。DeepSeek-V3 の 24.9 より高いものの、GPT-4o の 38.2 と OpenAI-o1-1217 の 47.0 には届きません。中国語の C-SimpleQA とは別のテストです。
-
FRAMES、AlpacaEval2.0、ArenaHard これらはそれぞれ長い文脈での質問応答と、自由形式の回答を評価します。
- FRAMES (Acc.): DeepSeek-R1 は 82.5 で、DeepSeek-V3 の 73.3 と GPT-4o の 80.5 を上回ります。長い文脈を使った質問応答に関する結果です。
- AlpacaEval2.0 (LC-winrate) と ArenaHard (GPT-4-1106): どちらもモデルによる回答評価を使い、前者は回答長を調整した勝率を報告します。DeepSeek-R1 はそれぞれ 87.6% と 92.3% で、DeepSeek-V3 の 70.0% と 85.5% を上回ります。
-
-
コード生成タスク
-
LiveCodeBench (Pass@1-CoT) と Codeforces コード生成やアルゴリズムを用いた問題解決を評価します。
- LiveCodeBench: DeepSeek-R1 は 65.9 で、連鎖的な推論を伴うコード課題でも高い成績を示します。
- Codeforces (Percentile と Rating): DeepSeek-R1 は 96.3 パーセンタイル、Rating 2029。OpenAI-o1-1217 の 96.6、2061 に近い値です。論文が選んだ Div.2 の 10 大会の問題とテストケースから換算した結果です。
-
エンジニアリングに近い指標
- SWE-bench Verified (Resolved): DeepSeek-R1 は 49.2。OpenAI-o1-1217 の 48.9 と近く、Claude-3.5-Sonnet の 50.8 より低い値です。
- Aider-Polyglot (Acc.): 多言語のコード編集課題で、DeepSeek-R1 の 53.3 は OpenAI-o1-1217 の 61.7 に届きません。
-
-
数学タスク
- AIME 2024、MATH-500、CNMO 2024
数学的な推論と解答を評価する指標です。
- AIME 2024 (Pass@1): DeepSeek-R1 は 79.8 で、OpenAI-o1-1217 と同程度です。
- MATH-500 (Pass@1): DeepSeek-R1 は 97.3。OpenAI-o1-1217 の 96.4 に近く、DeepSeek-V3 の 90.2 を上回ります。
- CNMO 2024 (Pass@1): DeepSeek-R1 は 78.8、DeepSeek-V3 は 43.2 です。OpenAI-o1-1217 の値は表にありません。
- AIME 2024、MATH-500、CNMO 2024
数学的な推論と解答を評価する指標です。
-
中国語タスク
- CLUEWSC、C-Eval、C-SimpleQA
中国語の評価でも競争力があります。
- CLUEWSC (EM): DeepSeek-R1 は 92.8 です。
- C-Eval (EM): DeepSeek-R1 は 91.8 です。
- C-SimpleQA (Correct): DeepSeek-R1 は 63.7 で、DeepSeek-V3 の 68.0 を下回ります。著者は安全性 RL 後の回答拒否を主因と考え、その段階を外すと 70% を超えると述べています。ただし、その値は表には載っていません。
- CLUEWSC、C-Eval、C-SimpleQA
中国語の評価でも競争力があります。
MMLU、MMLU-Pro、GPQA Diamond といった知識テストでは、DeepSeek-R1 が DeepSeek-V3 を上回ります。著者は STEM 問題の改善を大規模 RL に関連づけていますが、R1 には cold start とその後の SFT もあるため、この表だけで RL 単独の寄与は測れません。
FRAMES は長い文脈での質問応答、AlpacaEval2.0 と ArenaHard は自由形式の回答をモデルが評価する指標です。それぞれの設定で R1 は V3 を上回り、著者は後半の訓練に使った指示追従データの効果を考えています。ただし、この表から各訓練段階の効果を分離することはできません。
AIME 2024 と MATH-500 では OpenAI-o1-1217 に近く、LiveCodeBench では少し上回ります。Codeforces の 96.3 パーセンタイルと Rating 2029 は相手より少し低い値です。一方、Aider などのエンジニアリング寄りのコード課題には改善の余地があり、著者は今後の方向として関連する RL データを増やすと述べています。
モデルによる自由回答の評価には最終要約だけを渡しています。その平均長は ArenaHard で 689 token、AlpacaEval2.0 で 2,218 文字です。AlpacaEval2.0 は回答長を調整した勝率を報告します。
全体として、DeepSeek-R1 は大規模 RL と多段階の訓練を経て、知識、数学、コード、中国語の複数の指標で DeepSeek-V3 を上回ります。R1-Zero の学習曲線は、基盤モデルから直接 RL を行った証拠です。一方、R1 の分野横断的な結果は訓練工程全体の成果であり、RL だけに帰することはできません。
蒸留と強化学習の比較
ここには、二つのやり方を比べる話があります。
- 大きなモデルが獲得した推論の仕方を小さなモデルに蒸留する。
- 小さなモデルに直接、大規模な RL を行う。
論文は整理した約 80 万件の例を使い、Qwen と Llama の小型モデルを SFT で蒸留しています。表にある蒸留モデルには後続の RL を適用していません。フルサイズ R1 の 4 段階学習とは分けて考えます。
同じ Qwen-32B-Base を見ると、10K ステップ超の直接 RL による DeepSeek-R1-Zero-Qwen-32B と、DeepSeek-R1 からの蒸留による DeepSeek-R1-Distill-Qwen-32B が比較されています。表中の AIME 2024 は 47.0 対 72.6、MATH-500 は 91.6 対 94.3、LiveCodeBench は 40.2 対 57.2 です。五つの指標すべてで蒸留版が上回ります。
ここから論文は 2 つの結論を引いています。
- 蒸留の効果は大きい:この Qwen-32B の比較では、蒸留版が五つの指標すべてで直接 RL 版を上回ります。著者は蒸留の資源効率も評価しますが、表には両方式の実際の計算量や費用が載っていません。
- 直接 RL の限界:この小型モデルに 10K ステップ超の RL を行っても、蒸留版には届きませんでした。より強い基盤モデルと大規模 RL は今後の研究課題ですが、この結果をすべての小型モデルや訓練設定に一般化することはできません。
失敗した試み
DeepSeek-R1 の開発初期には、ほかの方法も試しましたが、期待した成果は得られませんでした。主なものを二つ見てみましょう。
-
過程報酬モデル (Process Reward Model, PRM):推論の途中段階に報酬を与えれば、よりよい解法へ導けそうです。しかし、実際には三つの課題があります。
- 細かなステップの定義:一般的な推論課題で、どこを一段階と見なすか決めるのが難しい。
- 途中段階の正しさの判定:自動でのラベル付けは十分な品質に届きにくく、人手での判定は規模を拡大しにくい。
- 報酬の抜け道:モデルに基づく PRM には reward hacking の危険があり、報酬モデルの再訓練にも資源がかかります。
PRM は上位 N 件の回答の並べ替えや探索補助には一定の効果がありましたが、計算費用と運用の難しさが利点を制限しました。
-
モンテカルロ木探索 (Monte Carlo Tree Search, MCTS)
AlphaGo や AlphaZero に着想を得て、答えを小さな部分へ分け、各推論ステップにタグを付けさせ、学習済みの価値モデルを使って探索を導きました。しかし二つの問題が残ります。
- 探索空間の大きさ:棋類と比べて token 生成の選択肢は非常に多く、ノードの展開数を制限しても局所的な解に陥りやすい。
- 価値モデルの訓練:各ステップの品質を見積もる価値モデル自体を精密に訓練するのが難しく、探索の改善も進めにくい。
したがって、この MCTS の試みでは、推論時の探索を強化する狙いに対して期待した成果は得られず、自己探索から継続的にモデルを改善することは今後の課題です。
結論
DeepSeek-R1 は、cold start データと反復的な RL 微調整を組み合わせることで、多くのタスクで OpenAI-o1-1217 に匹敵する水準に達しました。これは、大規模強化学習が推論能力の向上に持つ可能性を示しています。
ただし、著者自身もいくつかの弱点を挙げています。
- 汎用能力:関数呼び出し、多ターン対話、複雑なロールプレイ、JSON 出力では V3 に劣る場面がある
- 言語混在:主に中英に最適化されており、他言語では混在が起こりうる
- プロンプト感度:とくに few-shot プロンプトでは性能が下がりやすい。著者は zero-shot で問題を直接書き、出力形式を明示することを勧めています。
- ソフトウェア工学タスク:評価に時間がかかり、RL 学習の効率にも響くため、この分野ではまだ明確な優位性を示していません。
それでも、オープンソースモデルとクローズドモデルの差は確実に縮まっています。
次の大きなブレイクスルーは、特定の企業や研究所だけではなく、オープンソース全体の積み上げから出てくるのかもしれません。