DeepSeek LLM: Scaling Open-Source Language Models with Longtermism
- 発表先
- 正式な発表先は未確認
- arXiv への初回投稿
- arXiv:2401.02954
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{deepseekdeepseekllm2024,
title = {{DeepSeek LLM: Scaling Open-Source Language Models with Longtermism}},
author = {DeepSeek-AI},
year = {2024},
eprint = {2401.02954},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2401.02954v1}
}
最近、DeepSeekに関するニュースが大きな話題となり、OpenAIさえもその反響に対して言及せざるを得ない状況です。
彼らがこれほど注目を集めたので、私たちはこの数年間に発表された論文を一通り読んでみました。
この論文は48ページにわたるもので、多くの実験データや技術的詳細が含まれていますので、ここでは重要なポイントに絞って見ていきます。
問題の定義
オープンソースモデルとクローズドソースモデルのパフォーマンス差は、常に注目のテーマでした。過去の研究によると、オープンソースモデルはほとんどのベンチマークテストで明らかにクローズドソースモデルに劣っており、その主な原因はオープンソースモデルの規模とリソースの制約にあるとされています。
この差を縮めるために、研究チームはDeepSeek LLMシリーズモデルを提案しました。これは、7Bから67Bまでのスケールを持つオープンソース言語モデルのシリーズです。これらのモデルをトレーニングするために、研究チームは既存のスケーリング法則に疑問を呈し、過去の研究結果が必ずしも正しいとは限らないと考え、独自のスケーリング法則を提案しました。この論文では、モデルの規模、データ規模、計算予算との関係を探ることを主軸にしています。
ここでは、スケーリング法則に関する議論に焦点を当て、DeepSeek LLMの設計と実験結果について簡単に紹介します。
問題の解決
データ処理戦略
研究チームは「重複排除 → フィルタリング → 混合」の3段階の戦略を採用しました:
-
重複排除 (Deduplication):
Common Crawlデータセット全体を重複排除の範囲として使用しました。上記の表からもわかるように、複数のダンプにまたがる重複排除の方が単一ダンプに対するものより徹底され、モデルにとってより多くのユニークな学習サンプルが提供されます。
-
フィルタリング (Filtering):言語的および意味的な観点から設計された厳密な文書品質評価基準を使用し、局所的およびグローバルな視点でデータの品質を保証します。
-
混合 (Remixing):データ分布の不均衡を解決するために、特に代表性の低い分野のデータを強化し、データセットがよりバランスが取れ、多様な情報を包含するようにしました。
TokenizerにはByte-level Byte-Pair Encoding(BBPE)を採用し、改行、句読点、CJK記号など異なる文字種が混ざらないよう事前に分割しました。数字も一桁ずつ分割します。通常の語彙を100,000語、特殊トークンを15個とし、学習時の語彙サイズには将来の追加分を見込んで102,400を割り当てています。
モデルアーキテクチャ設計
モデルは基本的にLLaMAアーキテクチャを踏襲し、Pre-Norm構造にRMSNormを組み合わせ、SwiGLUをFFNの活性化関数として使用しています。位置エンコーディングにはRotary Embeddingを採用しました。
推論コストを削減するため、67Bモデルでは従来のMulti-Head AttentionをGroup-Query Attention(GQA)に置き換えています。
7Bと67Bの層数は、それぞれ30層と95層です。著者によれば、この設計は他のオープンソースモデルと近いパラメータ規模を保ち、パイプライン分割もしやすくします。67Bの規模拡張では、FFNの中間層を広げるよりもネットワークを深くする方針を取りました。
パラメータ設定
モデルの初期化標準偏差は0.006に設定され、AdamWオプティマイザーを使用します:
- weight_decay=0.1
学習率スケジューラは段階的に設定され、2000ステップのウォームアップ後にピークに達し、その後、80%と90%のトークンでそれぞれ最大値の31.6%と10%に低下します。この戦略は、固定されたモデルサイズでトレーニング規模を調整し、前のステージのトレーニング結果を再利用できるようにして、継続的なトレーニングを便利にします。全体の実験では、損失の下降曲線は異なりますが、最終的なパフォーマンスはコサインスケジューラーとほぼ一致しました。
勾配クリッピング値は1.0に設定され、勾配爆発を防ぎ、トレーニングの安定性を確保しています。
トレーニングはHAI-LLMフレームワークを使用して行われ、このフレームワークはデータ、テンソル、シーケンス、およびパイプライン並列技術を統合しており、Megatronの設計に似ていて、大規模モデルの計算負担を効果的に分散させます。
また、フラッシュアテンション技術を導入してハードウェア利用率を向上させ、ZeRO-1技術を使用してオプティマイザーステートを分割し、メモリ消費をさらに削減しています。部分的な層(LayerNorm、GEMM、およびAdam更新)の統合により、トレーニングを加速させています。混合精度(bf16トレーニング、fp32勾配蓄積)とインプレース交差エントロピー計算を利用して、メモリ使用量を最適化しています。
モデルの重みとオプティマイザーステートは5分ごとに自動保存され、ハードウェアまたはネットワークの障害が発生した場合でも、最大5分のトレーニングデータを失うだけで済みます。同時に、異なる3D並列構成からトレーニングを再開することができ、計算リソースの動的な変化に対応できます。
評価戦略の一部として、生成タスクではvLLMを使用し、非生成タスクではバッチ処理を連続して行い、手動でバッチサイズやトークンパディングを調整する問題を減らしています。
スケーリング法則
ハイパーパラメータ設定
研究チームは、計算予算 の下で、特定のモデル規模(177M FLOPs/token)に対してグリッドサーチを行い、異なるバッチサイズ と学習率 の組み合わせを探索しました。
上図から、広い範囲の と で汎化誤差がほぼ最小値に保たれることが分かります。つまり「近似最適」とみなせるハイパーパラメータの領域が、比較的広く存在します。
さらに大きな計算予算範囲( から )を探索するために、研究チームは多段階学習率スケジューラを採用しました。このスケジューラは、最初の段階のトレーニングが完了した後、既存のトレーニング成果を再利用して、複数のハイパーパラメータ設定のモデルを効率的にトレーニングすることを可能にします。パラメータ空間には冗長性があるため、汎化誤差が最小値から0.25%を超えない場合、そのハイパーパラメータは「近似最適」と見なされます。
多くの実験とデータフィッティングの結果、以下のことが示されました:
- 最適バッチサイズ : 計算予算 の増加に伴い、徐々に増加します。これは直感的に理解でき、より多くの計算リソースがあれば、より大きなバッチを使用できるためです。
- 最適学習率 : の増加に伴い、徐々に減少します。この実験範囲では、計算予算が増えるにつれて、最適と推定される学習率は小さくなります。
最終的に、研究チームは以下の2つの式を用いてこの関係を説明しました:
これらの式は、それぞれ最適学習率と最適バッチサイズと計算予算 とのべき乗関係を定量化したものです。
これらの式を検証するため、研究チームはさらに大きな計算予算 でもモデルを評価しました。2.94B FLOPs/tokenのモデルについて、上図の右側では式から推定したハイパーパラメータが近似最適領域の中心付近に位置しています。
最適モデルとデータのスケーリング推定
近似最適ハイパーパラメータ公式のフィッティングを完了した後、研究チームはモデル規模とデータ規模をどのように最適に配分するかの研究を開始しました:
つまり、与えられた計算予算 の下で、最適なモデル規模とデータ規模を選択し、最小の誤差を達成する方法を決定することです。
核心目標は、2つのべき乗関係を見つけることです。ここで、モデルの最適規模 は計算予算に対して次のように満たします:
そして、データの最適規模 (データ中のトークン数で表現)は次のように満たします:
ここで、 と はそれぞれモデルとデータのスケーリング指数です。
初期の研究では通常、モデル規模をモデルのパラメータ数で表現し、計算予算とモデルおよびデータの規模との関係は次のように近似されます:
この場合、 または でモデル規模を近似できます。しかし、どちらも注意機構の計算量を十分には反映しておらず、 は語彙に関する計算量も含みます。とくに小規模モデルでは、実際の計算量とのずれが50%近くになる場合があり、スケーリング曲線のフィッティングにも影響します。
これらの問題を克服するために、研究チームは新しいモデル規模の表現方法 を提案しました。 には、注意力計算の計算負担が含まれますが、語彙計算は含まれていません。公式は次のようになります:
ここで:
- :層数
- :モデルの幅
- :シーケンスの長さ
を使用すると、計算予算は次のように簡略化して表すことができます:
これにより、異なる設定でのモデルとデータの最適配分の推定が容易になります。
を導入した後、研究チームは目標を明確にしました:
計算予算 の下で、最適なモデル規模 とデータ規模 を求め、検証損失を最小化すること。ここで はパラメータ数ではなく、埋め込みを除くトークン当たりのFLOPsです。
これは次のように表現できます:
実験コストとフィッティングの難易度を下げるために、研究チームはChinchillaで提案された IsoFLOPプロファイル 方法を採用しました:
- 8つの異なる計算予算を選定し、その範囲は から までです。
- 各予算に対して、約10種類の異なるモデルとデータ規模設定を設計しました。
- 各設定のハイパーパラメータは前述の式で決定され、独立した検証セット(100Mトークンを含む)で汎化誤差を計算しました。
上記のデータを使用して、研究チームはIsoFLOP曲線とモデル/データのスケーリング曲線を描きました:
最終的に得られた最適モデルとデータのスケーリング式は次のようになります:
- ここで 。
- ここで 。
これらのフィッティング結果に基づき、研究チームはDeepSeek LLM 7Bおよび67Bモデルの汎化誤差を成功裏に予測しました。結果は以下の通りです:
実験結果は、小規模な実験結果が1000倍の計算予算下でのモデル性能を正確に予測できることを示しており、これが大規模モデルのトレーニングに対する強力なサポートとなっています。
データ品質の影響
研究チームは、以下の3つのデータセットを用いて比較分析を行いました:
- Early Data: 初期の内部データ。
- Current Data: 現在の内部データ。
- OpenWebText2: 以前のスケーリング法則の研究で使用されたデータセット。
比較を通じて評価した結果、現在の内部データの品質が初期のデータよりも優れていることが示されました。また、OpenWebText2は規模が小さいため、より詳細な処理が可能で、そのデータ品質は現在の内部データを超えることが分かりました。
前節のスケーリング法則の式を利用して、研究チームは異なるデータセットに対するスケーリング指数を計算しました。結果は以下の表に示されています:
具体的には、OpenAI(OpenWebText2を使用)の係数は と 、Chinchilla(MassiveText)の係数は と でした。一方、彼ら自身のデータにおいて、初期の内部データは 、現行の内部データは 、別途 OpenWebText2 を用いた実験は でした。
著者が比較した三つのデータ条件では、品質評価が高いほどモデル側の指数 が大きく、データ側の指数 が小さくなっています。これは、計算予算を増やす際に、モデル規模へ割り当てる比率を高めるという観察です。以前の研究で最適配分に差が出た理由の一つかもしれません。ただし、データ分布なども変わっているため、品質だけの因果効果を示す実験ではありません。
モデルアライメント
モデルアライメント(Alignment)のプロセスの主要な目標は、モデルが生成する応答が有益な情報を提供するだけでなく、有害な内容を避けることです。
データに関して、研究チームは約150万件の中英指示データを収集しました。これには幅広いテーマが含まれています。その中で、120万件が有益なデータで、内訳は次の通りです:一般的な言語タスク31.2%、数学問題46.6%、プログラム作成練習22.2%。また、30万件は安全性に関する問題に焦点を当てており、各種センシティブなテーマが含まれています。
アライメントは二段階で進めます:
- 第一段階は教師あり微調整(Supervised Fine-Tuning, SFT)
- 第二段階は直接選好最適化(Direct Preference Optimization, DPO)です。
教師あり微調整では、7Bモデルを4 epoch、過学習しやすい67Bモデルを2 epoch学習しました。GSM8KやHumanEvalでは、7Bは学習を重ねても改善を続けましたが、67Bは比較的早く性能が頭打ちになりました。
第二段階ではDPOを用い、選好データに基づいてモデルの回答を調整しました。
この段階では、有用性と無害性それぞれの選好データを構築しました。創作、質問応答、指示への追従などを含む多言語のプロンプトを集め、DeepSeek Chatモデルで候補回答を生成して有用性の選好データを作ります。無害性のデータも同様の流れで構築しました。
討論
DeepSeek LLMの実験結果は非常に多いので、ここでは中国語のAlignBenchによる自由回答と、英語のMT-Benchによる複数ターンの対話評価を主に見ます。
その他の部分については、興味がある読者は原論文を参照してください。
中国語オープンエンド評価
研究チームは、中国語と英語のタスクに対してモデルのオープンエンド生成能力をテストしました。
中国語の評価にはAlignBenchを使いました。8つの主要カテゴリ、36の下位カテゴリ、計683問からなり、各問にプロンプト、参考回答、採点テンプレートがあります。採点者はGPT-4-0613なので、これはモデルによる判定結果です。
評価プロセスでは、研究チームはAlignBenchの公式GitHubコードベースを使用してモデル評価を実施し、生成温度パラメータを原設定に基づいて厳格に調整しました。具体的には、役割演技、執筆能力、オープンエンド問題のタスクに対して生成温度は0.7に設定し、他のタスクは0.1に設定して、生成結果が多様でありながら安定するようにしました。
表の総合点では、DeepSeek 67B Chat DPOは6.69で、ChatGPTの6.08を上回り、GPT-4の2バージョンの8.01と7.53を下回ります。DPO前後の総合点は6.43から6.69に上がりましたが、「論理推論」は5.79から5.41に下がりました。
個別の列を見ると、「中国語の理解」は7.47でGPT-4-1106-previewの7.33を上回ります。一方、「基本タスク」は7.29で、同モデルの7.99を下回ります。数学と論理推論も、表にある中国語モデルの多くより高得点ですが、二つのGPT-4モデルには及びません。
英語オープンエンド評価
英語の自由回答にはMT-Benchを使いました。8種類の複数ターンの対話問題を通じて、各題型での回答を比較するベンチマークです。
表ではDeepSeek LLM 67B Chatの平均点は8.35で、LLaMA-2-Chat 70B、Xwin 70b v0.1、TÜLU 2+DPO 70Bを上回り、GPT-3.5-turbo-0613の8.39に近い値です。比較できるのは、このベンチマークと表中のモデルに限られます。
DPO後の平均点は8.35から8.76に上がり、表中のGPT-4の9.26を下回ります。ただしCodingの列は7.35から6.75に下がりました。平均点の上昇を、全題型での改善と読むことはできません。
その他の興味深い発見
評価プロセス全体を実施した後、研究チームは以下のいくつかの興味深い発見を提案しました:
-
(1)モデルの安全性評価:
まず、研究チームは「Do-Not-Answer Score」を使い、939件のリスクを伴うプロンプトへの安全な応答を評価しました。高得点は、このデータセットと採点方法で合格した件数が多いことを示します。あらゆる状況での安全性を示す値ではありません。
表中のDeepSeek-67B-Chatは97.8点で、ChatGPTの97.7とGPT-4の96.5より高く、Claudeの98.3とLLaMA-2-7B-Chatの99.4より低い値です。DeepSeekの値は著者が公式リポジトリを用いて評価し、他のモデルの値は元の論文から引用しています。
-
(2)段階的微調整戦略:
微調整の過程で、研究チームは、特に小型モデル(例えば7B)の場合、数学やプログラミングのデータで長時間微調整を行うと、専門的な能力が向上する一方で、会話のパフォーマンスが低下し、回答に繰り返しが生じることを発見しました。
そこで、第一段階で利用可能な全データ、第二段階で対話データを用いる微調整を試しました。この7Bモデルの実験では、第二段階の後もHumanEvalは48.2のまま、GSM8Kは63.9から63.0にわずかに下がりました。一方、回答の反復率は2.0%から1.4%に下がり、IFEvalは38.0から41.2に上がりました。この範囲では、専門的な課題と対話のしやすさとの間に取れるバランスが見えます。
-
(3)多項選択問題データの影響:
アライメント段階では、研究チームは2000万件の中国語の多項選択問題データを追加し、多項選択問題タスクでのパフォーマンス向上を図りました。
追加後はMMLU、C-Eval、CMMLUの得点が上がりました。一方、生成型評価のTriviaQAは57.9のまま、中国語の質問応答は75.0から74.4に下がりました。この結果から分かるのは、多肢選択式の成績向上が、この二つの生成型評価には波及しなかったことです。実際の利用者がどう感じるかまでは測っていません。
そこで著者たちは、多肢選択式のベンチマークへの過度な適応を避けるため、最終的に事前学習にも微調整にもこのデータを加えない方針を選びました。
-
(4)事前学習段階の指示データ:
さらに、研究チームは事前学習後期(最後の10%)に500万件の主に多項選択問題に基づいた指示データを追加し、その基礎モデルへの影響を観察しました。
その結果、基礎モデルのベンチマーク成績は向上しましたが、最終的な効果は教師あり微調整で同じデータを加えた場合とほぼ変わりませんでした。
したがって、指示データが非常に大きい場合、事前学習段階に追加することも可能ですが、研究チームは多項選択問題データを排除する傾向にあり、非多項選択問題データは比較的限られていたため、最終的には事前学習段階で指示データを追加しないことに決めました。
-
(5)システムプロンプトの影響:
システムプロンプトは、モデルが有益で礼儀正しく前向きな応答を生成するようにガイドするために使用されます。
研究チームは、LLaMA-2に似たシステムプロンプトを採用し、例えば「あなたはDeepSeek Chat、親切で尊重し、誠実なAIアシスタントです」とモデルに明示的に伝え、知識のカットオフ日などを説明しました。
MT-Benchでは、システムプロンプトを加えると7Bモデルは7.15から7.11に下がり、67Bモデルは8.35から8.58に上がりました。著者はモデルの指示理解力や、学習時と評価時の条件のずれを理由として推測しています。
結論
DeepSeek LLMは、主に中国語と英語からなる2兆トークンのコーパスを使い、ゼロから学習した大規模言語モデルです。この論文は、学習時のハイパーパラメータ選択とスケーリング法則の調整を詳しく記録し、複数の微調整戦略を比較しています。学習効率と計算資源の配分についても、方法を示しました。
これはモデル自体の公開にとどまらず、DeepSeek-AIがオープンソースLLMの分野に本格的に進出するための重要なマイルストーンを意味します。
現在、DeepSeekシリーズは重要な論文をいくつも公開しています。時間を見つけて後続の研究も順に読み、技術がどう発展してきたかを追っていくつもりです。