deepseek R1：革新的なオープンソース言語モデル

中國のAIスタートアップであるDeepseekは、2025年1月にDeepseek R1を発売しました。 専門家の混合物（MOE）のアーキテクチャ、強(qiáng)化學(xué)習(xí)、および推論への強(qiáng)調(diào)のユニークなブレンドは、それを際立たせます。 6710億パラメーターを誇ると、要求あたりわずか370億しかアクティブになり、計(jì)算効率が最適化されます。 Deepseek R1の高度な推論は、LlamaやQwenなどの小さくてアクセス可能なオープンソースモデルに蒸留され、プライマリDeepseek R1モデルによって生成されたデータを使用して微調(diào)整されています。 このチュートリアルの詳細(xì)DeepSeek-R1-Distill-lama-8Bモデルを使用した検索拡張生成（RAG）システムの構(gòu)築-allama 3.1 8bモデルDeepSeek R1世代のデータで微調(diào)整されています。

主要な學(xué)習(xí)目標(biāo)：

Deepseek R1のアーキテクチャ、イノベーション、および強(qiáng)化學(xué)習(xí)技術(shù)を把握しています グループ相対ポリシーの最適化（GRPO）の推論の強(qiáng)化における役割を理解してください。

deepseek R1のベンチマークのパフォーマンスと効率を競合他社と比較して分析します。

deepseek R1の蒸留ラマモデルとQwenモデルを使用してRAGシステムを?qū)g裝します。
• （この記事はデータサイエンスブログの一部です。）
• 目次：

deepseek r1の導(dǎo)入

deepseek R1の際立った機(jī)能

DeepSeek R1 の補(bǔ)強(qiáng)學(xué)習(xí) Deepseek R1 の

grpo

Deepseek R1のベンチマークパフォーマンス
deepseek r1蒸留モデル
deepseek-r1-distill-qwen-1.5b
• を備えたRAGシステムの構(gòu)築
結(jié)論
よくある質(zhì)問
• deepseek r1の紹介：
• Deepseek R1とその前身であるDeepseek R1-Zeroは、先駆的な推論モデルです。 Deepseek R1-Zeroは、監(jiān)視された微調(diào)整（SFT）なしで大規(guī)模な補(bǔ)強(qiáng)學(xué)習(xí)（RL）を通じてのみ訓(xùn)練され、印象的な推論能力を紹介しました。 ただし、読みやすさと言語の混合の問題に苦しんでいました。 Deepseek R1は、RLの前に「コールドスタート」データを組み込むことにより、これらの制限に対処し、推論と非季節(jié)のタスクの両方に堅(jiān)牢な基盤を提供します。
• deepseek R1の際立った機(jī)能：

Deepseek R1の高度なアーキテクチャと効率性AIパフォーマンスを再定義します

重要なイノベーションには以下が含まれます

• Moe Architecture：標(biāo)準(zhǔn)変圧器モデルとは異なり、Deepseek R1のMOEアーキテクチャは、リクエストごとに6710億パラメーターのうち370億のパラメーターのみをアクティブにし、効率を高め、コストを削減します。
補(bǔ)強(qiáng)學(xué)習(xí)：
• RLは、推論機(jī)能を強(qiáng)化し、個(gè)別の値関數(shù)モデルの必要性を排除し、微調(diào)整を合理化します。 費(fèi)用対効果：
比較可能なプロジェクトよりも少ないリソース（2,000 nvidia gpus、?560萬ドル）を使用してトレーニングされているため、APIコストが大幅に低くなります。
• 優(yōu)れたベンチマークパフォーマンス：deepseek R1は、精度とパーセンタイルテストで競合他社を一貫してアウトパフォームします（たとえば、AIME 2024で79.8％、コードフォースで96.3％）。
• スケーラビリティ：「蒸留」バージョン（1.5bから70bパラメーター）は、さまざまなハードウェア全體のアクセシビリティを確保します。
長いコンテキストの取り扱い：
• 128Kトークンをサポートし、複雑でコンテキストが豊富なタスクを効果的に管理しています。
deepseek R1での補(bǔ)強(qiáng)學(xué)習(xí)：
• Deepseek R1のRLの革新的な使用は、従來の方法からのパラダイムシフトを表しています。 レバレッジ：

純粋なrl：は主にrlに依存しており、通常の監(jiān)視された微調(diào)整をバイパスします。

自己進(jìn)化：

反復(fù)試行と誤りを通じてパフォーマンスを改良します。

• 正確性とフォーマット報(bào)酬：正確な予測と適切に構(gòu)造化された応答。
• チェーンオブオブサート（COT）推論：その推論プロセスを段階的に明確にします。
• 効率：膨大な量よりもデータ品質(zhì)に優(yōu)先順位を付けます
RLとSFTを組み合わせた：
• コヒーレント出力のために高品質(zhì)の「コールドスタート」データとRLとSFTを組み合わせます。 Deepseek R1：
の
• grpo GRPO（グループ相対ポリシーの最適化）は、LLMの推論を強(qiáng)化します。 値関數(shù)モデルの必要性を排除することにより、PPOを改善します。
• GRPOの手順には、サンプリング出力、報(bào)酬スコアリング、アドバンテージ計(jì)算（グループ平均と比較）、およびポリシーの最適化。

deepseek R1のベンチマークパフォーマンス：

Deepseek R1の印象的なベンチマークの結(jié)果には、

が含まれます

Math-500：97.3％（OpenaiのO1-1217を上回る）。

swe-bench verified：

49.2％。

aime 2024：

OpenaiのOpenai-O1-1217に匹敵します

• deepseek r1蒸留モデル：
Deepseek R1の知識は、800,000のDeepSeek R1で生成された例のデータセットを使用して、小さなモデルに蒸留されます。 これにより、LlamaやQwenなどのモデルに推論機(jī)能を効率的に転送できます。

deepseek-r1-distill-qwen-1.5bを使用したRAGシステムを構(gòu)築します

（このセクションには、指定されたモデルとライブラリを使用してRAGシステムをセットアップするための詳細(xì)なコード例が含まれます。長さの制約のため、この部分は省略されていますが、ライブラリのインストールの手順が含まれますが、PDFのインストール、埋め込み、レトリバーのロード、モデルのロード、モデルのロード、ラグパイプラインの作成、結(jié)論：

deepseek R1は、純粋なRLと優(yōu)れたパフォーマンスと効率のために革新的な技術(shù)を利用する言語モデルの推論の大幅な進(jìn)歩を意味します。 その蒸留モデルにより、高度な推論がより広い範(fàn)囲のアプリケーションにアクセスできるようにします。 よくある質(zhì)問：

（このセクションには、元のテキストと同様に、Deepseek R1に関するよくある質(zhì)問への回答が含まれます。 （注：畫像URLは変更されていません。）

以上がdeepseek R1蒸留モデルを使用したAI推論用のRAGシステムの詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國語 Web サイトの他の関連記事を參照してください。