GPTやLlamaなどの大規(guī)模な言語(yǔ)モデル（LLM）は、スマートチャットボットの作成から複雑なコードスニペットの生成まで、言語(yǔ)タスクの処理方法に革命をもたらしました。顔を抱きしめるなどのクラウドプラットフォームは、これらのモデルの使用を簡(jiǎn)素化しますが、場(chǎng)合によっては、獨(dú)自のコンピューターでLLMをローカルに実行することがより賢明な選択です。なぜ？プライバシーが大きくなるため、特定のニーズに合わせてカスタマイズを可能にし、コストを大幅に削減できます。 LLMをローカルに実行すると、完全なコントロールが得られ、自分の條件でその力を活用できます。

いくつかの簡(jiǎn)単なステップで、OllamaとHugging Faceを使用してシステムでLLMを?qū)g行する方法を見(jiàn)てみましょう！

次のビデオでは、プロセスを段階的に説明しています。

1分でローカルにLLMを?qū)g行する方法[初心者フレンドリー]

OllamaとHugging Faceビデオリンクを使用します

- ディラン（@Dylan Ebert ）2025年1月6日

LLMをローカルに実行する手順

ステップ1：オラマをダウンロードします

まず、ブラウザで「Ollama」を検索し、システムにダウンロードしてインストールします。

ステップ2：最高のオープンソースLLMを見(jiàn)つけます

次に、「Face LLMランキング」を検索して、トップオープンソース言語(yǔ)モデルのリストを見(jiàn)つけます。

ステップ3：デバイスに基づいてモデルをフィルタリングします

リストが表示されたら、フィルターを適用して、セットアップに最適なモデルを見(jiàn)つけます。例えば：

• 家庭用消費(fèi)者グレードのデバイスを選択してください。
• 非公式または未検証のモデルを避けるために、公式プロバイダーのみを選択します。
• ラップトップにローエンドGPUが付屬している場(chǎng)合は、エッジデバイス用に設(shè)計(jì)されたモデルを選択してください。

QWEN/QWEN2.5-35Bなどのトップランクモデルをクリックします。畫(huà)面の右上隅で、[このモデルを使用]をクリックします。ただし、ここではオプションとしてオラマを見(jiàn)つけることができません。

これは、OllamaがGGUFと呼ばれる特別な形式を使用しているためです。これは、モデルのより小さく、高速で定量的なバージョンです。

（注：量子化は品質(zhì)をわずかに低下させますが、現(xiàn)地での使用に適しています。）

GGUF形式でモデルを取得します。

• ランキングの「定量化された」セクションに移動(dòng)します。ここに約80のモデルがあります。これらのモデルをほとんどのダウンロードで並べ替えます。

Bartowskiなどの名前に「GGUF」のモデルを探してください。これは良い選択です。

• このモデルを選択し、[Ollamaでこのモデルを使用]をクリックします。
• 定量設(shè)定の場(chǎng)合は、GPU RAMよりも1?2GB小さいファイルサイズを選択するか、Q5_K_Mなどの推奨オプションを選択します。

ステップ5：ダウンロードしてモデルの使用を開(kāi)始します

お好みのモデルに提供されているコマンドをコピーし、端末に貼り付けます。 「Enter」キーを押して、ダウンロードが完了するのを待ちます。

ダウンロードが完了したら、他のLLMと同じようにモデルとのチャットを開(kāi)始できます。シンプルで楽しい！

それでおしまい！これで、デバイスでローカルで強(qiáng)力なLLMを?qū)g行しています。これらの手順が以下のコメントセクションで機(jī)能するかどうかを教えてください。

以上が1分でLLMSをローカルに実行する方法は？の詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國(guó)語(yǔ) Web サイトの他の関連記事を參照してください。