今年，像OpenAI的O1這樣的緊湊型語言模型（CLM）引起了極大的關(guān)注，表明了令人印象深刻的自然語言處理能力。但是，許多應(yīng)用程序不需要大型模型的巨大資源。輸入小型語言模型（SLM） - 高效，簡化的解決方案，非常適合預(yù)算意識(shí)的應(yīng)用和有限的計(jì)算環(huán)境。

SLM平衡性能和效率。優(yōu)化的體系結(jié)構(gòu)和尺寸使它們非常適合需要快速推斷的邊緣設(shè)備，資源受限系統(tǒng)和應(yīng)用程序。從為移動(dòng)應(yīng)用程序供電到提供離線NLP功能，這些模型正在民主化高級(jí)語言技術(shù)。

該博客探索了13個(gè)表現(xiàn)最佳的SLM。無論您是尋求輕量級(jí)解決方案的開發(fā)人員還是研究有效NLP的研究人員，該列表都表明較小的可能會(huì)更好。讓我們探討這些緊湊的模型如何產(chǎn)生重大影響。

目錄

• 多功能多任務(wù)性能（翻譯，摘要，問答）
  • T5
  • QWEN-2
  • 美洲駝3.2
  • Mistral Nemo
  • Mistral Small 3
• 以推理為中心的任務(wù)
  • O3米尼
  • PHI-4
• 文字生成
  • DISTILGPT-2
  • Smollm
• NLU一般（文本分類，情感分析，命名實(shí)體識(shí)別）
  • 微型
  • 莫比爾伯特
  • Microsoft Phi 3.5 Mini
  • Gemma 2
  • 蒂尼伯特
  • Distilbert
• 常見問題

要深入研究SLM，請(qǐng)參閱：什麼是小語言模型（SLM）？現(xiàn)在，讓我們檢查一下這13個(gè)領(lǐng)先的SLM。

多功能多任務(wù)性能（翻譯，摘要，問答）

T5

Google Research的T5（文本到文本傳輸變壓器）是一種使用統(tǒng)一的文本對(duì)文本框架的多功能模型，用於各種NLP任務(wù)（轉(zhuǎn)換，摘要，Q＆A）。

參數(shù)大小

T5提供各種尺寸，從T5-S-S-S-S-S-MALL（6000萬參數(shù)）到T5-11b（110億個(gè)參數(shù)），可滿足各種資源需求。

建築學(xué)

T5的變壓器體系結(jié)構(gòu)使用編碼器和解碼器組件，通過將所有任務(wù)作為文本到文本問題來強(qiáng)調(diào)靈活性。在大型數(shù)據(jù)集上進(jìn)行預(yù)培訓(xùn)可以增強(qiáng)其理解。

可用性

T5是開源（Apache 2.0許可證），可通過TensorFlow和擁抱面訪問。

QWEN-2

QWEN-2是適用於各種應(yīng)用的文本生成，分類和摘要方面有效的CLM。它的模塊化設(shè)計(jì)是約束硬件的理想選擇。

參數(shù)大小

QWEN-2有30億，70億和130億個(gè)參數(shù)版本，可為不同的應(yīng)用提供可擴(kuò)展性。

建築學(xué)

QWEN-2的高級(jí)變壓器體系結(jié)構(gòu)使用旋轉(zhuǎn)位置嵌入等技術(shù)以及適應(yīng)性的速度和穩(wěn)定性。它的模塊化可確保適應(yīng)性。

可用性

Qwen-2是開源的，具有一些可通過訂閱提供的高級(jí)功能。

美洲駝3.2

Llama 3.2優(yōu)先考慮使用資源效率的高性能，使其適用於較低計(jì)算開銷的應(yīng)用。

參數(shù)大小

Llama 3.2提供的版本範(fàn)圍從13億到130億個(gè)參數(shù)，使用戶可以根據(jù)需求進(jìn)行選擇。

建築學(xué)

Llama 3.2使用分組的查詢注意力，旋轉(zhuǎn)位置嵌入（繩索）和Swiglu激活來提高效率和性能。

可用性

Llama 3.2是開源的，具有免費(fèi)的層和付費(fèi)選項(xiàng)，可用於擴(kuò)展功能和支持。

Mistral Nemo

Mistral Nemo是一種緊湊而有效的CLM，旨在高質(zhì)量的語言理解和產(chǎn)生，強(qiáng)調(diào)表現(xiàn)和易於整合。

參數(shù)大小

Mistral Nemo有13億，70億和130億個(gè)參數(shù)版本。

建築學(xué)

Mistral Nemo的基於變壓器的體系結(jié)構(gòu)使用優(yōu)化的注意機(jī)制和增強(qiáng)的令牌嵌入，以有效的內(nèi)存使用和吞吐量。

可用性

Mistral Nemo是開源的。

Mistral Small 3

Mistral Small 3處理大約80％的生成AI任務(wù)，具有適度的硬件要求。

參數(shù)大小

Mistral Small 3具有240億個(gè)參數(shù)，提供的性能與更大的模型相當(dāng)。它可以部署在單個(gè)高端GPU或功能強(qiáng)大的筆記本電腦上。

建築學(xué)

Mistral Small 3使用的層少於競爭模型的低延遲性能。它可提供預(yù)訓(xùn)練和指導(dǎo)調(diào)整的版本。

可用性

Mistral Small 3是開源（Apache 2.0許可證），可在擁抱臉，Ollama和Kaggle上使用。

以推理為中心的任務(wù)

O3米尼

O3-Mini是一種緊湊的模型，儘管參數(shù)計(jì)數(shù)減少了，但它適用於資源受限的設(shè)備。

參數(shù)大小

O3-Mini的參數(shù)計(jì)數(shù)大大減少了，可以在資源有限的設(shè)備上有效地操作。

建築學(xué)

作為OpenAI推理模型系列的一部分，O3 MINI支持文本輸入/輸出和可調(diào)節(jié)的推理級(jí)別。

可用性

O3-Mini可通過Chatgpt，OpenAI API，Microsoft Azure OpenAI服務(wù)和Open Router訪問。

PHI-4

微軟的PHI-4（140億個(gè)參數(shù)）在推理任務(wù)方面擅長計(jì)算效率。

參數(shù)大小

PHI-4的140億參數(shù)已針對(duì)推理效率和降低計(jì)算需求進(jìn)行了優(yōu)化。

建築和培訓(xùn)

PHI-4的架構(gòu)和培訓(xùn)過程（包括合成數(shù)據(jù)生成和改進(jìn)技術(shù)）增強(qiáng)了其推理能力。

可用性

PHI-4目前是專有的。

文字生成

DISTILGPT-2

Distilgpt-2是GPT-2的較小，更高效的版本，保留了大多數(shù)功能，同時(shí)大大降低了其尺寸。

參數(shù)大小

Distilgpt-2通常具有約8200萬個(gè)參數(shù)，而GPT-2顯著降低。

建築學(xué)

Distilgpt-2使用與GPT-2相似的變壓器架構(gòu)，但通過知識(shí)蒸餾實(shí)現(xiàn)的層較少。

可用性

Distilgpt-2是開源的（擁抱的臉）。

Smollm

Smollm是一種輕巧的模型，旨在使用降低計(jì)算足蹟?shù)挠行LP。

參數(shù)大小

Smollm提供各種尺寸，從1000萬到3億個(gè)參數(shù)。

建築學(xué)

Smollm使用基於變壓器的設(shè)計(jì)，具有修剪，量化和自適應(yīng)計(jì)算方法的效率。

可用性

Smollm是開源的，具有免費(fèi)的級(jí)別和付費(fèi)選項(xiàng)。

NLU一般（文本分類，情感分析，命名實(shí)體識(shí)別）

微型

Microsoft的Minilm是使用知識(shí)蒸餾技術(shù)的緊湊而有效的模型。

參數(shù)大小

Minilm提供各種尺寸，從2200萬到3.84億個(gè)參數(shù)。

建築學(xué)

Minilm使用了深層的自我注意力學(xué)機(jī)制，並結(jié)合了知識(shí)蒸餾以從較大模型中傳遞性能。

可用性

Minilm是開源的（擁抱的臉，github）。

莫比爾伯特

Moberbert是BERT的輕量化改編版，專為資源約束設(shè)備而設(shè)計(jì)。

參數(shù)大小

洛夫伯特有大約2500萬個(gè)參數(shù)。

建築學(xué)

莫菲伯特使用瓶頸結(jié)構(gòu)，倒瓶頸層和四倍的進(jìn)料網(wǎng)絡(luò)，以提高效率。

可用性

洛夫伯特是開源的。

Microsoft Phi 3.5 Mini

Microsoft Phi 3.5迷你平衡效率和性能，以有限的資源來了解強(qiáng)大的自然語言理解。

參數(shù)大小

Phi 3.5 Mini有13億和30億個(gè)參數(shù)版本。

建築學(xué)

Phi 3.5 Mini的變壓器體系結(jié)構(gòu)使用優(yōu)化的注意機(jī)制來提高效率。

可用性

Microsoft Phi 3.5 Mini是專有的，集成到Microsoft Azure AI服務(wù)（免費(fèi)和付費(fèi)層）中。

Gemma 2

Gemma 2的設(shè)計(jì)用於有效的NLU和發(fā)電任務(wù)，平衡準(zhǔn)確性和速度。

參數(shù)大小

Gemma 2提供了1.25億，3.5億和12億參數(shù)的版本。

建築學(xué)

Gemma 2使用具有動(dòng)態(tài)注意力頭和層歸一化增強(qiáng)的流線型變壓器體系結(jié)構(gòu)。

可用性

Gemma 2是開源（允許許可證），具有免費(fèi)和高級(jí)選項(xiàng)。

蒂尼伯特

Tinybert是Bert的蒸餾版本，可降低計(jì)算複雜性和記憶足跡。

參數(shù)大小

Tinybert最小的版本約有1400萬個(gè)參數(shù)，而較大的版本的參數(shù)約為6600萬。

建築學(xué)

Tinybert使用類似的變壓器架構(gòu)來BERT，但層較少，尺寸降低。

可用性

Tinybert是開源（Apache License 2.0），可通過擁抱的臉型變壓器訪問。

Distilbert

Distilbert是Bert的較小，更快且更輕的版本，保留了Bert的大部分錶現(xiàn)。

參數(shù)大小

Distilbert約有6600萬個(gè)參數(shù)。

建築學(xué)

Distilbert通過減少層數(shù)和採用知識(shí)蒸餾來簡化Bert的架構(gòu)。

可用性

Distilbert是開源的（擁抱的臉型變壓器）。

結(jié)論

SLM通過提供性能，效率和可及性的平衡來徹底改變NLP。它們對(duì)資源受限環(huán)境的適用性使它們非常適合各種應(yīng)用。開源和專有模型都在推動(dòng)創(chuàng)新並擴(kuò)大對(duì)先進(jìn)語言技術(shù)的訪問。隨著AI採用的增長，SLM對(duì)於有效，包含的NLP縮放至關(guān)重要。

常見問題

Q1。小語言模型可以離線使用嗎？答：是的，他們的輕質(zhì)性質(zhì)允許在各種設(shè)備上離線部署。

Q2。小語言模型如何微調(diào)？答：使用較小的數(shù)據(jù)集，微型調(diào)整將預(yù)訓(xùn)練的模型調(diào)整為特定任務(wù)。

Q3。小語言模型安全且私密嗎？答：當(dāng)?shù)夭渴鹂梢栽鰪?qiáng)安全性和隱私性，但實(shí)施細(xì)節(jié)至關(guān)重要。

以上是2025年的前13個(gè)小語言模型（SLM）-Analytics Vidhya的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！