小語(yǔ)言模型（SLM）：用於資源受限環(huán)境的高效AI

小語(yǔ)言模型（SLM）是大型語(yǔ)言模型（LLM）的簡(jiǎn)化版本，其參數(shù)少於100億。這種設(shè)計(jì)優(yōu)先考慮降低計(jì)算成本，降低能耗和更快的響應(yīng)時(shí)間，同時(shí)保持專注的性能。 SLM特別適合用於資源有限的設(shè)置，例如Edge Computing和實(shí)時(shí)應(yīng)用程序。它們的效率源於專注於特定任務(wù)並使用較小的數(shù)據(jù)集，在性能和資源使用之間取得了平衡。這使高級(jí)AI功能更容易訪問(wèn)和擴(kuò)展，非常適合輕巧聊天機(jī)器人和設(shè)備AI等應(yīng)用程序。

關(guān)鍵學(xué)習(xí)目標(biāo)

本文將涵蓋：

• 在規(guī)模，培訓(xùn)數(shù)據(jù)和計(jì)算需求方面了解SLM和LLM之間的區(qū)別。
• 探索微調(diào)SLM在專門任務(wù)中的優(yōu)勢(shì)，包括提高效率，準(zhǔn)確性和更快的訓(xùn)練週期。
• 確定何時(shí)需要微調(diào)，以及何時(shí)及時(shí)的工程或檢索增強(qiáng)發(fā)電（RAG）等替代方案更合適。
• 檢查參數(shù)有效的微調(diào)（PEFT）技術(shù)，例如LORA及其對(duì)減少計(jì)算需求的影響，同時(shí)增強(qiáng)模型適應(yīng)性。
• 應(yīng)用微調(diào)SLM的實(shí)踐方面，通過(guò)使用Microsoft的PHI-3.5-Mini-Instruct模型等新聞?lì)悇e分類進(jìn)行了說(shuō)明。

本文是數(shù)據(jù)科學(xué)博客馬拉鬆的一部分。

目錄

• SLM與LLMS：比較
• 微調(diào)SLM背後的理由
• 什麼時(shí)候需要微調(diào)？
• PEFT與傳統(tǒng)微調(diào)
• 用Lora進(jìn)行微調(diào)：一種參數(shù)效率的方法
• 結(jié)論
• 常見(jiàn)問(wèn)題

SLM與LLMS：比較

這是關(guān)鍵差異的細(xì)分：

• 模型大?。?/strong> SLM明顯較小（低於100億個(gè)參數(shù)），而LLMS大大較大。
• 培訓(xùn)數(shù)據(jù)和時(shí)間： SLM使用較小的，專注的數(shù)據(jù)集，需要數(shù)週的培訓(xùn)，而LLMS則使用大量的，不同的數(shù)據(jù)集並花費(fèi)數(shù)月的時(shí)間進(jìn)行培訓(xùn)。
• 計(jì)算資源： SLM需要更少的資源，促進(jìn)可持續(xù)性，而LLMS則需要大量資源進(jìn)行培訓(xùn)和操作。
• 任務(wù)能力： SLM在更簡(jiǎn)單的專業(yè)任務(wù)上表現(xiàn)出色，而LLM則更適合複雜的通用任務(wù)。
• 推理與控制： SLM可以在設(shè)備上本地運(yùn)行，提供更快的響應(yīng)時(shí)間和更大的用戶控制。 LLMS通常需要專門的硬件，並提??供更少的用戶控制。
• 成本：與LLMS相關(guān)的較高成本不同，SLM的資源要求較低，因此SLM更具成本效益。