国产av日韩一区二区三区精品,成人性爱视频在线观看,国产,欧美,日韩,一区,www.成色av久久成人,2222eeee成人天堂

首頁(yè) 科技週邊 人工智慧 微調(diào)駱駝3.1用於文本分類(lèi)

微調(diào)駱駝3.1用於文本分類(lèi)

Mar 05, 2025 am 11:08 AM

>本教程展示了精神健康情感分析的Llama 3.1-8B-IT模型。 我們將自定義模型以預(yù)測(cè)文本數(shù)據(jù)中的患者心理健康狀況,將適配器與基本模型合併,並在擁抱面樞紐中部署完整的模型。 至關(guān)重要的是,請(qǐng)記住,在醫(yī)療保健中使用AI時(shí),道德考慮是至關(guān)重要的。此示例僅用於說(shuō)明目的。 >我們將使用Kaggle,使用Transformers庫(kù)進(jìn)行推理以及微調(diào)過(guò)程本身來(lái)介紹訪(fǎng)問(wèn)Llama 3.1型號(hào)。 先前對(duì)LLM微調(diào)的理解(請(qǐng)參閱我們的“微調(diào)LLMS介紹性指南”)是有益的。

>由作者Fine-Tuning Llama 3.1 for Text Classification

圖像

理解Llama 3.1 Meta AI的多語(yǔ)言大語(yǔ)言模型(LLM)

Llama 3.1在語(yǔ)言理解和發(fā)電方面表現(xiàn)出色。 它提供8B,70B和405B參數(shù)版本,它建立在具有優(yōu)化變壓器的自動(dòng)回歸體系結(jié)構(gòu)上。 經(jīng)過(guò)多種公共數(shù)據(jù)的培訓(xùn),它支持八種語(yǔ)言,並擁有128K上下文長(zhǎng)度。 它的商業(yè)許可證很容易獲得,並且在各種基準(zhǔn)測(cè)試中都優(yōu)於幾個(gè)競(jìng)爭(zhēng)對(duì)手。

來(lái)源:Llama 3.1(Meta.com)

> Fine-Tuning Llama 3.1 for Text Classification

>在kaggle上訪(fǎng)問(wèn)和使用Llama 3.1

我們將利用Kaggle的免費(fèi)GPU/TPU。 請(qǐng)按照以下步驟:

>在meta.com上註冊(cè)(使用您的kaggle電子郵件)。

> >訪(fǎng)問(wèn)Llama 3.1 Kaggle存儲(chǔ)庫(kù)和請(qǐng)求模型訪(fǎng)問(wèn)。 > >使用提供的“代碼”按鈕啟動(dòng)Kaggle筆記本。

選擇您的首選型號(hào)版本,然後將其添加到筆記本上。

安裝必要的軟件包(

)。
  1. 加載模型和令牌:
  2. 創(chuàng)建提示並運(yùn)行推斷:
  3. %pip install -U transformers accelerate
  4. 精神健康分類(lèi)
from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline
import torch

base_model = "/kaggle/input/llama-3.1/transformers/8b-instruct/1"

tokenizer = AutoTokenizer.from_pretrained(base_model)
model = AutoModelForCausalLM.from_pretrained(base_model, return_dict=True, low_cpu_mem_usage=True, torch_dtype=torch.float16, device_map="auto", trust_remote_code=True)
pipe = pipeline("text-generation", model=model, tokenizer=tokenizer, torch_dtype=torch.float16, device_map="auto")
messages = [{"role": "user", "content": "What is the tallest building in the world?"}]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
outputs = pipe(prompt, max_new_tokens=120, do_sample=True)
print(outputs[0]["generated_text"])
>設(shè)置:

>使用Llama 3.1啟動(dòng)新的Kaggle筆記本,安裝必需的軟件包(Fine-Tuning Llama 3.1 for Text Classification ,

,,

    ),並添加“心理健康的情感分析”數(shù)據(jù)集。配置權(quán)重和偏見(jiàn)(使用您的API鍵)。
  1. 數(shù)據(jù)處理:加載數(shù)據(jù)集,清潔它(刪除模棱兩可的類(lèi)別:“自殺”,“壓力”,“人格障礙”),洗牌並分成培訓(xùn),評(píng)估和測(cè)試集(使用3000個(gè)樣本提高效率)。 創(chuàng)建提示併入語(yǔ)句和標(biāo)籤。

    >
  2. 模型加載:使用4位量化的記憶效率,加載Llama-3.1-8b-Insruct模型。加載令牌器並設(shè)置墊子令牌ID。

  3. >>預(yù)先調(diào)整評(píng)估:創(chuàng)建功能以預(yù)測(cè)標(biāo)籤和評(píng)估模型性能(準(zhǔn)確性,分類(lèi)報(bào)告,混淆矩陣)。 在微調(diào)之前評(píng)估模型的基線(xiàn)性能。

  4. 微調(diào):使用適當(dāng)?shù)膮?shù)配置lora。設(shè)置培訓(xùn)論點(diǎn)(根據(jù)您的環(huán)境根據(jù)需要進(jìn)行調(diào)整)。使用SFTTrainer訓(xùn)練模型。使用權(quán)重和偏見(jiàn)監(jiān)控進(jìn)度。

  5. > 在調(diào)查後評(píng)估:

    在微調(diào)後重新評(píng)估模型的性能。
  6. 合併並保存:PeftModel.from_pretrained()在新的kaggle筆記本中,使用model.merge_and_unload()

    將微調(diào)適配器與基本模型合併。測(cè)試合併模型。保存並將最終型號(hào)和令牌推到擁抱的臉部集線(xiàn)器上。
  7. >

/kaggle/input/...記住將佔(zhàn)位符(如

)替換為您的實(shí)際文件路徑。 完整的代碼和詳細(xì)說(shuō)明可在原始響應(yīng)中提供。 該凝結(jié)版本提供了高級(jí)概述和密鑰代碼片段。 在使用敏感數(shù)據(jù)時(shí),始終優(yōu)先考慮道德考慮。

以上是微調(diào)駱駝3.1用於文本分類(lèi)的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章!

本網(wǎng)站聲明
本文內(nèi)容由網(wǎng)友自願(yuàn)投稿,版權(quán)歸原作者所有。本站不承擔(dān)相應(yīng)的法律責(zé)任。如發(fā)現(xiàn)涉嫌抄襲或侵權(quán)的內(nèi)容,請(qǐng)聯(lián)絡(luò)admin@php.cn

熱AI工具

Undress AI Tool

Undress AI Tool

免費(fèi)脫衣圖片

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅(qū)動(dòng)的應(yīng)用程序,用於創(chuàng)建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線(xiàn)上人工智慧工具。

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費(fèi)的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費(fèi)的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強(qiáng)大的PHP整合開(kāi)發(fā)環(huán)境

Dreamweaver CS6

Dreamweaver CS6

視覺(jué)化網(wǎng)頁(yè)開(kāi)發(fā)工具

SublimeText3 Mac版

SublimeText3 Mac版

神級(jí)程式碼編輯軟體(SublimeText3)

熱門(mén)話(huà)題

Laravel 教程
1597
29
PHP教程
1488
72
Kimi K2:最強(qiáng)大的開(kāi)源代理模型 Kimi K2:最強(qiáng)大的開(kāi)源代理模型 Jul 12, 2025 am 09:16 AM

還記得今年早些時(shí)候破壞了Genai行業(yè)的大量開(kāi)源中國(guó)模型嗎??jī)嵐蹹eepSeek佔(zhàn)據(jù)了大多數(shù)頭條新聞,但Kimi K1.5是列表中的重要名字之一。模型很酷。

Grok 4 vs Claude 4:哪個(gè)更好? Grok 4 vs Claude 4:哪個(gè)更好? Jul 12, 2025 am 09:37 AM

到2025年中期,AI“軍備競(jìng)賽”正在加熱,XAI和Anthropic都發(fā)布了他們的旗艦車(chē)型Grok 4和Claude 4。這兩種模型處?kù)对O(shè)計(jì)理念和部署平臺(tái)的相反端,但他們卻在

今天已經(jīng)在我們中間走了10個(gè)驚人的人形機(jī)器人 今天已經(jīng)在我們中間走了10個(gè)驚人的人形機(jī)器人 Jul 16, 2025 am 11:12 AM

但是我們可能甚至不必等10年就可以看到一個(gè)。實(shí)際上,可以被認(rèn)為是真正有用的,類(lèi)人類(lèi)機(jī)器的第一波。 近年來(lái),有許多原型和生產(chǎn)模型從T中走出來(lái)

上下文工程是' new'及時(shí)的工程 上下文工程是' new'及時(shí)的工程 Jul 12, 2025 am 09:33 AM

直到上一年,迅速的工程被認(rèn)為是與大語(yǔ)言模型(LLM)互動(dòng)的關(guān)鍵技能。然而,最近,LLM在推理和理解能力方面已經(jīng)顯著提高。自然,我們的期望

6個(gè)任務(wù)Manus AI可以在幾分鐘內(nèi)完成 6個(gè)任務(wù)Manus AI可以在幾分鐘內(nèi)完成 Jul 06, 2025 am 09:29 AM

我相信您必須了解通用的AI代理Manus。它是幾個(gè)月前推出的,在過(guò)去的幾個(gè)月中,他們?yōu)橄到y(tǒng)添加了幾個(gè)新功能?,F(xiàn)在,您可以生成視頻,創(chuàng)建網(wǎng)站並做很多MO

建立Langchain健身教練:您的AI私人教練 建立Langchain健身教練:您的AI私人教練 Jul 05, 2025 am 09:06 AM

許多人充滿(mǎn)熱情地打入健身房,並相信自己正在正確實(shí)現(xiàn)自己的健身目標(biāo)。但是由於飲食計(jì)劃差和缺乏方向,結(jié)果不存在。僱用私人教練AL

Leia的浸入式移動(dòng)應(yīng)用將3D深度帶入日常照片 Leia的浸入式移動(dòng)應(yīng)用將3D深度帶入日常照片 Jul 09, 2025 am 11:17 AM

基於Leia專(zhuān)有的神經(jīng)深度引擎,應(yīng)用程序流程靜止圖像,並添加了自然深度以及模擬運(yùn)動(dòng)(例如Pans,Zooms和Alallax Effects),以創(chuàng)建簡(jiǎn)短的視頻捲軸,從而給人以踏入SCE的印象

這些AI模型沒(méi)有學(xué)習(xí)語(yǔ)言,他們學(xué)習(xí)了策略 這些AI模型沒(méi)有學(xué)習(xí)語(yǔ)言,他們學(xué)習(xí)了策略 Jul 09, 2025 am 11:16 AM

倫敦國(guó)王學(xué)院和牛津大學(xué)的研究人員的一項(xiàng)新研究分享了Openai,Google和Anthropic在基於迭代囚犯的困境基於的cutthroat競(jìng)爭(zhēng)中一起投擲的結(jié)果。這是沒(méi)有的

See all articles