重磅推薦：Visual-RFT——視覺強(qiáng)化微調(diào)開源項(xiàng)目，賦能視覺語(yǔ)言模型！

AIxiv專欄持續(xù)關(guān)注全球頂尖AI研究，已發(fā)布2000余篇學(xué)術(shù)技術(shù)文章。歡迎投稿分享您的優(yōu)秀成果！投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

Visual-RFT (Visual Reinforcement Fine-Tuning) 項(xiàng)目，將基于規(guī)則獎(jiǎng)勵(lì)的強(qiáng)化學(xué)習(xí)與強(qiáng)化微調(diào)（RFT）范式成功應(yīng)用于視覺語(yǔ)言大模型（LVLM），突破了以往方法僅限于文本、數(shù)學(xué)等領(lǐng)域的局限。通過(guò)為視覺細(xì)分類、目標(biāo)檢測(cè)等任務(wù)設(shè)計(jì)特定規(guī)則獎(jiǎng)勵(lì)，Visual-RFT 為L(zhǎng)VLM訓(xùn)練提供了全新思路！

圖1展示了Visual-RFT的強(qiáng)大泛化能力：模型僅需少量數(shù)據(jù)，便能準(zhǔn)確識(shí)別視覺強(qiáng)化微調(diào)！DeepSeek R1技術(shù)成功遷移到多模態(tài)領(lǐng)域，全面開源中特定寶可夢(mèng)并定位其坐標(biāo)。

^{圖1. Visual-RFT 將強(qiáng)化微調(diào)擴(kuò)展到多模態(tài)，只需10-1000條數(shù)據(jù)即可顯著提升模型性能。}

從RFT到Visual-RFT：強(qiáng)化學(xué)習(xí)在多模態(tài)領(lǐng)域的突破

OpenAI的強(qiáng)化微調(diào)技術(shù)，只需少量樣本即可實(shí)現(xiàn)模型能力遷移。 DeepSeek-R1揭示了其強(qiáng)大的推理能力源于基于可驗(yàn)證獎(jiǎng)勵(lì)的強(qiáng)化學(xué)習(xí)策略。然而，該策略此前主要應(yīng)用于文本、數(shù)學(xué)等領(lǐng)域。 Visual-RFT將此策略成功拓展至視覺領(lǐng)域，通過(guò)構(gòu)建可驗(yàn)證規(guī)則獎(jiǎng)勵(lì)，解決了傳統(tǒng)方法在視覺領(lǐng)域的局限性，實(shí)現(xiàn)高效、高泛化性的視覺理解與推理。

傳統(tǒng)的視覺指令微調(diào)（SFT）需要大量數(shù)據(jù)，而Visual-RFT的少樣本學(xué)習(xí)能力使其在數(shù)據(jù)稀缺場(chǎng)景下更具優(yōu)勢(shì)。

為了驗(yàn)證Visual-RFT的泛化能力，研究團(tuán)隊(duì)在目標(biāo)檢測(cè)、分類、 grounding等多個(gè)視覺任務(wù)上進(jìn)行了測(cè)試。結(jié)果顯示，Visual-RFT在開放詞匯、少樣本學(xué)習(xí)等設(shè)定下，僅需少量數(shù)據(jù)即可實(shí)現(xiàn)顯著性能提升，并優(yōu)于SFT方法。尤其在推理定位任務(wù)中，Visual-RFT展現(xiàn)出卓越的視覺推理能力。 （詳見論文）

^{圖2. Visual-RFT在多個(gè)視覺任務(wù)上顯著超越SFT。}

^{圖3. Visual-RFT框架圖，利用IoU和cls獎(jiǎng)勵(lì)以及強(qiáng)化學(xué)習(xí)策略更新模型參數(shù)。}

研究團(tuán)隊(duì)使用基于IoU的可驗(yàn)證獎(jiǎng)勵(lì)用于檢測(cè)和grounding任務(wù)，使用基于分類正確性的cls獎(jiǎng)勵(lì)用于分類任務(wù)。 （如圖3所示）

^{圖4. 推理定位結(jié)果展示，Visual-RFT超越SFT，更精準(zhǔn)地定位物體。}

^{圖5. 推理細(xì)粒度分類結(jié)果展示，Visual-RFT超越SFT，更精準(zhǔn)地定位物體。}

圖4和圖5展示了模型輸出結(jié)果，Visual-RFT通過(guò)強(qiáng)化學(xué)習(xí)策略，進(jìn)行深入的推理分析，取得了優(yōu)于SFT的性能。

Visual-RFT實(shí)驗(yàn)結(jié)果

基于QWen2-VL 2B/7B模型，Visual-RFT在開放目標(biāo)檢測(cè)、少樣本檢測(cè)、細(xì)粒度分類和推理定位任務(wù)上全面超越SFT。實(shí)驗(yàn)數(shù)據(jù)涵蓋COCO、LVIS等通用場(chǎng)景和互聯(lián)網(wǎng)卡通人物等開放場(chǎng)景。僅需少量數(shù)據(jù)，Visual-RFT即可實(shí)現(xiàn)能力遷移，展現(xiàn)出卓越的性能和魯棒性。

^{圖5. 部分實(shí)驗(yàn)結(jié)果展示，Visual-RFT顯著超越SFT。}

Visual-RFT已開源！

Visual-RFT項(xiàng)目已開源，包含訓(xùn)練、評(píng)估代碼和數(shù)據(jù)。歡迎參與！

項(xiàng)目地址： http://m.miracleart.cn/link/ec56522bc9c2e15be17d11962eeec453

以上是視覺強(qiáng)化微調(diào)！DeepSeek R1技術(shù)成功遷移到多模態(tài)領(lǐng)域，全面開源的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！