顯著超越 SFT，o1/DeepSeek-R1 背后秘訣也能用于多模態(tài)大模型了
Mar 12, 2025 pm 01:03 PM
上海交大、上海AI Lab和港中文大學(xué)的研究人員推出Visual-RFT（視覺強化微調(diào)）開源項目，該項目僅需少量數(shù)據(jù)即可顯著提升視覺語言大模型（LVLM）性能。 Visual-RFT巧妙地將DeepSeek-R1的基于規(guī)則獎勵的強化學(xué)習(xí)方法與OpenAI的強化微調(diào)（RFT）范式相結(jié)合，成功地將這一方法從文本領(lǐng)域擴(kuò)展到視覺領(lǐng)域。
通過為視覺細(xì)分類、目標(biāo)檢測等任務(wù)設(shè)計相應(yīng)的規(guī)則獎勵，Visual-RFT克服了DeepSeek-R1方法僅限于文本、數(shù)學(xué)推理等領(lǐng)域的局限性，為LVLM訓(xùn)練提供了新的途徑。
Visual-RFT的優(yōu)勢：
與傳統(tǒng)的視覺指令微調(diào)（SFT）方法相比，Visual-RFT具有以下顯著優(yōu)勢：
- 少樣本學(xué)習(xí)能力:僅需10到1000條數(shù)據(jù)即可實現(xiàn)有效微調(diào)。
- 更強的泛化性:在數(shù)據(jù)有限的場景下，性能優(yōu)于SFT。
研究人員在多個視覺感知任務(wù)（檢測、分類、定位等）上對Visual-RFT進(jìn)行了驗證，結(jié)果表明，即使在開放詞匯和少樣本學(xué)習(xí)的設(shè)定下，Visual-RFT也能取得顯著的性能提升，輕松實現(xiàn)能力遷移。
研究人員針對不同的任務(wù)設(shè)計了相應(yīng)的可驗證獎勵：基于IoU的獎勵用于檢測和定位任務(wù)，基于分類正確性的獎勵用于分類任務(wù)。
在推理定位任務(wù)中，Visual-RFT展現(xiàn)出強大的視覺推理能力，例如，準(zhǔn)確識別圖片中運動員需要佩戴的防水眼鏡。
實驗結(jié)果:
基于QWen2-VL 2B/7B模型進(jìn)行的實驗表明，Visual-RFT在開放目標(biāo)檢測、少樣本檢測、細(xì)粒度分類和推理定位任務(wù)上均優(yōu)于SFT。 即使是檢測特定動漫角色（例如史萊姆），Visual-RFT也只需少量數(shù)據(jù)即可實現(xiàn)。
開源信息:
Visual-RFT項目已開源，包含訓(xùn)練、評測代碼和數(shù)據(jù)。
項目地址： http://m.miracleart.cn/link/ec56522bc9c2e15be17d11962eeec453
以上是顯著超越 SFT，o1/DeepSeek-R1 背后秘訣也能用于多模態(tài)大模型了的詳細(xì)內(nèi)容。更多信息請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！
熱AI工具
Undress AI Tool
免費脫衣服圖片
Undresser.AI Undress
人工智能驅(qū)動的應(yīng)用程序，用于創(chuàng)建逼真的裸體照片
AI Clothes Remover
用于從照片中去除衣服的在線人工智能工具。
Clothoff.io
AI脫衣機(jī)
Video Face Swap
使用我們完全免費的人工智能換臉工具輕松在任何視頻中換臉！
熱門文章
熱工具
記事本++7.3.1
好用且免費的代碼編輯器
SublimeText3漢化版
中文版，非常好用
禪工作室 13.0.1
功能強大的PHP集成開發(fā)環(huán)境
Dreamweaver CS6
視覺化網(wǎng)頁開發(fā)工具
SublimeText3 Mac版
神級代碼編輯軟件(SublimeText3)
加密貨幣主流公鏈有哪些？2025加密貨幣主流公鏈排行榜前十名匯總
Jul 10, 2025 pm 08:21 PM
公鏈領(lǐng)域的格局呈現(xiàn)出“一超多強、百花齊放”的態(tài)勢。以太坊憑借其生態(tài)護(hù)城河依然領(lǐng)先，而Solana、Avalanche等則在性能上發(fā)起挑戰(zhàn)。與此同時，專注于互操作性的Polkadot、Cosmos和作為關(guān)鍵基礎(chǔ)設(shè)施的Chainlink，共同構(gòu)成了多鏈并存的未來圖景。對于用戶和開發(fā)者而言，選擇哪個平臺不再是單選題，而是需要根據(jù)具體需求在性能、成本、安全性和生態(tài)成熟度之間做出權(quán)衡。
Cardano的智能合約演變：Alonzo升級對2025年的影響
Jul 10, 2025 pm 07:36 PM
Cardano的Alonzo硬分叉升級通過引入Plutus智能合約平臺，成功將Cardano從價值轉(zhuǎn)移網(wǎng)絡(luò)轉(zhuǎn)變?yōu)楣δ芡陚涞闹悄芎霞s平臺。1. Plutus基于Haskell語言，具備強大的功能性、增強的安全性和可預(yù)測的費用模型；2. 升級后dApps部署加速，開發(fā)者社區(qū)擴(kuò)大，DeFi和NFT生態(tài)迅速發(fā)展；3. 展望2025年，Cardano生態(tài)系統(tǒng)將更加成熟多元，結(jié)合Basho時代的可擴(kuò)展性提升、跨鏈互操作性增強、Voltaire時代的去中心化治理演進(jìn)以及企業(yè)級應(yīng)用推動主流采用，Cardano有
我如何查看我的git存儲庫的提交歷史？
Jul 13, 2025 am 12:07 AM
要查看Git提交歷史，使用gitlog命令。1.基本用法為gitlog，可顯示提交哈希、作者、日期和提交信息；2.使用gitlog--oneline獲取簡潔視圖；3.通過--author和--grep按作者或提交信息過濾；4.添加-p查看代碼變更，--stat查看變更統(tǒng)計；5.使用--graph和--all查看分支歷史，或借助GitKraken、VSCode等可視化工具。
領(lǐng)漲2025加密市場的前二十大代幣排行榜(最新更新）
Jul 10, 2025 pm 08:48 PM
2025年最具潛力的二十大加密資產(chǎn)包括BTC、ETH、SOL等，主要覆蓋公鏈、Layer 2、AI、DeFi和游戲等多個賽道。1.BTC憑借數(shù)字黃金屬性和ETF普及持續(xù)引領(lǐng)市場；2.ETH因智能合約平臺地位和升級鞏固生態(tài)；3.SOL以高性能公鏈和開發(fā)者社區(qū)脫穎而出；4.LINK作為預(yù)言機(jī)龍頭連接現(xiàn)實數(shù)據(jù)；5.RNDR構(gòu)建去中心化GPU網(wǎng)絡(luò)服務(wù)AI需求；6.IMX專注Web3游戲提供零Gas費環(huán)境；7.ARB以成熟Layer 2技術(shù)和龐大DeFi生態(tài)領(lǐng)先；8.MATIC通過多鏈演進(jìn)成為以太坊價值層
USDC、DAI、TUSD區(qū)別與優(yōu)缺點對比（最近更新）
Jul 10, 2025 pm 09:09 PM
USDC、DAI和TUSD的核心區(qū)別在于發(fā)行機(jī)制、抵押資產(chǎn)和風(fēng)險特征。1.USDC是中心化穩(wěn)定幣，由Circle發(fā)行，以現(xiàn)金和短期國債為抵押，優(yōu)點是合規(guī)透明、流動性強、穩(wěn)定性高，但存在中心化審查和單點故障風(fēng)險；2.DAI是去中心化穩(wěn)定幣，通過MakerDAO協(xié)議生成，抵押品為加密資產(chǎn)，具備抗審查、鏈上透明、無需許可等優(yōu)勢，但也面臨系統(tǒng)性風(fēng)險、對中心化資產(chǎn)依賴及復(fù)雜性問題；3.TUSD是中心化穩(wěn)定幣，強調(diào)實時鏈上儲備證明，提供更高頻透明度驗證，但市場份額較小，流動性較弱。三者在抵押物類型、去中心化
如何刪除git分支？
Jul 13, 2025 am 12:02 AM
要刪除Git分支，首先確保已合并或無需保留，使用gitbranch-d刪除本地已合并分支，若需強制刪除未合并分支則用-D參數(shù)。遠(yuǎn)程分支刪除使用gitpushorigin--deletebranch-name命令，并可通過gitfetch--prune同步他人本地倉庫。1.刪除本地分支需確認(rèn)是否已合并；2.遠(yuǎn)程分支刪除需使用--delete參數(shù)；3.刪除后應(yīng)驗證分支是否成功移除；4.與團(tuán)隊溝通避免誤刪共享分支；5.定期清理無用分支以保持倉庫整潔。
全球主流加密貨幣有哪些？2025年加密貨幣深度分析(含網(wǎng)址）
Jul 10, 2025 pm 08:36 PM
在數(shù)字經(jīng)濟(jì)浪潮席卷全球的當(dāng)下，加密貨幣以其獨特的去中心化、透明化特性，成為各界關(guān)注的焦點。從最初的極客小眾實驗，到如今市值數(shù)萬億的金融版圖，加密貨幣的演變軌跡令人驚嘆。它不僅帶來了底層技術(shù)的革新，也催生了無數(shù)創(chuàng)新應(yīng)用，正深刻影響著金融、科技乃至社會治理的方方面面。
狗狗幣DOGE屬于哪條鏈？狗狗幣是否屬于幣安鏈？
Jul 10, 2025 pm 08:39 PM
近期，數(shù)字資產(chǎn)領(lǐng)域的討論熱度不減，狗狗幣DOGE作為其中一個備受關(guān)注的焦點，其技術(shù)基礎(chǔ)和平臺歸屬成為不少人探索的疑問。它究竟“安家”何處？又與當(dāng)前頭部交易平臺——幣安有怎樣的關(guān)聯(lián)？要解答這些問題，我們需要從數(shù)字資產(chǎn)的底層技術(shù)邏輯和平臺生態(tài)兩個維度進(jìn)行深入剖析，而非僅僅停留在表象。
