高通在2023 waic上展示了令人矚目的ai技術(shù)：在搭載第二代驍龍8的手機(jī)上運(yùn)行stable diffusion模型，僅用15秒完成20步推理，生成512x512像素的圖像。

演示效果媲美云端處理，文本輸入無任何限制。此前，龐大的參數(shù)規(guī)模（超過10億）限制了Stable Diffusion在終端設(shè)備的運(yùn)行，高通此舉證明了其“端云協(xié)同”的AI未來觀：只有云端和終端協(xié)同處理，才能實(shí)現(xiàn)AI規(guī)?；瘮U(kuò)展，發(fā)揮最大潛力。

生成式AI高成本推理的挑戰(zhàn)

AI已廣泛應(yīng)用于智能手機(jī)、PC、XR等終端設(shè)備，生成式AI的興起更是加速了AI市場發(fā)展。瑞銀預(yù)測，生成式AI市場規(guī)模將達(dá)萬億美元。然而，訓(xùn)練和推理成本高昂，數(shù)十億參數(shù)的模型需要在云端部署，推理成本隨用戶數(shù)量和使用頻率劇增，給企業(yè)帶來巨大運(yùn)營壓力。例如，基于生成式AI的搜索引擎，每次搜索成本是傳統(tǒng)搜索的十倍，每日百億次搜索將產(chǎn)生數(shù)十億美元的額外成本。

高通白皮書《混合AI是AI的未來》提出，混合AI架構(gòu)，如同傳統(tǒng)計(jì)算從大型主機(jī)轉(zhuǎn)向云端和終端結(jié)合的模式，將解決這一問題。高通AI負(fù)責(zé)人Ziad Asghar表示，混合AI將AI工作負(fù)載分配到云端和邊緣終端，實(shí)現(xiàn)更強(qiáng)大、高效的AI。

混合AI：降低成本，提升效率

混合AI將部分處理從云端轉(zhuǎn)移到終端，減輕云基礎(chǔ)設(shè)施壓力，降低成本。開發(fā)者可基于完全終端運(yùn)行的模型創(chuàng)建應(yīng)用，降低或消除每圖像的查詢成本。此外，混合AI還具備能耗、性能、隱私和個(gè)性化等優(yōu)勢：

• 低能耗: 終端側(cè)運(yùn)行更省電。
• 高性能: 避免云端負(fù)載過高導(dǎo)致的排隊(duì)等待，即使離線也能運(yùn)行。
• 高安全性: 保護(hù)用戶數(shù)據(jù)隱私。
• 個(gè)性化體驗(yàn): 基于用戶數(shù)據(jù)提供定制化服務(wù)。

高效負(fù)載分配：終端處理能力是關(guān)鍵

混合AI的關(guān)鍵在于根據(jù)模型和查詢復(fù)雜度，靈活分配云端和終端的處理負(fù)載。簡單任務(wù)可在終端完成，復(fù)雜任務(wù)則可在云端和終端協(xié)同處理。高通在AI模型壓縮和終端處理能力方面進(jìn)行了大量投入：

• 模型壓縮: 利用VAE技術(shù)將模型參數(shù)壓縮至1億以下，并在量化、壓縮、編譯等方面進(jìn)行優(yōu)化，實(shí)現(xiàn)高性能低功耗。例如，將FP32模型量化壓縮到INT4模型，內(nèi)存和計(jì)算能效提升64倍。
• 終端處理能力: 高通AI引擎，特別是Hexagon處理器，提供強(qiáng)大的AI處理能力，能效是競品的2倍。Hexagon處理器支持微切片推理和INT4硬件加速，在低內(nèi)存和低功耗下實(shí)現(xiàn)高性能。

高通AI軟件棧支持主流AI框架和運(yùn)行時(shí)，并集成高通神經(jīng)網(wǎng)絡(luò)處理SDK，簡化開發(fā)流程。高通AI Studio提供可視化工具，優(yōu)化開發(fā)體驗(yàn)。

數(shù)十億終端互聯(lián)，開啟全新AI體驗(yàn)

高通的混合AI技術(shù)將賦能各領(lǐng)域，帶來全新體驗(yàn)：

• 智能手機(jī): 成為真正的數(shù)字助手，提供更智能、更個(gè)性化的服務(wù)。
• PC/筆記本: 提升生產(chǎn)力，輔助辦公。
• 智能汽車: 提供更個(gè)性化的駕乘體驗(yàn)。
• XR: 創(chuàng)造沉浸式虛擬世界。
• 物聯(lián)網(wǎng): 賦能各行業(yè)，提升效率。

高通在終端市場的廣泛覆蓋，加上其在生成式AI領(lǐng)域的深厚積累，讓AI的美好愿景觸手可及。 數(shù)十億終端的互聯(lián)，將開啟一個(gè)全新的AI時(shí)代。（PHP中文網(wǎng)）

以上就是當(dāng)AI大模型在手機(jī)上運(yùn)行，AI未來已來？的詳細(xì)內(nèi)容，更多請關(guān)注php中文網(wǎng)其它相關(guān)文章！