微軟擁抱DeepSeek 提升本地AI能力

微軟今日宣布,通過(guò)Azure AI Foundry接入DeepSeek-R1 7B和14B蒸餾模型,為Copilot+ PC提供本地運(yùn)行這兩種模型的能力。今年1月,微軟曾計(jì)劃將DeepSeek-R1模型的NPU優(yōu)化版本直接帶到搭載高通驍龍X處理器的Copilot+ PC上,如今這一承諾已經(jīng)實(shí)現(xiàn)。

從微軟官方博客了解到,這些模型將首先在搭載高通驍龍X處理器的設(shè)備上上線,隨后擴(kuò)展到英特爾酷睿Ultra 200V和AMD銳龍的設(shè)備。由于模型運(yùn)行在NPU上,這不僅減少了對(duì)PC電池續(xù)航和散熱性能的影響,還使得CPU和GPU能夠執(zhí)行其他任務(wù),從而持續(xù)獲得AI計(jì)算能力。

微軟使用了Aqua內(nèi)部自動(dòng)量化工具,將所有DeepSeek模型變體量化為int4權(quán)重。然而,目前模型的標(biāo)記速度較低,14B模型僅為8 tok/秒,而1.5B模型接近40 tok/秒。微軟表示正在進(jìn)一步優(yōu)化以提高速度。開發(fā)者可以通過(guò)AI Toolkit VS Code擴(kuò)展在Copilot+ PC上下載并運(yùn)行DeepSeek模型的不同版本。

? 版權(quán)聲明
評(píng)論 搶沙發(fā)
加載中~
每日一言
不怕萬(wàn)人阻擋,只怕自己投降
Not afraid of people blocking, I'm afraid their surrender