GPU用量減少82%，阿里云研究成果入選SOSP2025

  ICC訊 近日，頂級(jí)學(xué)術(shù)會(huì)議SOSP2025在韓國首爾舉行，本屆會(huì)議僅收錄66篇論文，其中阿里云提出的GPU池化服務(wù)多模型研究成果成功入選，該研究提出多模型混合服務(wù)系統(tǒng)Aegaeon，可大幅提升GPU資源利用率，目前其核心技術(shù)已應(yīng)用在阿里云百煉平臺(tái)。

  SOSP(操作系統(tǒng)原理研討會(huì))由ACMSIGOPS主辦，是計(jì)算機(jī)系統(tǒng)領(lǐng)域頂級(jí)學(xué)術(shù)會(huì)議，平均每年收錄的論文數(shù)量僅有數(shù)十篇，被譽(yù)為計(jì)算機(jī)操作系統(tǒng)界的“奧斯卡”，入選論文代表了操作系統(tǒng)和軟件領(lǐng)域最具代表的研究成果。本屆SOSP大會(huì)，關(guān)于系統(tǒng)軟件與AI大模型技術(shù)的融合研究成為新的趨勢。

  全球模型的數(shù)量仍在持續(xù)增長，據(jù)統(tǒng)計(jì)，HuggingFace已托管了超100萬個(gè)模型。在真實(shí)服務(wù)場景中，少量熱門模型占據(jù)了總請(qǐng)求的絕大部分，而超過90%的模型則調(diào)用頻率較低。當(dāng)前的事實(shí)標(biāo)準(zhǔn)解決方案是為每個(gè)模型至少預(yù)留一個(gè)推理實(shí)例，這造成了GPU資源的大量浪費(fèi)。

  阿里云百煉團(tuán)隊(duì)在論文中創(chuàng)新性提出多模型混合服務(wù)系統(tǒng)Aegaeon，首次將調(diào)度實(shí)現(xiàn)在token級(jí)別，在每次生成完下一個(gè)token之后，都可通過精確的執(zhí)行時(shí)間預(yù)測和創(chuàng)新的token級(jí)調(diào)度算法規(guī)劃是否需要切換模型，從而實(shí)現(xiàn)多個(gè)模型混合服務(wù)且滿足延遲要求;通過組件復(fù)用、顯存精細(xì)化管理和KV緩存同步優(yōu)化等全棧技術(shù)，Aegaeon將模型切換開銷降低97%，確保了token級(jí)調(diào)度的實(shí)時(shí)性，可支持亞秒級(jí)的模型切換響應(yīng)。據(jù)介紹，Aegaeon系統(tǒng)支持單GPU同時(shí)服務(wù)多達(dá)7個(gè)不同模型，相比現(xiàn)有主流方案提升1.5-9倍的有效吞吐量，實(shí)現(xiàn)2-2.5倍的請(qǐng)求處理能力。

  目前，Aegaeon核心技術(shù)已在阿里云百煉平臺(tái)部署，服務(wù)數(shù)十個(gè)模型的推理，將服務(wù)這些模型所需的GPU數(shù)量減少了82%。

  據(jù)介紹，阿里云百煉平臺(tái)已上線Qwen、Wan、DeepSeek等200多款業(yè)界領(lǐng)先的模型，過去一年，阿里云百煉平臺(tái)的模型調(diào)用量增長了15倍。