隨著人工智能（AI）模型規(guī)模的持續(xù)擴(kuò)大，智算芯片間、算力節(jié)點(diǎn)間的通信帶寬不足的問題愈發(fā)突出。傳統(tǒng)電子互連方式已難以滿足GPU集群、超級(jí)計(jì)算中心和云計(jì)算平臺(tái)對(duì)高速、大容量、高效能數(shù)據(jù)交換的需求。尤其是在大模型訓(xùn)練過程中，海量參數(shù)需要在計(jì)算節(jié)點(diǎn)之間頻繁傳輸，互連帶寬不足不僅降低系統(tǒng)響應(yīng)速度，甚至可能導(dǎo)致宕機(jī)，嚴(yán)重影響計(jì)算效率與用戶體驗(yàn)。
如何突破電子傳輸在帶寬與能耗方面的物理限制，構(gòu)建以光子為信息載體的新型互連架構(gòu)？
日前，復(fù)旦大學(xué)信息科學(xué)與工程學(xué)院張俊文研究員、遲楠教授與相關(guān)研究團(tuán)隊(duì)開展合作，通過精確設(shè)計(jì)和優(yōu)化，將多維復(fù)用技術(shù)引入片上光互連架構(gòu)，不僅顯著提升了數(shù)據(jù)傳輸吞吐量，同時(shí)在功耗和延遲方面表現(xiàn)卓越，具備極強(qiáng)的擴(kuò)展性和兼容性，適用于多種高性能計(jì)算場(chǎng)景。
在此基礎(chǔ)上，團(tuán)隊(duì)設(shè)計(jì)并研制了一款硅光集成高階模式復(fù)用器芯片，實(shí)現(xiàn)了超大容量的片上光數(shù)據(jù)傳輸。實(shí)驗(yàn)結(jié)果表明，該芯片可支持每秒38Tb的數(shù)據(jù)傳輸速度，意味著未來1秒可完成大模型4.75萬億的參數(shù)傳遞，這顯著提升了大模型訓(xùn)練與計(jì)算集群間的通信性能和可靠性，為人工智能、大模型訓(xùn)練及GPU加速計(jì)算等應(yīng)用提供了強(qiáng)有力的支持。
這一技術(shù)突破不僅為數(shù)據(jù)中心和高性能計(jì)算服務(wù)器的光互連系統(tǒng)提供了新的解決方案，也為人工智能、大規(guī)模并行計(jì)算及大模型訓(xùn)練奠定了堅(jiān)實(shí)的技術(shù)基礎(chǔ)。相關(guān)研究成果發(fā)表在國(guó)際期刊《自然·通訊》上。
轉(zhuǎn)載請(qǐng)注明出處。
相關(guān)文章
熱門資訊
精彩導(dǎo)讀
關(guān)注我們
