分享到微信打開微信,點(diǎn)擊底部的“發(fā)現(xiàn)”, |
10:50【DeepSeek開源周第二日:開源DeepEP通信庫(kù)】DeepSeek官宣,今日開源DeepEP,據(jù)介紹,DeepEP是第一個(gè)用于MoE模型訓(xùn)練和推理的EP通信庫(kù)。特點(diǎn)有:可以實(shí)現(xiàn)高效且優(yōu)化的全對(duì)全通信;節(jié)點(diǎn)內(nèi)和節(jié)點(diǎn)間均支持NVLink和RDMA;用于訓(xùn)練和推理預(yù)填充的高吞吐量?jī)?nèi)核;用于推理解碼的低延遲內(nèi)核;原生FP8調(diào)度支持;靈活的GPU資源控制,實(shí)現(xiàn)計(jì)算-通信重疊。