2025/02/25

10:50【DeepSeek開源周第二日：開源DeepEP通信庫(kù)】DeepSeek官宣，今日開源DeepEP，據(jù)介紹，DeepEP是第一個(gè)用于MoE模型訓(xùn)練和推理的EP通信庫(kù)。特點(diǎn)有：可以實(shí)現(xiàn)高效且優(yōu)化的全對(duì)全通信；節(jié)點(diǎn)內(nèi)和節(jié)點(diǎn)間均支持NVLink和RDMA；用于訓(xùn)練和推理預(yù)填充的高吞吐量?jī)?nèi)核；用于推理解碼的低延遲內(nèi)核；原生FP8調(diào)度支持；靈活的GPU資源控制，實(shí)現(xiàn)計(jì)算-通信重疊。