2025/03/10

17:25【字節(jié)攻克MoE關(guān)鍵瓶頸，訓(xùn)練成本節(jié)省40%】據(jù)證券時(shí)報(bào)，字節(jié)豆包大模型團(tuán)隊(duì)官宣開源一項(xiàng)針對(duì)MoE架構(gòu)的關(guān)鍵優(yōu)化技術(shù)，可將大模型訓(xùn)練效率提升1.7倍，成本節(jié)省40%。據(jù)悉，該技術(shù)已實(shí)際應(yīng)用于字節(jié)的萬(wàn)卡集群訓(xùn)練，累計(jì)幫助節(jié)省了數(shù)百萬(wàn)GPU小時(shí)訓(xùn)練算力。