2024/11/05

15:41【騰訊發(fā)布MoE大語言模型】11月5日，騰訊發(fā)布Hunyuan-large。據(jù)官方數(shù)字，該模型是業(yè)界參數(shù)規(guī)模最大的開源MoE（專家）大語言模型，總參數(shù)389B，上下文長度256K，模型層數(shù)64層，用到了合成數(shù)據(jù)。騰訊機(jī)器學(xué)習(xí)平臺總監(jiān)康戰(zhàn)輝表示，今天業(yè)內(nèi)用的更多還是自然數(shù)據(jù)，但自然數(shù)據(jù)增長跟不上模型的需求。（第一財(cái)經(jīng)記者 鄭栩彤）