亚洲中文字乱码免费播放,精品国产日韩专区欧美第一页,亚洲中文有码字幕青青,亚洲综合另类专区在线

          首頁 > 新聞 > 科技

          分享到微信

          打開微信,點擊底部的“發(fā)現(xiàn)”,
          使用“掃一掃”即可將網(wǎng)頁分享至朋友圈。

          DeepSeek 發(fā)布開源第一彈!讓大模型在GPU上跑得更快

          第一財經(jīng) 2025-02-24 11:19:08 聽新聞

          作者:劉曉潔    責編:李娜

          “the whale is making waves!(鯨魚正在掀起波浪?。庇芯W(wǎng)友在DeepSeek的帖子下留言稱。

          2月24日,DeepSeek啟動“開源周”,開源了首個代碼庫FlashMLA。

          據(jù)介紹,這是DeepSeek針對Hopper GPU優(yōu)化的高效MLA解碼內核,專為處理可變長度序列而設計,現(xiàn)在已經(jīng)投入生產(chǎn)使用。“在H800上能實現(xiàn)3000 GB/s 的內存帶寬 & 580 TFLOPS 的計算性能。”DeepSeek說。

          簡單來說,F(xiàn)lashMLA 是一個能讓大語言模型在 H800這樣的GPU上跑得更快、更高效的優(yōu)化方案,尤其適用于高性能AI任務。這一代碼能夠加速大語言模型的解碼過程,從而提高模型的響應速度和吞吐量,這對于實時生成任務(如聊天機器人、文本生成等)尤為重要。

          MLA (Multi-Layer Attention,多層注意力機制)是一種改進的注意力機制,旨在提高Transformer模型在處理長序列時的效率和性能‌。MLA通過多個頭(head)的并行計算,讓模型能夠同時關注文本中不同位置和不同語義層面的信息,從而更全面、更深入地捕捉長距離依賴關系和復雜語義結構‌。

          此前,有從業(yè)者解析DeepSeek架構時提到,MLA的本質是對KV(Key-Value,一種緩存機制)的有損壓縮,提高存儲信息,“該技術首次在DeepSeek-V2中引入,MLA是目前開源模型里顯著減小KV 緩存大小的最佳方法。”

          DeepSeek開源這一代碼有何影響?記者用這一問題詢問了DeepSeek,它回答稱,這一代碼就像給AI推理引擎裝上了一臺“渦輪增壓器“,讓大模型在處理復雜任務時更快、更省資源,同時降低了技術門檻。FlashMLA的意義不單是技術優(yōu)化,更是打破算力壟斷、加速AI普惠的關鍵一步。

          具體來說,F(xiàn)lashMLA可以突破GPU算力瓶頸,降低成本。傳統(tǒng)解碼方法在處理不同長度的序列(如翻譯不同長度的句子)時,GPU的并行計算能力會被浪費,就像用卡車運小包裹,大部分空間閑置。而FlashMLA的改進是:通過動態(tài)調度和內存優(yōu)化,讓Hopper GPU(如H100)的算力被“榨干”,相同硬件下吞吐量顯著提升。這意味著企業(yè)可以用更少的GPU服務器完成同樣的任務,直接降低推理成本。

          另一方面,F(xiàn)lashMLA可以推動大模型落地應用。可變長度序列是現(xiàn)實場景中的常態(tài)(如聊天對話、文檔生成),但傳統(tǒng)方法需要填充(Padding)到固定長度,導致計算冗余。FlashMLA支持動態(tài)處理變長輸入,讓AI應用(如客服機器人、代碼生成)響應更快、更流暢,用戶體驗提升,加速商業(yè)化落地。

          此前高效解碼內核多由科技巨頭閉源壟斷(如CUDA優(yōu)化庫),中小企業(yè)和研究者難以復現(xiàn)。FlashMLA開源后,開發(fā)者可免費獲得“工業(yè)級優(yōu)化方案”,降低技術門檻,促進更多創(chuàng)新應用(如垂直領域小模型)的誕生。

          "the whale is making waves!(鯨魚正在掀起波浪?。?rdquo;有網(wǎng)友在DeepSeek的帖子下留言稱。(注:DeepSeek的企業(yè)LOGO是鯨魚)。

          也有網(wǎng)友希望DeepSeek開源網(wǎng)頁搜索(Web Search)相關的代碼,并提到,“DeepSeek 是真正的OpenAI(開放人工智能)”。

          這僅僅是開始,上周2月21日DeepSeek宣布,下周開始,會陸續(xù)開源5個代碼庫,“以完全透明的方式分享我們微小但真誠的進展”。DeepSeek表示,這些在線服務中的基礎構建模塊已經(jīng)經(jīng)過文檔化、部署,并在生產(chǎn)環(huán)境中經(jīng)過實戰(zhàn)檢驗。

          DeepSeek在公告中稱自己是探索 AGI 的小公司,作為開源社區(qū)的一部分,每分享一行代碼,都會成為加速AI行業(yè)發(fā)展的集體動力。同時,DeepSeek 稱,沒有高不可攀的象牙塔,只有純粹的車庫文化(不少美國著名企業(yè)從車庫里誕生)和社區(qū)驅動的創(chuàng)新。

          舉報
          第一財經(jīng)廣告合作,請點擊這里
          此內容為第一財經(jīng)原創(chuàng),著作權歸第一財經(jīng)所有。未經(jīng)第一財經(jīng)書面授權,不得以任何方式加以使用,包括轉載、摘編、復制或建立鏡像。第一財經(jīng)保留追究侵權者法律責任的權利。
          如需獲得授權請聯(lián)系第一財經(jīng)版權部:banquan@yicai.com

          文章作者

          一財最熱
          點擊關閉