騰訊“混元”AI大模型登頂CLUE總榜，彰顯自然語言理解領域強大實力

5月24日，騰訊“混元”AI大模型在CLUE（中文語言理解評測集合）總排行榜、閲讀理解、大規模知識圖譜三個榜單同時登頂，一舉打破三項紀錄。

據瞭解，CLUE總榜由分類任務和閲讀理解任務構成。騰訊“混元”AI大模型在一個月內先後實現分類任務、閲讀理解雙佳績，最終以 84.730的成績取得總榜第一。

作為中文最具權威的自然語言理解榜單之一，CLUE共開設了包含文本相似度、分類、上下文推理、閲讀理解在內的9項子任務，旨在推動NLP（自然語言處理預）訓練模型技術的不斷進步和突破。

NLP（自然語言處理）技術是人工智能領域的一個核心研究方向，其目的是使得計算機具備人類的聽、説、讀、寫等能力，並利用知識和常識進行推理和決策。目前，越來越多的科技企業和研發機構投入到該領域的研究當中，在CLUE等業界榜單的競爭也十分激烈。

在預訓練階段，除常規公開數據集之外，“混元”大模型還學習了商業領域特有的文本數據集。因此，相較於業界其他AI大模型，“混元”能夠更好地理解各種長度文本信息，應對搜索、廣吿、新聞、問答等多樣化的場景任務，在閲讀理解、知識圖譜相關的下游任務中也更加具有優勢。

除性能提升之外，“混元”大模型通過藉助數據及模型課程學習、多短句合併掩碼、改進PowerSGD（優化通信算法）等方法，有效壓縮低帶寬環境下GPU節點訓練的通信數據量和通信耗時，實現訓練效率的大幅提升。

目前，騰訊“混元”AI大模型研發團隊已經將改進的PowerSGD方法貢獻給PyTorch開源社區，將在PyTorch下個版本中正式上線。

得益於“混元”AI大模型在自然語言理解、跨模態檢索領域強大的技術能力，自今年4月以來，該模型已成功斬獲MSR-VTT、MSVD、CLUE等各大權威AI榜單榜首，這意味着，騰訊在人工智能領域的技術研發已取得突破性進展。

目前，“混元“NLP大模型已經應用於騰訊內部多個業務，並在騰訊廣吿的數據挖掘任務中帶來超過5%的指標提升，提升廣吿推薦的精準度，優化用户體驗。未來，騰訊混元AI大模型研發團隊將根據具體場景需求持續推進大模型的研究和優化，加速AI技術在各個產業的應用和落地。

雷峯網 (公眾號：雷峯網)

雷峯網版權文章，未經授權禁止轉載。詳情見 轉載須知 。