腾讯“混元”AI大模型登顶CLUE总榜,彰显自然语言理解领域强大实力
5月24日,腾讯“混元”AI大模型在CLUE(中文语言理解评测集合)总排行榜、阅读理解、大规模知识图谱三个榜单同时登顶,一举打破三项纪录。
据了解,CLUE总榜由分类任务和阅读理解任务构成。腾讯“混元”AI大模型在一个月内先后实现分类任务、阅读理解双佳绩,最终以 84.730的成绩取得总榜第一。
作为中文最具权威的自然语言理解榜单之一,CLUE共开设了包含文本相似度、分类、上下文推理、阅读理解在内的9项子任务,旨在推动NLP(自然语言处理预)训练模型技术的不断进步和突破。
NLP(自然语言处理)技术是人工智能领域的一个核心研究方向,其目的是使得计算机具备人类的听、说、读、写等能力,并利用知识和常识进行推理和决策。目前,越来越多的科技企业和研发机构投入到该领域的研究当中,在CLUE等业界榜单的竞争也十分激烈。
在预训练阶段,除常规公开数据集之外,“混元”大模型还学习了商业领域特有的文本数据集。因此,相较于业界其他AI大模型,“混元”能够更好地理解各种长度文本信息,应对搜索、广告、新闻、问答等多样化的场景任务,在阅读理解、知识图谱相关的下游任务中也更加具有优势。
除性能提升之外,“混元”大模型通过借助数据及模型课程学习、多短句合并掩码、改进PowerSGD(优化通信算法)等方法,有效压缩低带宽环境下GPU节点训练的通信数据量和通信耗时,实现训练效率的大幅提升。
目前,腾讯“混元”AI大模型研发团队已经将改进的PowerSGD方法贡献给PyTorch开源社区,将在PyTorch下个版本中正式上线。
得益于“混元”AI大模型在自然语言理解、跨模态检索领域强大的技术能力,自今年4月以来,该模型已成功斩获MSR-VTT、MSVD、CLUE等各大权威AI榜单榜首,这意味着,腾讯在人工智能领域的技术研发已取得突破性进展。
目前,“混元“NLP大模型已经应用于腾讯内部多个业务,并在腾讯广告的数据挖掘任务中带来超过5%的指标提升,提升广告推荐的精准度,优化用户体验。未来,腾讯混元AI大模型研发团队将根据具体场景需求持续推进大模型的研究和优化,加速AI技术在各个产业的应用和落地。
雷峰网 (公众号:雷峰网)
雷峰网版权文章,未经授权禁止转载。详情见 转载须知 。
- 被吹爆的 「零信任」安全,企业如何落地?
- 吴恩达:机器学习的六个核心算法
- 首发|融合视觉传感芯片公司锐思智芯完成近2亿元A轮融资
- 除了顶尖性能,高通还让旗舰手机成了六边形战士
- 天猫精灵今天推出 Sound 系列,沉淀四年的智能声学有何不同?
- 2029年会实现通用人工智能吗?Gary Marcus「叫板」马斯克:赌十万美元如何?
- AI技术助力全球抗疫 智峪生科公布猴痘病毒全基因组蛋白质结构预测结果
- AI发现一款临床前「新冠特效药」,有望适用多种冠状病毒
- 安谋科技结束纷争,迎来发展新机遇
- 英伟达「三芯」策略初步奏效 | ISC 2022
- 机器人落地「秘诀」:持续学习、知识迁移和自主参与
- Broadcom 收购 VMware ,创建边缘基础设施和物联网帝国
- 腾讯云区块链参与国家重点研发计划区块链专项
- 国家数据战略升级2.0 隐私计算或成重要技术支撑
- 腾讯“混元”AI大模型登顶CLUE总榜,彰显自然语言理解领域强大实力
- 小视科技“智慧技防小区”上线,社区治理一键提效
- 百度地图从王海峰旗下剥离,与汽车业务合并,资深副总裁李震宇分管范围扩大
- 全面守护“第一道防线”,旷视企业业务启动首场产品直播
- 马里亚纳X芯片下沉至OPPO Reno8,高通联发科同台竞技
- 2022年阿里巴巴全球数学竞赛预赛答案公布 全球5万数学人共夺决赛入场券