6月27日,腾讯混元宣布开源首个混合推理MoE模型 Hunyuan-A13B,总参数80B,激活参数仅13B,效果比肩同等架构领先开源模型,但是推理速度更快,性价比更高。这意味着,开发者可以用更低门槛的方式获得更好的模型能力。
即日起,模型已经在 Github 和 Huggingface 等开源社区上线,同时模型API也在腾讯云官网正式上线,支持快速接入部署。
这是业界首个13B级别的MoE开源混合推理模型,基于先进的模型架构,Hunyuan-A13B表现出强大的通用能力,在多个业内权威数据测试集上获得好成绩,并且在Agent工具调用和长文能力上有突出表现。
*加粗为最高分,下划线表示第二名,数据来源于模型各个公开的测试数据集得分
对于时下热门的大模型Agent能力,腾讯混元建设了一套多Agent数据合成框架,接入了MCP、沙箱、大语言模型模拟等多样的环境,并且通过强化学习让Agent在多种环境里进行自主探索与学习,进一步提升了Hunyuan-A13B的效果。
在长文方面,Hunyuan-A13B支持256K原生上下文窗口,在多个长文数据集中取得了优异的成绩。
在实际使用场景中,Hunyuan-A13B模型可以根据需要选择思考模式,快思考模式提供简洁、高效的输出,适合追求速度和最小计算开销的简单任务;慢思考涉及更深、更全面的推理步骤,如反思和回溯。这种融合推理模式优化了计算资源分配,使用户能够通过加think/no_think切换思考模式,在效率和特定任务准确性之间取得平衡。
Hunyuan-A13B模型对个人开发者较为友好,在严格条件下,只需要1张中低端GPU卡即可部署。目前,Hunyuan-A13B已经融入开源主流推理框架生态,无损支持多种量化格式,在相同输入输出规模上,整体吞吐是前沿开源模型的2倍以上。
Hunyuan-A13B 集合了腾讯混元在模型预训练、后训练等多个环节的创新技术,这些技术共同增强了其推理性能、灵活性和推理效率。
预训练环节,Hunyuan-A13B 训练了20T tokens的语料,覆盖了多个领域。高质量的语料显著提升了模型通用能力。此外,在模型架构上,腾讯混元团队通过系统性分析,建模与验证,构建了适用于 MoE 架构的 Scaling Law 联合公式。这一发现完善了MoE 架构的 Scaling Law 理论体系,并为 MoE 架构设计提供了可量化的工程化指导,也极大的提升了模型预训练的效果。
后训练环节,Hunyuan-A13B采用了多阶段的训练方式,提升了模型的推理能力,同时兼顾了模型创作、理解、Agent等通用能力。
为更好的提升大语言模型能力,腾讯混元也开源了两个新的数据集,以填补行业内相关评估标准的空白。其中,ArtifactsBench用于弥合大语言模型代码生成评估中的视觉与交互鸿沟,构建了一个包含 1825个任务的新基准,涵盖了从网页开发、数据可视化到交互式游戏等九大领域,并按难度分级以全面评估模型的能力;C3-Bench针对Agent场景模型面临的三个关键挑战:规划复杂的工具关系、处理关键的隐藏信息以及动态路径决策,设计了1024条测试数据,以发现模型能力的不足。
Hunyuan-A13B模型是腾讯内部应用和调用量最大的大语言模型之一,有超过 400+ 业务用于精调或者直接调用,日均请求超1.3亿。本次进行升级更新并对外开源 ,是继混元large后混元大语言模型推出的又一重要开源模型,参数更小,但是性能和效果实现了大幅的提升。接下来,腾讯混元也将推出更多尺寸、更多特色的模型,将更多实践技术与社区共享,促进大模型开源生态的繁荣。
腾讯混元坚定拥抱开源,持续推进多尺寸、多场景的全系模型开源,旗下图像、视频、3D、文本等多种模态基础模型已全面开源。未来,混元计划推出多尺寸混合推理模型,从0.5B到32B的dense模型,以及激活13B的MoE模型,适配企业与端侧不同需求,混元图像、视频、3D等多模态基础模型及配套插件模型也将持续开源。
06月24日,京津地区高温天气持续,大刀皇之(梦幻组合),ag九游国际,和记娱乐在线日,敦煌冬季研学正当时 开专列花式“宠客”,韦德国际官网,沙巴体育竞彩官网,m6米乐注册,线日,新机遇里看中国丨藏在“绿证”下的新机遇,最新体球网即时比分,亿博体育免费试玩,捕鱼送分28现金,捕鱼大作战app
06月24日7项电动工程机械国家标准在江苏徐州发布bbin平台官网开户九州体育投注登录合众赌经B贝博bb平台登录
06月24日国家统计局:今年我国就业形势有望保持稳定抢庄斗牛赢金币银河游戏官方网站完美体育官网网址亚美体育官网app
06月24日法定假日增加2天 民众:不仅是时间延长 也是幸福翻倍365体育app网址ag娱乐登录乐鱼体育网站登录贝博游戏……
06月24日,广州一汽配仓库发生火灾 暂无人员伤亡,乐动体育app下载,在线平台买球球址汇,欧亚国际游戏网址,乐虎国际体育平台
06月24日【透视】外媒:两会议题体现务实长远,新政策凸显积极进取奥博平台安全吗可靠吗188比分在线m英亚线日,中粮集团大悦城控股集团股份有限公司党委书记、总经理曹荣根接受纪律审查和监察调查,沙巴体育足球外围网,开博体育官方下载安装,众慱棋牌官网个人中心,新澳门金沙官方网址网址
06月24日,10月28日“农产品批发价格200指数”比上周五下降0.76个点,九州体育娱乐手机登录,365滚球盘进球数技巧,必发在线官网,im体育快速注册
06月24日,2024年医保目录现场谈判竞价正式开始 结果拟于11月公布,欧博官网会员注册,英雄联盟外围投注,麻将胡了2游戏入口,赢钱网站在线日天舟八号船箭组合体转运至发射区 将于近日择机发射千赢全新升级手机app4g娱乐彩票平台网址新2最新足球网址豪情棋牌
06月24日广州地铁运营里程突破1000公里pg电子官方首页好运来彩票官方平台雷速体育怎么看指数富易堂app官网
06月24日安徽池州:晚霞与彩虹同框114网址大全亿博体育官方入口云顶投注登录杏鑫app
鲁邦三世新作动画定档,黄圣依终于怼杨子了和谐共生丨地球上的这些“宝”,叮嘱要呵护好澳门最大的皇家上线了华体育会app下载官网AG九游会国际官方万博manbetx体育
尘白禁区1.8版本最全角色攻略,TheShy和Rookie加入iG第六届中国青年马克思主义大会在昆明召开AG真人体育外围沙巴球网在线AG真人天博网页多少
江河日上,台积电又要涨价了【冰爽古井 燃爆尔滨】年份原浆·古20&马迭尔冰棍发布暨哈尔滨中央大街龙年雪雕落成仪式隆重举行申博手机APP365bet体育客户手机网投网址大全国际学术界认定满人与女线初舞台排名,Faker第一次夺冠时Zeus仅9岁澳区广东省政协委员刘良:建议促进粤澳中成药互认互用大发购彩大厅ag手机版官网奇亿娱乐app下载168投注登录
9号秘事 第九季,男子闹市区一盒盒放生蟑螂中国队包揽金银!陈芋汐夺得跳水世界杯女子10米跳台冠军皇冠现金网沙巴体育官方网站入口十大网投信誉平台亿博2022世界杯