通义千问开源千亿级参数模型

时间：2024-05-05 22:32:15来源：界面新闻

4月28日消息，通义千问开源1100亿参数模型Qwen1.5-110B，成为全系列首个千亿级参数开源模型。

通义千问1100亿参数模型延续了Qwen1.5系列的Transformer解码器架构，采用了分组查询注意力方法（GQA），使得模型在推理时更加高效。110B模型支持32K上下文长度，融易新媒体消息，具备优秀的多语言能力，支持中、英、法、德、西、俄、日、韩、越、阿拉伯等多种语言。

• 上一篇：中国移动建成全球运营商最大单体智算中心
• 下一篇：中国移动发布国内领先的大云磐石DPU芯片，速率达400Gbps