智谱AI发布ChatGLM3:下一代大模型引领AI创新风潮

AI前沿9个月前更新 wanglu852
16,482 0 0
广告也精彩

智谱AI推出第三代基座大模型

智谱AI(又称为GLM大模型)于2023年10月27日在中国计算机大会(CNCC)上推出了其全新的第三代基座大模型——ChatGLM3及其相关系列产品。这次发布标志着智谱AI在人工智能领域中的持续创新和技术突破。新一代的ChatGLM3模型经过多次技术升级和优化,融合了诸多创新功能,包括提升的性能、瞄准GPT-4V的技术升级、全新的Agent智能体能力、Edge端侧模型以及更高效的推理/降本增效等。这些新功能使得ChatGLM3在多个领域和应用场景中展现出了更为卓越的表现和功能。

全新技术升级

  1. 更强大的性能: 通过采用独特的多阶段增强预训练方法、更丰富的训练数据和优化的训练方案,ChatGLM3的训练得以更加充分。据评测显示,与上一代模型相比,在44个中英文公开数据集测试中,ChatGLM3在国内同尺寸模型中表现出了极高的性能,包括MMLU提升36%、CEval提升33%、GSM8K提升179%、BBH提升126%。

  2. 瞄向GPT-4V的技术升级: ChatGLM3实现了若干全新功能的迭代升级,其中包括多模态理解能力的CogVLM、代码增强模块Code Interpreter以及网络搜索增强WebGLM。这些新功能使得模型的语义能力和逻辑能力得到了显著的提升。

  3. 全新的Agent智能体能力: ChatGLM3集成了自研的AgentTuning技术,大幅提升了模型在智能规划和执行方面的表现,尤其在工具调用、代码执行、游戏、数据库操作、知识图谱搜索与推理、操作系统等复杂场景中展现出了极高的适应能力。

  4. Edge端侧模型: ChatGLM3推出了适用于移动端的端测模型ChatGLM3-1.5B和ChatGLM3-3B,支持多种手机和车载平台,甚至支持移动平台上CPU芯片的推理,其推理速度可达20 tokens/s。在精度方面,ChatGLM3-1.5B和ChatGLM3-3B与ChatGLM2-6B模型性能接近。

  5. 更高效推理/降本增效: 基于高效动态推理和显存优化技术,ChatGLM3的推理框架在相同硬件和模型条件下相较于目前最佳的开源实现,其推理速度提升了2-3倍,推理成本降低了一半,每千tokens的成本仅为0.5分,成本大幅降低。

新一代「智谱清言」上线

在ChatGLM3的全新升级下,生成式AI助手智谱清言成为国内首个具备代码交互能力的大模型产品。智谱清言拥有处理数据生成图表、画图、上传SQL代码分析等多项功能。借助WebGLM大模型能力,智谱清言具有搜索增强能力,能够帮助用户整理出相关问题的网上文献或文章链接,并整理出答案。此外,CogVLM模型的加入提高了智谱清言的中文图文理解能力,使其能够回答各种类型的视觉问题并完成复杂的目标检测和自动数据标注任务。

硬件生态与国产芯片支持

自2022年起,GLM系列模型已经支持在多种国产硬件生态上进行大规模预训练和推理。目前,它已经支持包括昇腾、神威超算、海光DCU、海飞科、沐曦曦云、算能科技、天数智芯、寒武纪、摩尔线程、百度昆仑芯、灵汐科技、长城超云等多种国产硬件生态。通过与国产芯片企业的合作与联合创新,GLM系列模型的性能持续优化,旨在将国产原生大模型与国产芯片推向国际舞台并取得更大的突破和发展。

© 版权声明
chatgpt4.0

相关文章

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...
error: Content is protected !!