百度文心4.5开源:多模态大模型,始智AI社区体验,飞桨框架加速

AI前沿4小时前发布 yizz
1,334 0 0
广告也精彩

百度文心4.5系列模型开源:始智AI wisemodel.cn社区体验与技术解析

1. 为什么百度文心4.5系列模型选择开源?

人工智能飞速发展的今天,大模型已成为推动各行业变革的核心力量。百度文心4.5系列模型正式开源,旨在通过开放模型权重,按照Apache 2.0协议,支持学术研究和产业应用,降低后训练和部署门槛。目前,该系列模型已上线始智AI-wisemodel开源社区,欢迎大家使用和体验。

  • 关键词人工智能大模型模型权重始智AI-wisemodel开源社区

2. 文心4.5系列模型有哪些亮点?

文心4.5系列模型共10款,涵盖了激活参数规模分别为47B和3B的混合专家(MoE)模型(最大的模型总参数量为424B),以及0.3B的稠密参数模型

2.1 MoE架构的创新之处是什么?

百度提出了一种创新性的多模态异构模型结构,通过跨模态参数共享机制实现模态间知识融合,同时为各单一模态保留专用参数空间。这种架构非常适用于从大语言模型多模态模型的持续预训练范式,在保持甚至提升文本任务性能的基础上,显著增强多模态理解能力。

  • 关键词混合专家(MoE)模型多模态异构模型结构跨模态参数共享机制大语言模型多模态模型

2.2 文心4.5的训练效率如何?

文心4.5系列模型均使用飞桨深度学习框架进行高效训练、推理和部署。在大语言模型的预训练中,模型FLOPs利用率(MFU)达到47%。实验结果显示,该系列模型在多个文本和多模态基准测试中达到SOTA水平,在指令遵循、世界知识记忆、视觉理解和多模态推理任务上效果尤为突出。

  • 关键词飞桨深度学习框架模型FLOPs利用率(MFU)

3. 文心4.5的核心技术是什么?

3.1 多模态混合专家模型预训练是如何实现的?

文心4.5通过在文本视觉两种模态上进行联合训练,更好地捕捉多模态信息中的细微差别,提升在文本生成、图像理解以及多模态推理等任务中的表现。百度提出了一种多模态异构混合专家模型结构,结合了多维旋转位置编码,并且在损失函数计算时,增强了不同专家间的正交性,同时对不同模态间的词元进行平衡优化,达到多模态相互促进提升的目的。

  • 关键词文本视觉多模态异构混合专家模型结构多维旋转位置编码

3.2 如何实现高效的训练推理?

为了支持文心4.5模型的高效训练,百度提出了异构混合并行多层级负载均衡策略。通过节点内专家并行、显存友好的流水线调度、FP8混合精度训练和细粒度重计算等多项技术,显著提升了预训练吞吐。

在推理方面,百度提出了多专家并行协同量化方法卷积编码量化算法,实现了效果接近无损的4-bit量化和2-bit量化。此外,文心还实现了动态角色转换的预填充、解码分离部署技术,可以更充分地利用资源,提升文心4.5 MoE模型的推理性能。基于飞桨框架,文心4.5在多种硬件平台均表现出优异的推理性能。

  • 关键词异构混合并行多层级负载均衡策略多专家并行协同量化方法卷积编码量化算法

3.3 如何针对模态进行后训练?

为了满足实际场景的不同要求,文心对预训练模型进行了针对模态的精调。其中,大语言模型针对通用语言理解和生成进行了优化,多模态大模型侧重于视觉语言理解,支持思考和非思考模式。每个模型采用了SFT、DPO或UPO(统一偏好优化技术)的多阶段后训练。

  • 关键词大语言模型多模态大模型SFTDPOUPO

4. 文心4.5的开发工具链有哪些?

基于多年飞桨开源技术与生态系统积累,此次文心4.5模型系列开源同步升级发布文心大模型开发套件ERNIEKit大模型高效部署套件FastDeploy,为文心4.5模型及开发者提供开箱即用的工具和全流程支持。

4.1 如何使用ERNIEKit进行开发?

ERNIEKit为用户提供预训练、全参精调(SFT)、直接偏好优化(DPO)、参数高效精调与对齐(SFT-LoRA/DPO-LoRA)、训练感知量化(QAT)和训练后量化(PTQ)等大模型全流程开发支持。

使用示例:

bash

下载模型

huggingface-cli download baidu/ERNIE-4.5-0.3B-Paddle –local-dir baidu/ERNIE-4.5-0.3B-Paddle

一行命令启动训练

erniekittrain examples/configs/ERNIE-4.5-0.3B/sft/run_sft_8k.yaml

  • 关键词ERNIEKitSFTDPOSFT-LoRADPO-LoRAQATPTQ

4.2 如何使用FastDeploy进行部署?

FastDeploy提供了一行代码开箱即用的多硬件部署体验,使用接口兼容vLLM和OpenAI协议。针对旗舰模型提供了产业级多级负载均衡的PD分离部署方案,支持丰富的低比特量化推理、上下文缓存、投机解码等加速技术。

本地推理示例:

python
from fastdeploy import LLM, SamplingParams
prompt=”把李白的静夜思改写为现代诗”
sampling_params= SamplingParams(temperature=0.8, top_p=0.95)
llm= LLM(model=”baidu/ERNIE-4.5-0.3B-Paddle”, max_model_len=32768)
outputs= llm.generate(prompt, sampling_params)

服务部署示例:

bash
python -m fastdeploy.entrypoints.openai.api_server \
–model “baidu/ERNIE-4.5-0.3B-Paddle” \
–max-model-len 32768 \
–port 9904

  • 关键词FastDeployvLLMOpenAI协议

5. 如何参与wisemodel开源社区?

始智AI-wisemodel社区致力于打造中国版的“HuggingFace”,欢迎大家加入开源共创志愿者计划,共同成长。

5.1 如何贡献和参与社区建设?

开源社区建设需要长期坚持和投入,更需要广大用户的积极参与、贡献和维护。欢迎大家加入wisemodel开源社区的志愿者计划和开源共创计划。期待更多开发者将开源成果,包括模型、数据集和代码等发布到 wisemodel.cn 社区,共建中立、开放的AI开源社区生态。

5.2 wisemodel社区需要哪些人才?

始智AI wisemodel社区长期需要技术、运营等人才加盟,技术侧重在AI infra、后端开发,熟悉K8S、模型训练和推理等技术, 以及熟悉开发者生态运营的成员。

5.3 如何投稿优质内容?

欢迎投稿分享人工智能领域相关的优秀研究成果,鼓励高校实验室、大企业研究团队、个人等,在wisemodel平台上分享各类优质内容,可以是AI领域最新论文解读、最新开源成果介绍,也可以是关于AI技术实践、应用和总结等。

6. wisemodel社区的愿景是什么?

始智AI wisemodel.cn开源社区旨在打造和建设中立开放的AI开源创新社区,将打造成“HuggingFace”之外最活跃的AI开源社区,汇聚主要AI开源模型、数据集和代码等。

我认为:

文心4.5的开源,无疑是给国内AI发展注入了一剂强心针。它不仅仅是技术的开放,更是理念的共享。始智AI wisemodel.cn社区的出现,为开发者提供了一个交流和学习的平台,让更多人能够参与到AI的建设中来。这就像黑暗中的一丝光亮,照亮了前行的道路,也激励着我们不断探索和创新。然而,开源并非万能药,如何保证社区的健康发展,如何避免资源被滥用,这些都是我们需要认真思考的问题。
, #文心4.5

© 版权声明
chatgpt4.0

相关文章

error: Content is protected !!