DeepSeek-V3 模型重磅发布:性能对标 GPT-4o,开源可本地部署!
🚀 DeepSeek-V3 究竟是什么?有哪些亮点?
DeepSeek-V3 是 深势科技 最新推出的 自研 MoE 模型,参数规模高达 6710亿,激活参数 370亿,经过 14.8T tokens 的海量数据预训练。该模型不仅性能强劲,还秉承 开源精神,为开发者和研究者提供了更广阔的探索空间。
🤔 DeepSeek-V3 相比其他模型有什么优势?
🏆 性能评测:全面超越,逼近顶尖闭源模型
DeepSeek-V3 在多项评测中表现突出:
- 知识类任务: 在 MMLU, MMLU-Pro, GPQA, SimpleQA 等知识类任务中,DeepSeek-V3 性能显著提升,接近当前表现最好的模型 Claude-3.5-Sonnet-1022。
- 长文本处理: 在 DROP, FRAMES, LongBench v2 等长文本评测中,DeepSeek-V3 的平均表现优于其他模型。
- 代码能力: 在算法类代码场景(Codeforces)中,DeepSeek-V3 遥遥领先于市面上所有非 o1 类模型。在工程类代码场景(SWE-Bench Verified)中,性能也逼近 Claude-3.5-Sonnet-1022。
- 数学能力: 在 美国数学竞赛(AIME 2024, MATH) 和 全国高中数学联赛(CNMO 2024) 上,DeepSeek-V3 大幅超越了所有开源和闭源模型。
- 中文能力: 在教育类测评 C-Eval 和代词消歧等测评集上,DeepSeek-V3 与 Qwen2.5-72B 表现相近,但在事实知识 C-SimpleQA 上更具优势。
🚄 生成速度:大幅提升,流畅体验
DeepSeek-V3 通过算法和工程上的创新,将生成速度从 20 TPS 大幅提升至 60 TPS,是 V2.5 模型 的 三倍,为用户带来更加迅速流畅的使用体验。
💰 DeepSeek-V3 的 API 服务价格如何?
为了让更多用户体验到 DeepSeek-V3 的强大性能,深势科技 提供了灵活的 API 服务 定价:
- 原价:
- 每百万输入 tokens:0.5 元(缓存命中)/ 2 元(缓存未命中)
- 每百万输出 tokens:8 元
- 优惠价(即日起至 2025 年 2 月 8 日):
- 每百万输入 tokens:0.1 元(缓存命中)/ 1 元(缓存未命中)
- 每百万输出 tokens:2 元
- 新老用户均可享受此优惠。
🛠️ DeepSeek-V3 如何本地部署?
DeepSeek-V3 采用 FP8 训练,并开源了 原生 FP8 权重,方便用户本地部署:
- 权重下载: 前往 Hugging Face 下载模型权重:https://huggingface.co/deepseek-ai/DeepSeek-V3-Base
- 推理支持:
- SGLang 和 LMDeploy 第一时间支持 V3 模型 的原生 FP8 推理。
- TensorRT-LLM 和 MindIE 则实现了 BF16 推理。
- 权重转换: 官方提供了从 FP8 到 BF16 的转换脚本,方便社区适配和拓展应用场景。
💡 本地部署示例 (以 LMDeploy 为例,具体步骤可能因环境而异):
-
安装 LMDeploy:
bash
pip install lmdeploy - 下载模型权重: 按照 Hugging Face 上的说明下载 DeepSeek-V3 模型权重。
- 转换模型: 使用 LMDeploy 工具将模型权重转换为可推理格式。
- 启动推理服务: 运行 LMDeploy 提供的推理脚本,即可在本地使用 DeepSeek-V3 模型。
注意: 以上步骤为简要说明,具体安装和使用步骤请参考官方文档和社区教程。
🚀 未来展望:持续探索,普惠 AGI
深势科技 表示,将秉持 开源精神 和 长期主义,持续在 DeepSeek-V3 基座模型上打造更丰富的 深度思考、多模态 等功能。他们希望通过与社区的紧密合作,进一步缩小开源模型和闭源模型之间的差距,最终实现 普惠 AGI 的目标。
我认为:深势科技的 DeepSeek-V3 模型的发布,就像平静的湖面投入一颗巨石,激起了人们对于开源大模型的无限遐想。它不仅展示了中国在人工智能领域的强大实力,也预示着未来大模型技术将更加开放和普惠。DeepSeek-V3 的开源无疑是对行业的一次强有力的推动,这其中蕴含的创新精神和对技术普及的责任感值得我们学习和敬佩。那些还在闭门造车、固步自封的,恐怕要好好思考一下未来的发展方向了。#DeepSeek-V3
© 版权声明
文章版权归作者所有,未经允许请勿转载。