AI领域最新进展：Meta Llama 4、OpenAI GPT-5及DeepSeek新突破

Meta Llama 4系列：多模态与超长上下文的强大结合

Llama 4 有哪些亮点？

Meta 近期发布了 Llama 4 系列模型，标志着其在 多模态 和 超长上下文窗口 方面的重大突破。Llama 4 全系采用 混合专家（MoE）架构，实现了 原生多模态训练。

此次发布的模型包括：

• Llama 4 Scout (17B)： 拥有 17B 激活参数，109B 总参数量，支持 1000 万+ Token 上下文窗口，可以在 单张 H100 GPU 上运行，速度极快。想象一下，单张卡就能处理20多个小时的视频，这速度简直了！
• Llama 4 Maverick (17B)： 拥有 17B 激活参数，400B 总参数量，100 万+ 上下文窗口，性能优于 GPT-4o 和 Gemini 2.0 Flash。
• Llama 4 Behemoth (288B)： 拥有 288B 激活参数，2 万亿总参数量，在 32000 块 GPU 上训练了 30 万亿多模态 Token。

Llama 4 的开源限制有哪些？

Llama 4 Maverick 和 Llama 4 Scout 将会 开源，但新的许可证对使用有一定限制：例如，月活用户超过 7 亿的公司需要申请特殊许可，并且使用时需要遵守多项 品牌和归属要求。虽然是开源，但是大厂用起来还是得小心点，别一不小心踩坑了！

Llama 4 Scout 和 Maverick 真的能在消费级 GPU 上运行吗？

前 Kaggle 总裁 Jeremy Howard 表示，Llama 4 Scout 和 Maverick 都是大型 MoE 模型，即使量化后也 无法在消费级 GPU 上运行，这对开源社区的可及性来说是个不小的损失。

Llama 4 Behemoth 有多强大？

Llama 4 Behemoth 被 Meta 定位为“世界上最智能的 LLM 之一”，目前仍在训练中。有网友指出，Behemoth 在训练阶段就已经展现出超越多个顶级模型的能力，例如 Claude 3.7 和 Gemini 2.0 Pro。

Meta 为了扩展其 AI 基础设施，计划今年投入高达 650 亿美元，这烧钱力度，真不是一般公司能比的！

OpenAI 的 O3/O4-mini 和 GPT-5 策略

OpenAI 即将推出哪些新模型？

OpenAI 首席执行官 Sam Altman 确认，O3 和 O4-mini 将在未来几周内发布，而 GPT-5 则将在未来几个月与公众见面。

GPT-5 有哪些新特性？

据 Altman 透露，GPT-5 将整合 语音、Canvas、搜索、Deep Research 等多项功能，成为 OpenAI 统一模型战略的核心。GPT-5 将不再是一个单一的模型，而是一个集成了多种工具和功能的综合系统。

GPT-5 会免费吗？

更令人兴奋的是，GPT-5 将对免费用户开放无限使用权限，而付费用户则能体验到更高智力水平的版本。据说是因为 DeepSeek 的影响，OpenAI 才考虑让用户免费使用 GPT-5。

DeepSeek 与清华大学的合作研究：SPCT 方法

什么是 SPCT 方法？

DeepSeek 与清华大学的研究团队联合发布了一篇关于推理时 Scaling 的新论文，提出了一种名为 自我原则点评调优（SPCT） 的学习方法，并构建了 DeepSeek-GRM 系列模型。

SPCT 方法通过 在线强化学习（RL） 动态生成评判原则和点评内容，显著提升了 通用奖励建模（RM） 在推理阶段的可扩展性，并引入 元奖励模型（meta RM） 进一步优化扩展性能。

SPCT 方法的核心是什么？

SPCT 方法的核心在于将“原则”从传统的理解过程转变为奖励生成的一部分，使模型能够根据输入问题及其回答内容动态生成高质量的原则和点评。

该方法包括两个阶段：

1. 拒绝式微调（rejective fine-tuning）： 作为冷启动阶段，帮助模型适应不同输入类型。
2. 基于规则的在线强化学习（rule-based online RL）： 进一步优化生成内容，提升奖励质量和推理扩展性。

元奖励模型（Meta RM）如何优化投票过程？

为了优化投票过程，研究团队引入了 元奖励模型（meta RM）。该模型通过判断生成原则和评论的正确性，过滤掉低质量样本，从而提升最终输出的准确性和可靠性。

DeepSeek-GRM-27B 的性能如何？

实验结果显示，DeepSeek-GRM-27B 在多个 RM 基准测试中显著优于现有方法和模型，尤其是在推理时扩展性方面表现出色。通过增加推理计算资源，DeepSeek-GRM-27B 展现了强大的性能提升潜力。

总结

Meta 的 Llama 4 系列模型在 多模态 和 超长上下文 方面取得了显著进展，OpenAI 即将推出 O3/O4-mini 和 GPT-5，DeepSeek 与清华大学合作提出的 SPCT 方法也为 AI 模型在复杂任务中的应用提供了新的技术路径。AI 领域的竞争日益激烈，各家都在不断创新，力求在技术上取得领先地位。

我认为：AI 领域的发展真是日新月异，各家公司都在铆足了劲搞研发，恨不得一天出一个新模型。Meta 的 Llama 4 在多模态和超长上下文方面下了大力气，OpenAI 的 GPT-5 更是要免费开放，DeepSeek 也在默默发力，不断推出新的技术。这让我想起鲁迅先生说的一句话：“其实地上本没有路，走的人多了，也便成了路。” 在 AI 这条路上，大家都在摸索着前进，不断尝试，不断创新，最终一定会走出一条康庄大道。