Meta Llama 4/GPT-5/DeepSeek：AI模型多模态、超长上下文与推理新突破

AI前言1个月前更新 yizz

3,886 0 0

AI领域最新动态：Meta Llama 4、OpenAI GPT-5及DeepSeek新进展

Meta Llama 4系列：多模态与超长上下文的突破

Llama 4的亮点是什么？

Meta强势推出Llama 4系列模型，标志着其在AI领域的重要进展。Llama 4全系采用混合专家（MoE）架构，实现了原生多模态训练，不再局限于纯文本模型。本次发布包含以下几个模型：

Llama 4 Scout (17B)：拥有170亿激活参数，总参数量达1090亿，支持超过1000万Token的超长上下文窗口，可以在单张H100 GPU上运行。
Llama 4 Maverick (17B)：同样拥有170亿激活参数，总参数量高达4000亿，上下文窗口超过100万，性能优于GPT-4o和Gemini 2.0 Flash。
Llama 4 Behemoth (288B)：仍在训练中，拥有2880亿激活参数，总参数量高达2万亿，使用32000块GPU训练了30万亿多模态Token，被Meta定位为“世界上最智能的LLM之一”。

Llama 4 Scout的超长上下文窗口有多强大？

Llama 4 Scout的亮点在于其超长上下文窗口，可以处理超过1000万Token，相当于处理20多个小时的视频内容。这意味着模型在处理复杂任务时，能够更好地理解上下文信息，从而提高准确性和效率。

Llama 4的开源策略是怎样的？

Llama 4 Maverick 和 Llama 4 Scout 将会开源，但新的许可证对使用有一定限制，例如月活用户超7亿的公司需要申请特殊许可，并且使用时需要遵守多项品牌和归属要求。

Llama 4 Behemoth的潜力如何？

Llama 4 Behemoth在训练阶段就已经展现出超越多个顶级模型的能力，例如Claude 3.7和Gemini 2.0 Pro。其巨大的参数规模和训练数据量，预示着它在未来可能成为AI领域的一颗耀眼明星。

OpenAI：O3和O4-mini即将上线，GPT-5的未来展望

OpenAI的最新动态是什么？

OpenAI首席执行官Sam Altman确认，O3和O4-mini将在未来几周内发布，而备受关注的GPT-5则将在未来几个月与公众见面。

GPT-5有哪些值得期待的功能？

据Altman透露，GPT-5将整合语音、Canvas、搜索、Deep Research等多项功能，成为OpenAI统一模型战略的核心。GPT-5将不再是一个单一的模型，而是一个集成了多种工具和功能的综合系统，能够自主使用工具，判断何时需要深入思考、何时可以快速响应，从而胜任各类复杂任务。

GPT-5的定价策略是怎样的？

GPT-5将对免费用户开放无限使用权限，而付费用户则能体验到更高智力水平的版本。

DeepSeek与清华大学：SPCT方法提升推理性能

DeepSeek与清华大学合作的研究成果是什么？

DeepSeek与清华大学的研究团队联合发布了一篇关于推理时Scaling的新论文，提出了一种名为自我原则点评调优（SPCT）的学习方法，并构建了DeepSeek-GRM系列模型。

SPCT方法的核心是什么？

SPCT方法的核心在于将“原则”从传统的理解过程转变为奖励生成的一部分，使模型能够根据输入问题及其回答内容动态生成高质量的原则和点评。该方法包括两个阶段：

拒绝式微调（rejective fine-tuning）：作为冷启动阶段，帮助模型适应不同输入类型。
基于规则的在线强化学习（rule-based online RL）：进一步优化生成内容，提升奖励质量和推理扩展性。

元奖励模型（meta RM）在SPCT中扮演什么角色？

为了优化投票过程，研究团队引入了元奖励模型（meta RM）。该模型通过判断生成原则和评论的正确性，过滤掉低质量样本，从而提升最终输出的准确性和可靠性。

DeepSeek-GRM的性能如何？

实验结果显示，DeepSeek-GRM-27B在多个RM基准测试中显著优于现有方法和模型，尤其是在推理时扩展性方面表现出色。通过增加推理计算资源，DeepSeek-GRM-27B展现了强大的性能提升潜力。

总结

本周AI领域亮点纷呈，Meta的Llama 4系列以其多模态能力和超长上下文窗口吸引了广泛关注；OpenAI确认O3和O4-mini即将上线，并透露了GPT-5的未来规划；DeepSeek与清华大学合作提出的SPCT方法，为提升AI模型的推理性能提供了新的思路。这些进展预示着AI技术将继续快速发展，为各行各业带来更多可能性。

我认为：AI之发展，如逆水行舟，不进则退。Meta、OpenAI、DeepSeek等巨头，皆磨砺以须，奋楫争先。然技术之进步，亦当如鲁迅先生所言，“取其精华，去其糟粕”，方能行稳致远，造福人类，而非徒增焦虑与迷惘。

, , , ,