🌐 自我进化框架WebRL如何增强LLMs网页智能体？

大型语言模型（LLMs）一直在语言理解、常识推理和知识获取方面展现出卓越的能力。它们同样具备在复杂规划与逻辑推理的潜力。近年来，以LLMs为驱动力的网页智能体，因其广泛的应用前景受到关注。然而，现有网页智能体在性能指标和架构上仍有待提高。WebRL框架便是为了应对这些挑战而诞生的，它如何提升网页智能体性能呢？

1. 现有问题与挑战

为什么现有的LLM网页智能体表现不足？

现有的开源LLMs在作为网页智能体时表现不佳，主要原因在于缺乏决策数据的预训练和微调。尽管使用闭源的LLM API（如GPT-4）可以提升性能，但这种方法昂贵且耗时。尽管有研究通过模仿学习提升性能，但未能充分利用网络的在线交互性，难以带来持续改进。

WebArena中的挑战是什么？

在WebArena这类在线环境中，智能体面临几个关键挑战：
– 训练任务不足：离线数据有限，无法进行有效训练。
– 反馈信号稀疏：因任务步骤多而缺乏清晰的评估信号。
– 策略分布漂移：在线探索导致策略偏离，可能引发遗忘现象。

2. WebRL：自我进化强化学习框架

WebRL如何解决训练任务不足的问题？

WebRL通过在线交互，利用一个自我进化的课程学习策略动态生成任务，帮助智能体应对训练任务的稀缺。这一策略基于智能体的实时性能，调整任务难度，逐步提升模型能力。

如何克服反馈信号稀疏的问题？

我们引入结果监督奖励模型（ORM），它通过评估任务完成情况给予二进制奖励信号，解决反馈稀疏的问题。结合历史行动，为模型评估提供了更多信息支持。

怎样避免策略分布漂移？

为了避免策略偏移，我们设计了一种KL散度约束的策略更新算法。结合自适应重放缓冲区，保留以前的成功轨迹，防止数据遗忘。

3. WebRL框架的实验结果

实验成绩如何？

针对WebArena环境，经过WebRL训练的Llama-3.1-8B模型，成功率从4.8%提升至42.4%。而Llama-3.1-70B模型更是达到49.1%的成功率，远超同类闭源和开源训练方法。

错误类型分析与消融实验

在分析错误类型时，WebRL框架减少了“中途卡住”和“未正确行动”等错误，并在系统设计上通过对比分析，证明了其在策略更新和操作稳定性上的有效性。

我认为：

WebRL框架展示了通过持续交互和适应性学习提升网页智能体的潜力，是开源LLMs领域的显著突破。通过解决任务不足、反馈稀疏和策略偏移等问题，让智能体在复杂环境中具备更强的决策和学习能力。

WebRL, , , #网页智能体