腾讯开源DRT-O1模型：如何利用长链思维提升复杂场景下的机器翻译？

为什么需要DRT-O1？ 传统机器翻译的局限性

传统机器翻译在处理复杂场景时遇到的挑战

传统的机器翻译模型在处理包含比喻和隐喻的文本时，常常会遇到困难。这是因为这些句子往往不能通过字面翻译来准确传达其真正的含义。例如，一句“她像一朵带刺的玫瑰”，如果直接翻译成“she is like a rose with thorns”，虽然字面意思正确，但却丢失了原句中表达的既美丽又危险的含义。因此，我们需要一种能够理解深层含义并进行准确翻译的模型。

DRT-O1模型的出现背景

为了解决上述问题，腾讯开源了DRT-O1模型，该模型利用长链式思维（CoT）来处理复杂场景下的机器翻译任务。DRT-O1模型的出现，旨在提高机器在处理文学作品、艺术评论等复杂文本时的翻译质量，使其能够更好地理解和表达原文的深层含义。

DRT-O1模型是如何工作的？ 多代理框架与长链推理

1. 场景选择：如何判断句子是否含有比喻或隐喻？

DRT-O1首先会使用一个先进的大型语言模型（LLM）来判断每个句子是否含有比喻或隐喻。这个LLM不仅能识别这些修辞手法，还会对字面翻译的效果进行评估，确保模型只针对需要额外处理的句子进行深入分析。 这样就保证了翻译的针对性和准确性。

2. 基于Agent多代理框架合成翻译样本数据：核心步骤解析

DRT-O1模型的核心在于其多代理框架，这个框架由三个关键的Agent组成，它们协同工作以生成高质量的翻译数据：

• 翻译Agent：负责生成新的翻译版本。它会从一个初始的翻译开始，不断尝试新的翻译方法。
• 顾问Agent：提供详细的反馈和建议。它会评估当前翻译的质量，并指出需要改进的地方，例如，哪里没有表达出隐喻的含义，哪里翻译过于生硬。
• 评估Agent：根据预定义的评分标准对当前翻译进行评分。它会从整体上评估翻译的质量，并决定是否继续迭代。

这个迭代过程的步骤如下：

1. 翻译Agent 基于前一步的翻译和 顾问Agent 的建议生成新的翻译。
2. 顾问Agent 评估当前翻译，并提供详细反馈，告诉 翻译Agent 如何改进。
3. 评估Agent 根据预定义的评分标准对当前翻译进行评分，看是否达到了预定的质量标准。
4. 当 评估Agent 的分数达到预定阈值或迭代次数达到最大值时，迭代停止。

这个过程就像一个翻译团队，翻译人员负责翻译，编辑人员负责检查和提出修改意见，最后由专家负责评估最终质量。通过这种方式，模型可以学习到如何进行高质量的翻译，尤其是在处理复杂的修辞手法时。

3. 长链推理过程：如何提升翻译质量？

DRT-O1模型在多代理框架的基础上，还使用了长链推理过程。通过多代理框架合成长链推理过程，并使用GPT-4o对合成的长链推理内容进行改进，以提高可读性和流畅性。这就像给翻译过程添加了“思考链条”，使模型能够更好地理解上下文，从而生成更准确的翻译。

4. 数据集构建：如何训练DRT-O1模型？

通过上述方法，DRT-O1团队收集了22,264个翻译样本，这些样本被分为训练集（19,264个）、验证集（1,000个）和测试集（2,000个），用于训练模型的不同阶段。基于这些数据，他们分别使用 Qwen2.5-7B-Instruct 和 Qwen2.5-14B-Instruct 作为骨干模型，训练得到了 DRT-o1-7B 和 DRT-o1-14B 模型。

DRT-O1模型的效果如何？ 性能指标分析

DRT-O1模型的性能表现

实验结果表明，DRT-O1模型在多个指标上都取得了显著的提升：

• DRT-o1-7B 模型在 BLEU 指标上比 Qwen2.5-7B-Instruct 提升了 8.26分，CometKiwi 提升了 1.31分，CometScore 提升了 3.36分。
• DRT-o1-14B 模型在 BLEU 指标上比 Qwen2.5-14B-Instruct 提升了 7.33分，CometKiwi 提升了 0.15分，CometScore 提升了 1.66分。

值得注意的是，DRT-o1-14B 在所有指标上都取得了最佳成绩，这充分证明了长链式思维在处理复杂场景下机器翻译时的有效性。

如何使用DRT-O1模型？ 部署与推理

使用Hugging Face库进行模型推理

1. 安装依赖：
   首先，确保你已经安装了 transformers 库和 torch 库。
2. 加载模型和tokenizer：
   python
   from transformers import AutoModelForCausalLM, AutoTokenizer
   import torch

   model_name = “Krystalan/DRT-o1-14B” # 替换为你想使用的模型
   model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=”auto”, device_map=”auto”)
   tokenizer = AutoTokenizer.from_pretrained(model_name)

3. 准备输入：
   python
   prompt = “Please translate the following text from English to Chinese:\nThe mother, with her feet propped up on a stool, seemed to be trying to get to the bottom of that answer, whose feminine profundity had struck her all of a heap.”
   messages = [{“role”: “system”, “content”: “You are a philosopher skilled in deep thinking, accustomed to exploring complex problems with profound insight.”}, {“role”: “user”, “content”: prompt}]
   text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
   model_inputs = tokenizer([text], return_tensors=”pt”).to(model.device)
4. 生成翻译：
   python
   generated_ids = model.generate(**model_inputs, max_new_tokens=2048)
   generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]
   response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
   print(response)

   这段代码首先加载了模型和tokenizer，然后准备好翻译的prompt，最后生成翻译并输出。

使用vLLM库进行模型推理

1. 部署模型：
   使用以下命令启动vLLM的API服务器：
   bash
   python3 -m vllm.entrypoints.openai.api_server –model [model_ckpt] –served-model-name [model_name]

   你需要将 [model_ckpt] 替换为模型的本地路径，将 [model_name] 替换为你想要服务的模型名称。
   2. 使用OpenAI库调用模型：
   python
   from openai import OpenAI

   openai_api_key = “EMPTY”
   openai_api_base = “http://localhost:8000/v1″ # vLLM服务器地址
   client = OpenAI(api_key=openai_api_key, base_url=openai_api_base)

   chat_response = client.chat.completions.create(
   model=”DRT-o1-14B”, # 你部署的模型名称
   messages=[
   {“role”: “system”, “content”: “You are a philosopher skilled in deep thinking, accustomed to exploring complex problems with profound insight.”},
   {“role”: “user”, “content”: “Please translate the following text from English to Chinese:\nThe mother, with her feet propped up on a stool, seemed to be trying to get to the bottom of that answer, whose feminine profundity had struck her all of a heap.”}
   ],
   temperature=0.7,