聊天机器人Claude 2重大更新发布，安全性和控制性得到加强，chatgpt4危险了！

深度学习泛用型AI助手Claude 2》发布,安全性和控制性得到加强

Claude是Anthropic公司开发的一款新型聊天机器人，旨在对抗chatgpt。Claude的特点是能够检测和回避chatgpt的潜在陷阱，如逻辑错误、不恰当的内容、重复性和无聊等。近日，Claude 2重大更新！

ChatGPT4是GPT-4的升级版，从原来GPT的单一模态变成了多模态。原版的GPT只能通过文字识别来完成指令，现在的GPT-4不止能通过文字识别来完成指令，还能通过声音、图片、甚至视频³。

随着深度学习在自然语言处理领域的进步,语言模型助手已经日益成为人类生活中的常见存在。然而,同时也带来了安全性和可控性问题。为此,人工智能安全技术公司Anthropic最近发布了新一代通用AI助手Claude 2,声称在保持有用性的同时,大幅增强了其安全性和对话可控性。

Anthropic表示,Claude 2通过集成多项原创性AI安全技术,在诚实性、无害性和遵守约定行为规范等方面明显优于早期版本。具体来看,Anthropic训练Claude 2遵守一个预设的“宪法”,也就是一系列道德和行为准则,指导其输出。此外,还使用了强化学习从人类反馈的方式收集数据,让Claude逐步适应如何变得更有帮助、更诚实和更无害。

为了评估Claude 2的效果,Anthropic进行了一系列人工评估、标准化测试和自动化“红蓝对抗”安全审计。结果表明,Claude 2在保持类似的无害性的同时,提高了有助性、诚实性和减少了偏见,代表了安全可控语言模型技术的进步。不过报告中也提到,Claude 2仍存在杜撰事实、偏差等问题,还需继续改进。

综上所述,Claude 2的发布标志着通用AI助手在安全性和可控性上的新突破,有望真正将有用而无害的语言模型投入实际应用。这为AI赋能而不失控指明了新的方向。当然,想要做到广泛的实用化,还需要业内各方持续努力。Anthropic的Claude 2无疑是迈出的关键一步。