为什么AI越聪明，反而越难控制？
在Anthropic研究员Jacob Coxon因担忧人工智能可能在本世纪末前杀死人类而辞职后的第二天，报道作者见到了两位创业者：Rune Kvist和Rajiv Dattani。
Kvist认为，人工智能正以越来越快的速度变得聪明。真正令人意外的是，AI能力越强，企业采用和控制它的难度反而越高，而不是变得更容易。
这家初创公司想解决什么问题？
Rune Kvist曾是Anthropic的早期员工，Rajiv Dattani则曾担任人工智能安全研究组织METR的首席运营官。两人还是姻亲关系，并共同创办了一家名为Artificial Intelligence Underwriting Company（AIUC）的初创公司。
AIUC希望把人工智能安全机制带入企业，以及那些开发人工智能模型和AI代理的公司，重点防止AI代理在企业内部出现失控行为。
AIUC面向哪些客户？
AIUC将Cursor、Lovable、Harvey和ElevenLabs列为客户。来源内容没有进一步说明这些客户具体采用了AIUC的哪些安全服务，但可以确认，AIUC的目标客户包括使用AI工具的企业，以及正在开发AI模型和AI代理的公司。
公司获得了多少融资？
周二，AIUC宣布完成4000万美元的A轮融资。本轮融资由Ribbit Capital领投，来源内容还提到有其他机构参与，但未完整列出参与方名单。
AI代理为什么需要额外的安全约束？
从两位创始人的判断来看，问题并不只是AI能否完成任务，而是当AI系统拥有更强的理解和执行能力后，企业是否仍能持续掌握它的行为边界。
尤其是在企业内部，AI代理可能被用于处理复杂工作。随着AI能力提升，企业需要面对的不仅是“能不能用”，还包括如何采用、如何控制，以及如何避免代理偏离原本目标等问题。AIUC正是围绕这一安全需求成立。
这件事释放了什么信号？
AIUC的成立，反映出人工智能行业正在从单纯追求能力提升，转向同时关注安全、治理和可控性。在AI代理逐渐进入企业环境的背景下，如何防止它们“失控”，已经成为创业者和AI安全研究人员试图解决的问题。
我认为：AI真正变得强大之后，企业最需要的未必只是更快、更聪明的工具，也需要能够看住工具的安全边界。AIUC的尝试说明，人工智能的发展不能只问“它还能做什么”，还要追问“人还能不能控制它”。如果能力增长跑在约束前面，那么所谓智能，可能先成为便利，也可能先成为风险。
#科技融资
© 版权声明
文章版权归作者所有，未经允许请勿转载。
