2026年3月，香港大学开源了一个革命性的AI工具项目，能够让用户通过自然语言命令直接操控Blender、OBS、LibreOffice等传统桌面软件，大幅提升专业软件的使用效率。这一项目的发布打破了AI与传统软件之间的壁垒，为普通用户打开了专业生产力工具的使用门槛，引发了全球开发者社区的广泛关注。
一、技术原理：打通AI与传统软件的交互壁垒
香港大学的研究团队开发的这个工具，核心是构建了一个统一的AI中间层，能够将用户的自然语言指令转化为各个桌面软件的原生操作命令。项目采用了多模态大模型技术，对Blender、OBS、LibreOffice等常用软件的操作逻辑进行了深度训练和理解，支持超过5000种常用操作的自然语言调用。
用户只需要输入类似”帮我用Blender渲染一个赛博朋克风格的城市场景”、”用OBS录制1080P 60帧的屏幕并自动添加字幕”、”帮我把这份PPT转换成符合公司风格的设计模板”等自然语言命令，系统就能自动调用对应的软件完成操作，完全不需要用户掌握复杂的软件操作技巧。
二、支持的软件与核心功能
- Blender 3D建模：支持从基础建模、材质编辑、动画制作到最终渲染的全流程自然语言控制，新手也能快速制作出专业级的3D作品
- OBS直播录制：自动配置直播参数、设置场景源、添加滤镜特效、自动剪辑导出录制内容，大幅降低直播和视频制作门槛
- LibreOffice办公套件：智能处理文字、表格、演示文稿，支持自动排版、数据处理、PPT美化等复杂办公任务
- GIMP图像处理：实现Photoshop级别的图片编辑功能，修图、调色、特效制作都能通过语音命令完成
- VS Code编程：自动完成代码编写、调试、重构、注释生成等开发任务，提升程序员工作效率
三、使用方法与部署方式
该项目完全开源免费，用户只需要通过一行命令即可完成安装部署：pip install hku-ai-desktop，启动后即可通过自然语言与各种桌面软件交互。项目支持Windows、macOS、Linux三大操作系统，对硬件要求极低，即使是普通笔记本电脑也能流畅运行。
研究团队表示，未来还将支持更多专业软件，包括Photoshop、Premiere Pro、AutoCAD等行业软件，最终目标是实现所有桌面软件的自然语言控制，让每个人都能轻松使用专业生产力工具。
四、行业影响与未来展望
这一技术的出现，将大幅降低专业软件的使用门槛，极大提升各行各业的生产效率。对于创意工作者来说，不需要再花费大量时间学习复杂的软件操作，可以专注于创意本身；对于企业来说，可以大幅降低员工的软件培训成本，提升整体工作效率。
业内专家认为，香港大学的这项开源项目，代表了下一代人机交互的发展方向，未来自然语言交互将成为所有软件的标准配置，数字生产力工具将迎来革命性的变革。
相关工具：快手可灵AI视频生成工具 | Runway AI视频编辑工具 | Cursor AI代码编辑器
© 版权声明
文章版权归作者所有，未经允许请勿转载。
