这里聚合了 2 个与 multimodal 相关的开源项目,适合快速判断哪些工具值得继续深入。
高星代表
UI-TARS-desktop 是字节跳动开源的跨平台桌面应用,基于 UI-TARS 视觉语言模型,通过自然语言指令自动化控制本地/远程计算机及浏览器,实现多模态 AI 驱动的 GUI 操作。
Parlor 是一个完全本地运行的多模态 AI 应用,支持实时语音和视觉对话,使用 Gemma 4 E2B 理解语音图像,Kokoro TTS 生成回复,无需云端服务,保护隐私并降低延迟。