基于代理的多模式人工智能系统正在成为我们日常生活中无处不在的存在。使这些系统更具交互性的一个有前景的方向是将它们体现为特定环境中的代理。将大型基础模型作为特定环境中的代理，可以提供一种将视觉和上下文信息整合到具体系统中的方法。交互性Agent AI是一个交互式系统，可以感知视觉刺激、语言输入或其他基于环境的数据，并可以......