在本节中，我们将简要介绍CarDreamer所涉及的两个基础软件：高保真和灵活的模拟器CARLA [25]，以及用于强化学习训练和评估的标准接口Gym [28]。
2.1 CARLA
CARLA是一个开源模拟器，旨在模拟真实世界的交通场景。CARLA基于Unreal Engine，提供逼真的物理效果和高质量的渲染。CARLA提供了包括地图、建筑物、车辆和各种地标在内的数字资产。它支持各种传感器，例如RGB相机、LiDAR和RADAR。用户可以创建车辆或行人，并完全控制这些角色。尽管CARLA是一个非常通用的工具，但其在强化学习算法中的应用也因其通用性而受到限制。正如第2节所述，获取鸟瞰图（BEV）涉及一个繁琐的过程，阻碍了其在强化学习算法训练中的快速部署。
2.2 Gym
Gym是由OpenAI定义的一个标准接口，用于规范代理和环境之间的通信。接口的核心部分由两个函数组成：reset()和step(action)。前者将环境初始化到其起始状态，后者接受来自代理的动作输入，模拟环境的演变，并返回观测数据、奖励信号、终止指示器和一些额外信息。通过这种方式，只要支持Gym接口，强化学习算法就可以在各种环境中进行轻微调整后轻松测试。在开发多样化的Gym基准测试（如Atari游戏、DMC套件）方面已经做出了大量努力。然而，在基于世界模型（WM）的强化学习算法在CARLA中进行自动驾驶的领域，CarDreamer是第一个通过Gym接口提供多样化城市驾驶任务的平台，以促进训练和评估。