本文提出了 DiVLA，它将自回归模型与扩散模型结合，用于学习视觉运动策略（visuomotor policy）。目标是 next token prediction，使模型能够有效地根据当前观测结果进行推理。随后，连接一个扩散模型来生成动作。为了通过 self-reasoning 增强策略学习，引入了推理注入模块，将推理句子直接集成到策略学习过程中。使用多个真实机器人进行了大量的实验，以验证DiVLA的有效性。包括一个工厂分拣任务，其中DiVLA成功地对物体进行了分类，包括那些在训练期间未见过的物体。推理模块增强了解释性，能够理解模型的思维过程并识别策略失败的潜在原因。此外，在零样本抓取任务上测试了DiVLA，在102个未见物体上实现了63.7%的准确率。证明了对视觉变化（例如干扰物和新的背景）的鲁棒性，并且易于适应新的机器人本体。DiVLA可以遵从新的指令并保持对话能力。DiVLA的数据效率高，推理速度快；DiVLA-2B在单个A6000 GPU上运行速度达到82Hz，并且可以从<50个演示中学习一个复杂任务。 最后，将模型从20亿参数扩展到720亿参数，展示了随着模型规模的增加而改进的泛化能力。