虽然生成数据集的想法已经存在很长时间了，并最先被广泛应用于训练 LLM，但实际上要针对小规模应用程序开发利用高效生成的数据（自动化标注或纯合成数据）是相当具有挑战性的。
● 不使用基础大模型，而是使用简单的渲染pipeline，例如合成数据集生成示例，通常做法是使用 python 脚本对感兴趣的对象进行裁剪，之后进行随机缩放、旋转并添加到背景中；对应的标注文件也是使用同一处理流程进行创建。在这种方法下，我们创建的图像不完全是真实的照片，但这些图像上的对象和背景是 100% 真实的。
● 许多人使用类似3D 渲染来生成数据，例如如下流程：
基于图像渲染仿真系统，将 3D 模型作为输入，并生成一组训练图像作为输出，通过给定多个渲染参数 θ，该系统将使用3D模型生成多个图像，从所有可能的视角、不同尺寸大小、不同照明条件、不同遮挡量和不同背景等角度来对输出进行建模。相关示例如下：
● 使用人工来进行图像收集和标注既费时又费力。相比之下，合成数据集可以使用生成式模型（例如，DALL-E、Stable Diffusion）免费获得。在本文中，我们展示了可以自动获得由预训练的稳定扩散生成式模型来生成图像的准确语义掩码，该稳定扩散模型在训练过程中仅使用文本-图像对。
上述方法称之为 DiffuMask，它利用了文本和图像之间交叉注意力映射的潜力，这是自然和无缝的，可以将文本驱动的图像合成技术扩展到语义掩码生成。DiffuMask 使用文本引导的交叉注意力信息来定位特定类别的区域，并将其与实用技术相结合，以创建一种新颖的高分辨率像素掩码。这些方法显然有助于降低数据收集和人工标注成本。