【大厂AI课学习笔记NO.53】2.3深度学习开发任务实例（6）数据采集

时间：2024-03-01 13:33:14

这个系列写了53期了，很多朋友收藏，看来还是觉得有用。

后续我会把相关的内容，再次整理，做成一个人工智能专辑。

今天学习到了数据采集的环节。

这里有个问题，数据准备包括什么，还记得吗？

数据准备包括了数据采集、数据清洗、数据标注、数据验收、数据交付5个核心过程。

这里要区分数据标注和特征工程中的打标签。

根据确认的需求，采集对应的图片，图片采集需要注意：

  • 使用真实的玩具车进行数据采集
  • 覆盖不同场景
  • 涵盖所有可能的光照情况
  • 涵盖所有可能的交通标志，推动了一大类 非线性映射函数学习问题 的解决

采集数量:根据任务要求不同略有差异，玩具车场景任务较为简单，总计采集1万张图片。

采集方式:让小车在不同场景形式，使用摄像头录制视频，然后将每帧导出为jpg格式图片。

 

这里有一些特定的工具，来进行视频图像的采集。

延伸学习：

  • 图像采集：
    • 使用玩具车上的摄像头录制视频。
    • 将视频分解为图像帧，以便进一步处理。
  • 图像预处理：
    • 调整图像大小、裁剪、旋转等，使其适合输入到神经网络中。
    • 归一化图像，通常是将像素值缩放到0-1之间。
    • 可能还需要进行图像增强，如亮度调整、对比度增强、噪声减少等。
  • 数据标注：
    • 对于监督学习，你需要标注数据集。这意味着你需要手动或通过半自动工具为图像中的交通标志牌打上标签。
    • 开源工具如LabelImg或CVAT可用于图像标注。
  • 模型训练：
    • 选择一个深度学习框架，如TensorFlow、PyTorch等。
    • 构建或选择一个预训练的卷积神经网络（CNN）模型来进行图像分类或目标检测。
    • 使用标注的数据集来训练模型。
    • 调整模型参数（超参数调优）以优化性能。
  • 模型评估与优化：
    • 使用验证集评估模型的性能，查看准确率、召回率等指标。
    • 根据评估结果进行模型优化，如调整网络结构、增加数据等。
  • 部署与测试：
    • 将训练好的模型部署到玩具车上，这可能需要将模型转换为适合嵌入式设备或边缘计算的格式。
    • 在实际环境中测试模型的表现，确保它能够准确地识别交通标志牌。
  • 实时视频处理：
    • 使用OpenCV等库实时捕获和处理视频流。
    • 将每一帧图像输入到部署好的模型中进行预测。
    • 根据预测结果做出相应的动作或决策。

开源工具方面，除了之前提到的标注工具外，还有以下一些建议：

  • 深度学习框架：TensorFlow、PyTorch、Keras等。
  • 图像处理库：OpenCV、PIL等。
  • 模型转换工具：如TensorRT、OpenVINO等，用于将模型转换为适合部署的格式。
  • 边缘计算平台：如NVIDIA Jetson系列，适用于在嵌入式设备上运行深度学习模型。

关键技术包括卷积神经网络（CNN）的设计与训练、目标检测算法（如YOLO、SSD等）、图像预处理与增强技术、模型压缩与优化技术（如量化、剪枝等）以及实时视频处理技术。这些技术的具体实现会根据你的需求和硬件条件而有所不同。

摄像头选择：

  1. 分辨率：选择至少VGA（640x480像素）或更高分辨率的摄像头。更高的分辨率通常意味着更清晰的图像，有助于提高识别准确性。

  2. 帧率：至少30帧每秒（FPS）的帧率是比较理想的，这样可以捕捉到流畅的视频，并有助于实时处理。

  3. 焦距和视场角：根据玩具小车的大小和行驶速度，选择合适的焦距和视场角（FOV）。宽视场角有助于捕捉更多的环境信息，但可能会牺牲图像的清晰度。

  4. 接口类型：选择适合你的处理设备的接口类型，比如USB或MIPI CSI。

  5. 尺寸和重量：确保摄像头足够小巧轻便，以便安装在玩具小车上而不会对其性能造成太大影响。

处理器和边缘计算设备：

是的，你需要一个处理器或边缘计算设备来运行你的深度学习模型并处理摄像头捕捉到的图像。以下是一些可能的选项：

  1. 微控制器/单片机：对于一些基本的图像处理和简单的机器学习模型，像Arduino或ESP32这样的微控制器可能就足够了。但它们可能不适合运行复杂的深度学习模型。

  2. 单板计算机：像Raspberry Pi或NVIDIA Jetson Nano这样的单板计算机更适合运行深度学习模型。它们有足够的处理能力来处理视频流，并且有足够的内存来存储和加载模型。

  3. 边缘计算设备：NVIDIA Jetson系列（如Jetson Nano、Jetson TX2/TX2i、Jetson AGX Xavier）是专为机器学习和人工智能应用设计的边缘计算设备。它们具有强大的GPU，可以加速深度学习推理，并且尺寸小巧，适合安装在玩具小车上。

集成到玩具小车上：

  1. 物理安装：确保摄像头和处理设备可以稳固地安装在玩具小车上，并且摄像头的视角能够清晰地捕捉到交通标志。

  2. 电源管理：你需要一个合适的电源解决方案来为摄像头和处理设备供电。这可能包括电池、电压转换器等。

  3. 数据传输：确保摄像头和处理设备之间的数据传输是稳定和高效的。这可能涉及到选择合适的接口和线缆。

  4. 实时性能优化：对于实时应用，你可能需要优化你的深度学习模型和图像处理流程，以确保它们可以在你的处理设备上实时运行而不会造成太大的延迟。

总之，选择合适的摄像头和处理设备是实现玩具小车识别交通标志的关键步骤。根据你的需求和预算，你可以从上述建议中选择适合你的组件。