JavaCV神技：0.1% CPU占用，高效处理实时RTSP视频流

时间：2025-02-16 09:07:09

当处理实时视频流时，我们常常希望能够针对关键帧（I帧）进行抓取，以便在视频显示和处理过程中减少计算资源的开销。关键帧是视频编码序列中的重要帧，其他帧（P帧和B帧）则是通过引用关键帧进行编码。在本文中，我们将深入介绍如何使用 JavaCV 的 FFmpegFrameGrabber 来实现只抓取关键帧的功能，以及为什么这对于实时视频处理是有益的。

背景

实时视频流的处理在许多应用中都非常重要，如监控系统、视频会议、流媒体等。然而，随着视频分辨率和帧率的增加，解码和显示视频帧所需的计算资源也会增加。在某些场景下，我们并不需要每一帧都进行解码和显示，而只关心关键帧即可满足需求，从而减少了计算的开销。

JavaCV 和 FFmpeg

JavaCV 是一个在 Java 中使用计算机视觉库的强大工具，其中包括了对 FFmpeg 的封装。FFmpeg 是一个流行的多媒体处理库，可以用于解码、编码、转码、处理音视频数据等。通过结合 JavaCV 和 FFmpeg，我们可以在 Java 中轻松处理视频流。

实现关键帧抓取

以下是一个详细的示例代码，演示了如何使用 JavaCV 的 FFmpegFrameGrabber 来只抓取关键帧并显示：

import ;
import ;
import ;
import ;

import ;
import ;

public class RTSPCaptureKeyFrames {
    public static void main(String[] args) {
        String rtspUrl = "rtsp://10.10.13.13/test26";

        try {
            ();
        } catch (Exception e) {
            throw new RuntimeException("Failed to load FFmpeg", e);
        }

        FFmpegFrameGrabber grabber = new FFmpegFrameGrabber(rtspUrl);
        ("skip_frame", "nokey");  // 仅抓取关键帧
        ("fflags", "nobuffer");    // 禁用缓冲
        ("rtsp_transport", "tcp"); // 使用TCP传输
        avutil.av_log_set_level(avutil.AV_LOG_ERROR); // 设置日志级别

        CanvasFrame canvasFrame = new CanvasFrame("Key Frame Capture", () / ());

        try {
            ();

            while (true) {
                Frame frame = ();
                if (frame == null) {
                    //TODO:连续n次为null，进行重连
                    ("frame is null");
                }
                else{
                    (frame);
                }
                LocalDateTime now = ();
                DateTimeFormatter formatter = ("yyyy-MM-dd HH:mm:");
                String formattedDateTime = (formatter);

                ("当前时间: " + formattedDateTime);

            }
        } catch (Exception e) {
            ();
        } finally {
            try {
                ();
                ();
                ();
            } catch (Exception e) {
                ();
            }
        }
    }
}

多路拉流


import ;
import ;
import ;
import ;

public class MultiRTSPCaptureKeyFrames {
    public static void main(String[] args) {
        String[] rtspUrls = {
                "rtsp://admin:a1234567@10.10.16.28:554/Streaming/Channels/101?transportmode=multicast",
                "rtsp://admin:a1234567@10.10.16.26:554/Streaming/Channels/101?transportmode=multicast",
                // Add more RTSP URLs here
        };

        try {
            ();
        } catch (Exception e) {
            throw new RuntimeException("Failed to load FFmpeg", e);
        }

        CanvasFrame[] canvasFrames = new CanvasFrame[];

        for (int i = 0; i < ; i++) {
            FFmpegFrameGrabber grabber = new FFmpegFrameGrabber(rtspUrls[i]);
            // 设置读取的最大数据，单位字节
            ("probesize", "10000");
            // 设置分析的最长时间，单位微秒
            ("analyzeduration", "10000");
            ("stimoout", "5*1000*1000");
            ("skip_frame", "nokey");
            ("fflags", "nobuffer");
            ("rtsp_transport", "tcp");
            avutil.av_log_set_level(avutil.AV_LOG_ERROR);

            canvasFrames[i] = new CanvasFrame("Key Frame Capture " + i, () / ());

            final int index = i;
            Thread thread = new Thread(() -> {
                try {
                    ();

                    while (true) {
                        Frame frame = ();
                        if (frame == null ||  == null) {
                            ("Frame is null or image is null for stream " + index);
                        } else {
                            canvasFrames[index].showImage(frame);
                        }
//                        ();
                    }
                } catch (Exception e) {
                    ();
                }
            });

            ();
        }

        // Keep the program running
        try {
            (Long.MAX_VALUE);
        } catch (InterruptedException e) {
            ();
        }

        // Close the canvas frames
        for (CanvasFrame canvasFrame : canvasFrames) {
            ();
        }
    }
}

实际测试结果

在进行实际测试时，我们使用 JavaCV 的 FFmpegFrameGrabber 来实现只抓取关键帧的功能。通过设置相关的参数，我们成功地实现了只抓取关键帧，并在测试过程中观察到了显著的 CPU 占用率下降。在一路 RTSP 流的抓取过程中，我们仅使用不到 0.1% 的 CPU 资源。这一结果极大地突显了只抓取关键帧对于优化性能的重要性。

为何只抓关键帧有益？

  1. 减少计算开销： 关键帧通常包含完整的图像信息，无需引用其他帧。通过只抓取关键帧，可以避免解码和处理大量的 P 帧和 B 帧，从而减少了计算开销。

  2. 提高性能： 在某些情况下，实时视频处理可能需要在有限的计算资源下运行。只抓取关键帧可以让系统更轻松地处理视频流，从而提高整体性能和流畅度。

  3. 降低延迟： 关键帧独立于其他帧，因此在只抓取关键帧时可以更快地开始显示和处理视频，从而降低了系统的延迟。

总结

通过使用 JavaCV 的 FFmpegFrameGrabber，我们可以在实时视频处理中轻松实现只抓取关键帧的功能。这对于降低计算开销、提高性能和降低延迟非常有益。根据实际需求，您可以根据示例代码进行调整和优化，以获得最佳的效果。无论是监控系统还是流媒体应用，只抓取关键帧都是一个强大的工具，可以让您更有效地处理视频流。

相关文章