一、OpenCVFFmpeg庫(kù)

OpenCVFFmpeg是包含F(xiàn)Fmpeg命令行工具的OpenCV庫(kù)擴(kuò)展，它可以用于視頻&音頻解碼、編碼以及處理。

FFmpeg是一個(gè)開(kāi)放源代碼的跨平臺(tái)多媒體解決方案。它可以解碼、轉(zhuǎn)換、編碼幾乎所有流行的多媒體格式。OpenCV是一個(gè)非常流行的計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)庫(kù)。將兩個(gè)庫(kù)結(jié)合在一起，讓我們能夠處理視頻和音頻，并進(jìn)行各種操作。

下面是一個(gè)用OpenCVFFmpeg庫(kù)解碼視頻的簡(jiǎn)單示例：

#include 
#include 

int main()
{
    cv::VideoCapture cap;
    if (!cap.open("video.mp4", cv::CAP_FFMPEG))
      return 0;

    cv::Mat frame;
    for (;;)
    {
        cap >> frame;
        if (frame.empty())
            break;
        cv::imshow("Frame", frame);
        cv::waitKey(1);
    }

    return 0;
}

通過(guò)上面的示例代碼，我們可以快速地建立一個(gè)簡(jiǎn)單地視頻解碼工具。

二、OpenCVFFmpeg RTMP 推流

OpenCVFFmpeg庫(kù)也可以用來(lái)推流，這對(duì)于我們需要實(shí)時(shí)流傳輸應(yīng)用程序非常有用。下面是一個(gè)用OpenCVFFmpeg庫(kù)來(lái)將本地視頻流推送到遠(yuǎn)程服務(wù)器的簡(jiǎn)單示例：

#include 

int main()
{
  cv::CascadeClassifier face_cascade;
  face_cascade.load( "haarcascade_frontalface_alt.xml" );

  cv::VideoCapture capture;
  capture.open(0);

  cv::Mat frame;
  cv::Size out_size(480, 640);

  cv::VideoWriter writer;
  writer.open("rtmp://localhost:1935/live/test", cv::CAP_FFMPEG,
              cv::VideoWriter::fourcc('F', 'L', 'V', '1'), 25.0, out_size, true);

  for (;;) {
    capture >> frame;
    if (frame.empty()) break;

    cv::Mat gray_frame;
    cv::cvtColor(frame, gray_frame, cv::COLOR_BGR2GRAY);

    std::vector faces;
    face_cascade.detectMultiScale(gray_frame, faces, 1.3, 4);

    for (const auto& face : faces) {
      cv::rectangle(frame, face, cv::Scalar(0, 0, 255), 3);
    }

    writer.write(frame);
  }

  return 0;
}

上面的示例代碼展示了如何使用OpenCVFFmpeg庫(kù)來(lái)捕獲視頻幀并將其推送到服務(wù)器。

三、OpenCVFFmpeg 視頻編碼

OpenCVFFmpeg庫(kù)還可以用于編碼視頻。

下面是一個(gè)用OpenCVFFmpeg庫(kù)將圖像序列轉(zhuǎn)換為視頻的簡(jiǎn)單示例：

#include 

int main()
{
    cv::Mat frame;

    int fps = 30;
    int fourcc = cv::VideoWriter::fourcc('X', '2', '6', '4');
    int width = 1280, height = 720;
    cv::VideoWriter writer("output.mp4", cv::CAP_FFMPEG, fourcc, fps, cv::Size(width, height), true);

    for (int i = 0; i < 300; i++)
    {
        frame.create(height, width, CV_8UC3);
        cv::randu(frame, cv::Scalar(0, 0, 0), cv::Scalar(255, 255, 255));
        writer.write(frame);
    }

    return 0;
}

在上面的示例中，我們先使用cv::VideoWriter創(chuàng)建一個(gè)視頻輸出文件，并通過(guò)cv::randu生成隨機(jī)顏色的圖像幀。再使用writer.write將幀寫(xiě)入文件。

四、OpenCVFFmpeg 音頻解碼

OpenCVFFmpeg庫(kù)還可以用于音頻處理，下面是一個(gè)簡(jiǎn)單的示例，可以從音頻文件中提取信息：

#include 

int main()
{
    cv::VideoCapture cap;
    cap.open("audio.mp3", cv::CAP_FFMPEG);

    while (true)
    {
        cv::Mat frame;
        cap >> frame;
        if (frame.empty()) break;

        if (frame.rows >= 3 * cap.get(cv::CAP_PROP_FRAME_HEIGHT) / 4)
        {
            int sample_rate = (int)cap.get(cv::CAP_PROP_FPS);
            int channels = frame.channels();
            int bytes_per_sample =
                static_cast(frame.elemSize() / frame.channels());
            int num_samples = cap.get(cv::CAP_PROP_FRAME_WIDTH);
            int num_total_samples = num_samples * channels;

            int num_channels = 2;
            int bytes_per_channel = bytes_per_sample;

            std::vector audio_data(num_total_samples);
            int pos = 0;
            for (int i = 0; i < num_total_samples; i++)
            {
                audio_data[i] = frame.at(0, i);
            }

            // write to file or process audio_data here.
        }
    }

    return 0;
}

在上面的示例中，我們首先從音頻文件中獲取音頻幀，然后根據(jù)返回的結(jié)果計(jì)算每個(gè)音頻幀中的樣本數(shù)、采樣率和聲道數(shù)。然后我們將音頻數(shù)據(jù)保存到vector中，可以將音頻數(shù)據(jù)保存在文件中或進(jìn)行其他處理。