最近做了一个android视频播放器，在jni中采用c/c++现了播放器的播放，暂停，快进等基本的播放器功能.
使用开源库FFMpeg来解码，得到音视频数据，FFMPEG是一个功能强大的音视频解码，编码的库,当然了，若要在android中使用ffmpeg库，必须要交叉编译，才能得到arm平台才能运行的.so文件.
在ffmpeg的官网https://ffmpeg.org/中下载最新的ffmpeg源码。
本人是在ubutn中编译安装ffmpeg的源码.ffmpeg-3.0.1, 解压源码，并在源码目录下编译，命令如下:
#!/bin/bash
make clean
export NDK=/home/zsy/setup/android-ndk-r10
export PREBUILT=$NDK/toolchains/arm-linux-androideabi-4.9/prebuilt
export PLATFORM=$NDK/platforms/android-L/arch-arm
export PREFIX=../fftoollib
build_one(){
./configure --target-os=linux --prefix=$PREFIX --enable-cross-compile --enable-libfreetype --enable-runtime-cpudetect --disable-asm --arch=arm --cc=$PREBUILT/linux-x86_64/bin/arm-linux-androideabi-gcc --cross-prefix=$PREBUILT/linux-x86_64/bin/arm-linux-androideabi- --disable-stripping --nm=$PREBUILT/linux-x86_64/bin/arm-linux-androideabi-nm --sysroot=$PLATFORM --enable-gpl --enable-shared --enable-static --enable-nonfree --enable-small --enable-version3 --disable-vda --disable-iconv --enable-encoder=libx264 --enable-encoder=libfaac --enable-zlib --enable-ffprobe --enable-sdl --enable-ffplay --enable-ffmpeg --enable-ffserver --disable-debug --pkg-config-flags="pkg-config --cflags freetype2 --libs freetype2" --extra-cflags="-fPIC -DANDROID -D__thumb__ -mthumb -Wfatal-errors -Wno-deprecated -mfloat-abi=softfp -marm -march=armv7-a"
--enable-libfreetype
}
build_one
make
make install
编译成功后，生成了libavcodec-57.so，libavdevice-57.so，libavfilter-6.so libavformat-57.so libavutil-55.so libpostproc-54.so libswresample-2.so libswscale-4.so等8个共享库.
播放器的代码主要思路是：使用两个队列来保存解封装出来的音视频数据，其结构是AVPacket, 使用两个数组来保存解码出来的音视频Frame，其结构是AVFrame。使用pthread_create开启是个线程，一个线程read_thread()来读取解封装的数据分别放入音频队列audio_q，视屏队列video_q,一个线程video_thread()来读取video_q的数据,并解码，把数据放入到AVFrame数组video_array中,一个线程audio_thread()来读取audio_q中的数据,最后一个线程video_fresh()来循环读取 video_array的数据并显示出来.
那么，在播放过程中，如何来显示图像， 播放声音呢。
对于解码出来的视频数据可以作为纹理数据，通过opengl 来显示。具体的代码如下：
void drawFrame(const void *pixels_Y , const void *pixels_U ,const void *pixels_V , int pixel_w , int pixel_h){
glClear( GL_DEPTH_BUFFER_BIT | GL_COLOR_BUFFER_BIT);
checkGlError("glClear");
// texturecoord
glVertexAttribPointer(maTexCoorHandle, 2, GL_FLOAT, GL_FALSE, 0, textureVertices);
checkGlError("glVertexAttribPointer text");
glEnableVertexAttribArray(maTexCoorHandle);
checkGlError("glVertexAttribPointer text");
//Set postion
glEnableVertexAttribArray(maPositionHandle);
checkGlError("glEnableVertexAttribArray postion");
glVertexAttribPointer(maPositionHandle, 3, GL_FLOAT, GL_FALSE, 0, vertexVertices);
checkGlError("glVertexAttribPointer postion");
glActiveTexture(GL_TEXTURE0);checkGlError("glActiveTexture");
glBindTexture(GL_TEXTURE_2D, text);checkGlError("glBindTexture");
glTexImage2D(GL_TEXTURE_2D, 0, GL_RGB, pixel_w, pixel_h, 0, GL_RGB, GL_UNSIGNED_BYTE, pixels_Y);
checkGlError("glTexImage2D");
glUniform1i(textureUniformY, 0);checkGlError("glUniform1i");
}
嗯，作为纹理的视频数据格式是RGB24，必须将解码出来的AVFrame数据的格式转化为RGB24格式，才能显示出来.转化的主要代码如下：
av_image_fill_arrays(vp->frame->data, vp->frame->linesize,out_buffer,
AV_PIX_FMT_RGB24,width ,height,1);
is->img_convert_ctx = sws_getCachedContext(is->img_convert_ctx,vp->width , vp->height,
src_frame->format,
width , height,
AV_PIX_FMT_RGB24, SWS_BICUBIC, NULL, NULL, NULL);
sws_scale( is->img_convert_ctx , (uint8_t const * const *)src_frame->data,
src_frame->linesize, 0, src_frame->height,
vp->frame->data, vp->frame->linesize);
//顶点坐标
static const GLfloat vertexVertices[] = {
-1.0f, -1.0f,0,
1.0f, -1.0f,0,
-1.0f, 1.0f,0,
1.0f, 1.0f,0,
};
// 纹理坐标
static const GLfloat textureVertices[] = {
0.0f, 1.0f,
1.0f, 1.0f,
0.0f, 0.0f,
1.0f, 0.0f,
};
在这之前，必须加载shader语句，初始化程序.
shader语句如下：
static const char g_vertextShader[] = {
"attribute vec4 vertexIn;\n"
"attribute vec2 textureIn;\n"
"varying vec2 textureOut;\n"
"void main() {\n"
" gl_Position = vertexIn;\n"
" textureOut = textureIn;\n"
"}\n"
};
static const char g_fragmentShader[] = {
"uniform sampler2D tex;\n"
"varying vec2 textureOut;\n"
"void main(void) {\n"
// "vec3 rgb = texture2D(tex, textureOut);\n"
" gl_FragColor=texture2D(tex, textureOut.st);\n"
"}\n"
}
显示的图片如下：
对于播放声音,可以使用opensl es来播放，可以参考ndk中native-audio例子的代码，在本项目中使用buffer queue player,
初始化代码：
SLDataFormat_PCM format_pcm;
format_pcm.formatType = SL_DATAFORMAT_PCM;
format_pcm.numChannels = channel;
format_pcm.samplesPerSec = rate *1000;
format_pcm.bitsPerSample = SL_PCMSAMPLEFORMAT_FIXED_16;
format_pcm.containerSize = SL_PCMSAMPLEFORMAT_FIXED_16;
if(channel == 2){
format_pcm.channelMask = SL_SPEAKER_FRONT_LEFT | SL_SPEAKER_FRONT_RIGHT;
}else{
format_pcm.channelMask = SL_SPEAKER_FRONT_CENTER;
}
format_pcm.endianness = SL_BYTEORDER_LITTLEENDIAN;
SLDataSource audioSrc = {&loc_bufq, &format_pcm};
// configure audio sink
SLDataLocator_OutputMix loc_outmix = {SL_DATALOCATOR_OUTPUTMIX, outputMixObject};
SLDataSink audioSnk = {&loc_outmix, NULL};
// create audio player
const SLInterfaceID ids[3] = {SL_IID_BUFFERQUEUE, SL_IID_EFFECTSEND,
/*SL_IID_MUTESOLO,*/ SL_IID_VOLUME};
const SLboolean req[3] = {SL_BOOLEAN_TRUE, SL_BOOLEAN_TRUE,
/*SL_BOOLEAN_TRUE,*/ SL_BOOLEAN_TRUE};
result = (*engineEngine)->CreateAudioPlayer(engineEngine, &bqPlayerObject, &audioSrc, &audioSnk,
3, ids, req);
if(SL_RESULT_SUCCESS != result){
LOGI("CreateAudioPlayer fial\n");
return result;
}
播放回调代码：
void bqPlayerCallback(SLAndroidSimpleBufferQueueItf bq, void *context)
{
assert(bq == bqPlayerBufferQueue);
assert(NULL == context);
// 读取audio AVFrame中的数据.
audio_decode_callback(&audio_buf, &size);
SLresult result;
result = (*bqPlayerBufferQueue)->Enqueue(bqPlayerBufferQueue, audio_buf,
size);
assert(SL_RESULT_SUCCESS == result);
(void) result;
}
好了，至此，可以通过的ni来播放一个既有视频图像，又有声音的视频文件了.
我们也可以给视频添加一些水印，
加图片水印:
边缘检测：
加字体水印：
点击VR按钮，显示如下图像:
