本文分享自己在视频录制播放过程中遇到的一些问题，主要包括：
- 视频录制流程
- 视频预览及surfaceholder
- 视频清晰度及文件大小
- 视频文件旋转
一、视频录制流程
以微信为例，其录制触发为按下（住）录制按钮，结束录制的触发条件为松开录制按钮或录制时间结束，其流程大概可以用下图来描述。
1.1、开始录制
根据上述流程及项目的编程惯例，可在oncreate()定义如下函数来完成功能：
初始化过程主要包括view，data以及listener三部分。在初始化view时，添加摄像头预览，添加倒计时文本组件，设置初始状态ui组件的可见；初始化data时，从intent中获取初始数据；初始化listener时，分别对录制触发按钮，保存/取消视频录制按钮以及视频预览界面添加监听。
当系统初始化成功后，等待用户按下录制按钮，因此在录制按钮的监听中，需要完成以下功能：录制，计时，更新界面组件。
|
1
2
3
4
5
6
7
8
9
10
|
if(isrecording) {
mmediarecorder.stop();
releasemediarecorder();
mcamera.lock();
isrecording = false;
}
if(startrecordvideo()) {
starttimevideorecord();
isrecording = true;
}
|
首先判断当前录制状态，如果正在录制，则先停止录制，释放mediarecorder资源，锁定摄像头，置位录制状态；然后开始视频录制startrecordvideo，其boolean型返回值表征是否启动成功，启动成功后，开始视频录制计时，并且置位录制状态。startrecordvideo涉及mediarecorder的配置，准备以及启动。
翻译成代码如下：
|
1
2
3
4
5
6
7
8
|
private boolean startrecordvideo() {
configuremediarecorder();
if(!prepareconfiguredmediarecorder()) {
return false;
}
mmediarecorder.start();
return true;
}
|
1.2、结束录制
根据上述流程图可知，结束录制的触发条件为松开录制按钮或计时时间到。在结束录制方法中，需要释放mediarecorder，开始循环播放已录制视频，设置界面更新等。
翻译成代码如下：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
|
private void stoprecordvideo() {
releasemediarecorder();
// 录制视频文件处理
if(currentrecordprogress < min_record_time) {
toast.maketext(videoinputactivity.this, "录制时间太短", toast.length_short).show();
} else {
startvideoplay();
isplaying = true;
setuidisplayaftervideorecordfinish();
}
currentrecordprogress = 0;
updateprogressbar(currentrecordprogress);
releasetimer();
// 状态设置
isrecording = false;
}
|
二、视频预览及surfaceholder
视频预览采用surfaceview，相比于普通的view，surfaceview在一个新起的单独线程中绘制画面，该实现的优点是更新画面不会阻塞ui主线程，缺点是会带来事件同步的问题。当然，这涉及到ui事件的传递以及线程同步。
在实现中，通过继承surfaceview组件来实现自定义预览控件。首先，surfaceview的getholder()方法会返回surfaceholder，需要为surfaceholder添加surfaceholder.callback回调；其次，重写surfacecreated、surfacechanged和surfacedestroyed实现。
2.1、构造器
构造器包含了初始化域以及添加上述回调的过程。
|
1
2
3
4
5
6
7
8
9
|
public camerapreview(context context, camera camera) {
super(context);
mcamera = camera;
msupportedpreviewsizes = mcamera.getparameters().getsupportedpreviewsizes();
mholder = getholder();
mholder.addcallback(this);
mholder.settype(surfaceholder.surface_type_push_buffers);
}
|
这里需要说明msupportedpreviewsizes，由于摄像头支持的预览尺寸由camera本身的参数决定，因此需要首先获取其所支持的预览尺寸。
2.2、预览尺寸的设置
从google官方的camera示例程序中可以看出，选择预览尺寸的标准是（1）摄像头支持的预览尺寸的宽高比与surfaceview的宽高比的绝对差值小于0.1；（2）在（1）获得的尺寸中，选取与surfaceview的高的差值最小的。通过代码对这两个标准进行了实现，这里贴一下官方的代码：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
|
public camera.size getoptimalpreviewsize(list<camera.size> sizes, int w, int h) {
final double aspect_tolerance = 0.1;
double targetratio = (double) w / h;
if (sizes == null) {
return null;
}
camera.size optimalsize = null;
double mindiff = double.max_value;
int targetheight = h;
for (camera.size size : sizes) {
double ratio = (double) size.width / size.height;
if (math.abs(ratio - targetratio) > aspect_tolerance)
continue;
if (math.abs(size.height - targetheight) < mindiff) {
optimalsize = size;
mindiff = math.abs(size.height - targetheight);
}
}
if (optimalsize == null) {
mindiff = double.max_value;
for (camera.size size : sizes) {
if (math.abs(size.height - targetheight) < mindiff) {
optimalsize = size;
mindiff = math.abs(size.height - targetheight);
}
}
}
return optimalsize;
}
|
在加载预览画面时，需要考虑camera支持的尺寸（getsupportedpreviewsizes）和加载预览画面的surfaceview的尺寸（layout_width/layout_height），在预览阶段，两者之间的关系直接影响清晰度及图像拉伸。对于camera的尺寸，由于设备的硬件差异，不同设备支持的尺寸存在差异，但在默认情况（orientation=landscape）下，其width>height。以htc609d为例，camera支持的分辨率为1280*720（16：9）……640*480（4：3）……480*320（3：2）等十多种，而其屏幕的分辨率为960*540（16：9）。因此，很容易得到以下结论：（1）当camera预览尺寸小于surfaceview尺寸较多时，预览画面就不清晰；（2）camera预览尺寸宽高比与surfaceview宽高比相差较大时，预览画面就会拉伸。
上述代码在手机设置为横屏时并没有问题，在设置为竖屏时，为获得最优的预览尺寸，需要在调用此方法前比较surfaceview的宽高。
|
1
2
3
4
|
if (msupportedpreviewsizes != null) {
mpreviewsize = getoptimalpreviewsize(msupportedpreviewsizes,
math.max(width, height), math.min(width, height));
}
|
获得与当前surfaceview匹配的预览尺寸后，即可通过camera.parameters进行设置。
|
1
2
3
4
5
6
7
8
9
|
camera.parameters mparams = mcamera.getparameters();
mparams.setpreviewsize(mpreviewsize.width, mpreviewsize.height);
mcamera.setdisplayorientation(90);
list<string> focusmodes = mparams.getsupportedfocusmodes();
if(focusmodes.contains("continuous-video")){
mparams.setfocusmode(camera.parameters.focus_mode_continuous_video);
}
mcamera.setparameters(mparams);
|
三、视频清晰度及文件大小
在第一节中讲到startrecordvideo，包括配置mediarecorder，准备mediarecorder以及启动，其中配置mediarecorder是视频录制的重点，需要了解每项配置参数的作用，根据业务场景灵活配置。这里参考google官方的示例给出一个可行的配置方案，然后再对其进行解释。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
|
private void configuremediarecorder() {
// begin_include (configure_media_recorder)
mmediarecorder = new mediarecorder();
// step 1: unlock and set camera to mediarecorder
mcamera.unlock();
mmediarecorder.setcamera(mcamera);
mmediarecorder.setorientationhint(90);
// step 2: set sources
mmediarecorder.setaudiosource(mediarecorder.audiosource.voice_recognition);
mmediarecorder.setvideosource(mediarecorder.videosource.camera);
// step 3: set a camera parameters
mmediarecorder.setoutputformat(mediarecorder.outputformat.mpeg_4);
/* fixed video size: 640 * 480*/
mmediarecorder.setvideosize(640, 480);
/* encoding bit rate: 1 * 1024 * 1024*/
mmediarecorder.setvideoencodingbitrate(1 * 1024 * 1024);
mmediarecorder.setvideoencoder(mediarecorder.videoencoder.h264);
mmediarecorder.setaudioencoder(mediarecorder.audioencoder.aac);
// step 4: set output file
mmediarecorder.setmaxfilesize(maxfilesizeinbytes);
mmediarecorder.setoutputfile(videofilepath);
// end_include (configure_media_recorder)
// set mediarecorder errorlistener
mmediarecorder.setonerrorlistener(this);
}
|
step 1：
1.setcamera参数能够使得在预览和录制中快速切换，避免camera对象的重新加载。在某些android手机自带的照相机程序中，切换预览与录制中的短暂卡顿，读者可自行体会。
2.mmediarecorder.setorientationhint(90)在录制方向为竖直（portrait）时使用，它能使视频文件的沿顺时针方向旋转90度，如果不设置此项，播放视频时，画面会发生90度的旋转。不过这里更重要的是，即使设置了此项，在某些播放器上，画面依然会有90度的旋转（比如将在手机上正常播放的视频导入到pc中进行播放，或者嵌入h5的video标签中），这可是为什么呢？注意setorientationhint的说明：note that some video players may choose to ignore the compostion matrix in a video during playback. 那么如何做到在所有播放器上都能以正常方向播放呢？稍等，后续专门对其进行说明。
step 2：
1.setaudiosource(mediarecorder.audiosource.voice_recognition)，voice_recognition相比于mic会根据语音识别的需要做一些调谐，当然，这需要在系统支持的情况下。
2.setvideosource自然是videosource.camera，只是在此两项设置必须在设置编码器之前设置，这无需说明。
step 3：
1.setoutputformat需要在step 2之后，并且在prepare()之前。这里采用outputformat.mpeg_4格式。
2.setvideosize需要权衡的因素较多，主要包括三方面：mediarecorder支持的录制尺寸、视频文件的大小以及兼容不同android机型。这里采用640 * 480（微信小视频的尺寸是320*240），文件大小在500-1000kb之间，并且市面上99%以上机型支持此录制尺寸。
3.setvideoencodingbitrate与视频的清晰度有关，设置此参数需要权衡清晰度与文件大小的关系。太高，文件大不易传输；太低，文件清晰度低，识别率低。需要根据实际业务场景灵活调整。
4.setvideoencoder采用h264编码，mpeg4、h263、h264等不同编码的差别比较，实际使用中，h264的压缩率较高，推荐使用。
5.setaudioencoder采用audioencoder.aac，该设置主要是考虑其通用性、兼容性。
step 4：
setmaxfilesize指定录制文件的大小限制，当然还可以限制其最大录制时间。
setoutputfile指定输出视频的路径。
setonerrorlistener指定错误监听器。
在完成上述配置之后，即可准备mediarecorder，并在返回成功后开始视频录制。
|
1
2
3
4
5
6
7
8
9
10
|
private boolean prepareconfiguredmediarecorder() {
// step 5: prepare configured mediarecorder
try {
mmediarecorder.prepare();
} catch (exception e) {
releasemediarecorder();
return false;
}
return true;
}
|
四、视频文件旋转
第三节中step 1提到对视频文件的旋转，因为某些播放器会忽略录制视频时的配置参数，因此可尝试通过第三方库对视频文件进行旋转，例如：opencv，fastcv等，在camera对象的camera.previewcallback中截取每帧数据byte[] data，然后对其进行处理，然后输出。该方法需要考虑处理方法的高效性，在编程时一般采用ndk，在c++中完成关键的处理，这里贴出fastcv中该处理方法的逻辑。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
|
public void onpreviewframe( byte[] data, camera c ) {
// increment fps counter for camera.
util.cameraframetick();
// perform processing on the camera preview data.
update( data, mdesiredwidth, mdesiredheight );
// simple iir filter on time.
mprocesstime = util.getfastcvprocesstime();
if( c != null )
{
// with buffer requires addbuffer each callback frame.
c.addcallbackbuffer( mpreviewbuffer );
c.setpreviewcallbackwithbuffer( this );
}
// mark dirty for render.
requestrender();
}
};
|
其中，update为native方法，其实现由jni中对应的文件完成，其中调用了libfastcv.a中相应的api。这里涉及ndk编程的基本方法步骤：（1）开发环境；（2）编写java代码、c/c++代码；（3）编译c/c++文件生成.so库；（4）重新编译工程，生成apk。由于本章不重点讲述ndk，这里不再展开。
除上述方法以外，笔者采用了另外一种思路进行了探索，上述方法处理的数据为每帧图像数据，可以理解为在线处理，而如果在录制完成之后再处理，可以理解为离线处理。这里采用了第三方库mp4parser，mp4parser是一款支持在android中进行视频分割的库，这里通过其进行视频旋转。至于具体效果如何，读者有兴趣可自行尝试，这里留个悬念。
|
1
2
3
4
5
6
7
|
private boolean rotatevideofilewithclockwisedegree(string sourcefilepath, int degree) {
if(!isfileanddegreevalid(sourcefilepath, degree)) {
return false;
}
rotatevideofile(sourcefilepath, degree);
return true;
}
|
对输入参数进行合法性检测之后，根据检测结果判断是否进行旋转。
|
1
2
3
4
5
6
7
8
9
10
|
private boolean isfileanddegreevalid(string sourcefilepath, int degree) {
if(sourcefilepath == null || (!sourcefilepath.endswith(".mp4"))
|| (!new file(sourcefilepath).exists())) {
return false;
}
if (degree == 0 || (degree % 90 != 0)) {
return false;
}
return true;
}
|
|
1
2
3
4
5
|
private void rotatevideofile(string sourcefilepath, int degree) {
list<trackbox> trackboxes = gettrackboxesofvideofilebypath(sourcefilepath);
movie rotatedmovie = getrotatedmovieoftrackbox(trackboxes);
writemovietomodifiedfile(rotatedmovie);
}
|
通过mp4parser旋转视频主要分为三步：
（1）获取视频文件对应的trackboxes；
（2）根据trackboxes获取旋转后的movie对象；
（3）将movie对象写入文件。
|
1
2
3
4
5
6
7
8
9
10
11
12
|
private list<trackbox> gettrackboxesofvideofilebypath(string sourcefilepath) {
isofile isofile = null;
list<trackbox> trackboxes = null;
try {
isofile = new isofile(sourcefilepath);
trackboxes = isofile.getmoviebox().getboxes(trackbox.class);
isofile.close();
} catch (ioexception e) {
e.printstacktrace();
}
return trackboxes;
}
|
|
1
2
3
4
5
6
7
8
9
|
private movie getrotatedmovieoftrackbox(list<trackbox> trackboxes) {
movie rotatedmovie = new movie();
// 旋转
for (trackbox trackbox : trackboxes) {
trackbox.gettrackheaderbox().setmatrix(matrix.rotate_90);
rotatedmovie.addtrack(new mp4trackimpl(trackbox));
}
return rotatedmovie;
}
|
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
private void writemovietomodifiedfile(movie movie) {
container container = new defaultmp4builder().build(movie);
file modifiedvideofile = new file(videofilepath.replace(".mp4", "_mod.mp4"));
fileoutputstream fos;
try {
fos = new fileoutputstream(modifiedvideofile);
writablebytechannel bb = channels.newchannel(fos);
container.writecontainer(bb);
// 关闭文件流
fos.close();
} catch (exception e) {
e.printstacktrace();
}
}
|
本文对android视频录制中常见的问题进行了说明，希望对大家的学习有所帮助。