笔者：Mark
Liu
简单介绍
在Android 中，创建一个可以播放视频剪辑的应用很easy；创建一个採用
3D 图形平面的游戏应用也很easy。可是，创建一个可以在 3D 图形对象上播放视频的应用却不easy。
本文介绍了我为应对该挑战创建的应用。
该应用可在 3D 平面上渲染视频，并支持用户以交互的方式在视频平面上播放。
该应用须要解决三大实施问题：
- 怎样构建代码以支持用户在播放视频时变更 3D 平面？
- 尽管 Android 中默认的 MediaPlayer 配备了全面的播放操作，可是难以获得视频图像数据并以定制的方式对其进行渲染。
- 怎样设计图形组件以运行视频数据渲染？
此外，该应用还面临设备功能的挑战，由于它须要视频和图形对象同一时候执行。本文将对该款应用的特性和使用进行介绍。然后对其设计进行简要的介绍。
特性
该应用具备下面特性：
- 它支持用户从其本地媒体库中选择视频剪辑。
- 该应用支持横向和纵向两种方向；当方向转换时，视频可以持续播放。
- 它可提供三种播放模式：
- 默认模式：这是常规播放模式。视频剪辑如同在常规媒体播放器中一样播放。
- 随机旋转：视频的平面可随横向和纵向随机旋转；其颜色也可在红色色调和正常颜色之间切换。
- 触摸旋转：用户能够使用触摸功能向左、右滑动并旋转平面，详细取决于速度。
- 当将应用移动至后台或关闭时，可将当前的视频剪辑保存并在应用又一次激活时进行播放。
注：应用中没有视频会话控制；因此用户无法停止、快进或回放视频。假设将应用移动至后台或关闭，视频仅仅能从头開始播放。
使用模式
開始播放视频剪辑
该应用未包括不论什么视频。因此用户能够选择 Android 平台支持的随意视频剪辑进行播放。可是。建议使用採用 H.264AVC 编解码器以 MPEG-4 标准处理的视频编辑。由于我们在开发时是採用这样的格式。应用首次启动时。将会显示文件选择器界面（请见上一页的截图）。
用户选择首选的文件选择器后。系统将会提供屏幕指示。
选择视频剪辑后。将開始播放。
注：有时，视频開始前须要等待一段时间 — 约 5 ~ 10 秒。
选择不同的模式
应用開始播放时是使用常规模式。如要更改模式，用户可点击 UI 上的选项button，启动选项菜单。
选项菜单有四个选项：前三个是播放模式选项。最后一个选项可支持用户选择不同的视频剪辑。
随机旋转
该选择可支持渲染视频的平面随着横、纵轴呈 3D 效果随机旋转。
此外，它还可定期在屏幕上呈现红色色调。
触摸旋转
在触摸旋转模式中，用户能够向左、右滑动。从而让平面沿着纵轴左、右旋转。
当滑动更快时。旋转将会加快；当用户停止滑动时，旋转将会随之减速。
设计
该应用中的三个主要组件包含：为用户提供交互式应用演示的 UI 组件；进行视频播放的视频组件；渲染视频帧缓冲区并在特殊模式下创建 3D 效果的OpenGL*
平面。
该视频播放组件有两个线程。视频引擎线程使用MediaCodec 类。该类在 Android
JellyBean 版本号（API 16）中推出。它能够提供低级别的 Android 媒体框架 API，因此您能够在帧层面控制播放。
在每一个视频帧上。图形组件能够控制图像数据，并更改渲染图像的方式。
此外。播放组件还可运行播放视频剪辑音轨的音频引擎线程。为使视频和音频线程同步，从而让人物的口型与其说出的声音相匹配，我们实施了 AV 同步算法。
视频播放可使其时间戳与音频时间戳时刻保持一致。
它能够对播放速度进行微调，以便将视频帧控制在 30 毫秒的时间范围内。
图形组件可加入一个 GLSurfaceView。从而在该类中嵌入一个定制的渲染类。渲染类可实施渲染器接口来运行 OpenGL 渲染算法。该算法可在纹理平面上实施 3D 旋转效果，还可依据用户的输入将模式更改为其它算法。
在渲染器中。对视频帧旋转和着色是通过一个简单的顶点和像素着色器来控制的。视频平面的旋转通过应用一系列的欧拉角旋转来实现。
帧的着色通过将视频帧内容与固定颜色（在本案例中为红色）在像素着色器中进行线性混合来实现。
此外，图形组件还可用作视频引擎的视频帧监听器。并可在实施过程中传送至 MediaCodec 对象，这样每当有可用帧时便可调用渲染功能。图形组件可在 UI 组件中提供一个选项，这样用户便可以更改播放模式。
MediaCodec 编解码流程与视频帧保持同步，图形组件中的渲染器功能与图形帧保持同步。
因此，当訪问帧缓冲区时，两个组件中的功能必须保持同步。
相关链接与资源：
- 将 OpenGL* 游戏移植到基于英特尔凌动处理器的
Android* 系统 - 英特尔架构上的 Android* MediaPlayer
样本代码走查 - 英特尔处理器显卡上的 3D 游戏
- 英特尔 Android* 开发者专区
如要了解很多其它为 Android 开发者提供的英特尔工具，请訪问：。
作者简单介绍
Mark Liu 是英特尔超便携设备事业部 (Intel Ultra-Mobile Group) 的软件project师，负责开发基于 Android 设备的验证框架。此外。他还參与英特尔超便携设备事业部的多个其它 Android 项目。包含智能手机和平板电脑设备。
他所做的大部分工作都与媒体播放、视频会议和软件栈性能调优相关。
增加英特尔软件和设备事业部基于英特尔® 凌动™ 处理器的设备软件支持团队后，他负责多项不同的任务，包含 Android 样本媒体应用的开发、Windows* 8 媒体框架的系统优化以及用于编写媒体应用的文档。
Chris Kirkpatrick 是英特尔软件与服务事业部的软件project师，负责为视觉与交互式计算project设计团队提供英特尔图形解决方式开发支持。他拥有俄勒冈州立大学计算机科学理学士学位。
版权声明：本文博客原创文章，博客，未经同意，不得转载。