6,render的一些概念和可用库

时间:2023-03-08 16:36:11
6,render的一些概念和可用库

一,概念解释

什么是渲染?这是高大上的说法,翻译成正常语言,就是把图像缓冲区的数据显示到屏幕的过程,就是渲染。

原理说白了很简单,但实际操作中有太多因素需要考量。

OS/硬件提供的加速机制/解码后图像数据格式/字幕数据的格式。。。。

刚开始查找资料时,我总是试图找到所有的渲染方式,后来发现这实在错的比较离谱。因为说到底,这是一个图形学的问题:如何在计算机屏幕上绘图。不同的图形库有不同的绘图接口,太多的厂商有自己的图形库,根本不可能穷举出所有的图形库。我们只能讨论一些相对主流的方式。另外去找所有的图形渲染方式也是没有意义的,因为他们的理念大体上又是差不多的,只是API不同。唯一的要求是,你要画的足够快,因为如果你想一张张图像看起来是连续的,那么速度要达到24帧以上。当然,对于一些特殊应用,比如视频会议,15帧的速度不会让人有卡顿感,这个帧数也完全Ok。

二,问题的概念空间与一些解决方案

说完了,回到开始的问题,如何渲染。

这里又有两个问题需要解释:

1.图像缓冲区里面的数据是什么样的?RGB还是YUV,又是哪种RGB,哪种YUV?

2.如何把缓冲区的数据搬到屏幕?CPU,普通的2D加速,还是GPU,用GPU时,是OpenGL还是D3D?

第一个问题:

这里我们只说几个常见的。这里的图像缓冲区,特指解码后的数据,而非对应屏幕显示的那块。因为对于目前的真彩色显示器来说,屏幕对应的数据只有一种,就是RGB888。无论你给到的数据如何,传输到屏幕点亮色点的数据都会被驱动/硬件/总线给处理成这种格式。这是由屏幕的物理属性决定的,物理屏幕就是TTL电路点亮的一堆小灯。

常见的有RGB888/RGB565/YV12/I420p。

ps:实际解码器出来的都是YUV数据,如果得到RGB数据,通常也都是解码器后面加了一步YUV2RGB的转换,不过通常我们也会把这块功能算成是解码器的。不过不绝对,需要看lib的作者如何看待这个问题。

第二个问题:

1.纯粹的CPU(现在貌似很少有这种了),就是一个一个的往屏幕上画点了,一个pixel一个pixel的画,不太常见,也比较慢,因为操作内存太过频繁。有些库封装了overlay/bitblt等操作,虽然看起来像CPU在做,实际上已经调用了2D加速了。

2.用2D加速的

Overlay

以前看资料,老看到Overlay什么的东东,找了很久,似乎也没有谁专门给出一个标准定义,说什么才叫Overlay。说下我的理解,Overlay通常是一个硬件意义上的名词,因为屏幕上的东西,通常有很多层次,Overlay可以做的就是直接把这层放到所有图层上面。通常的用法是YUV数据直接给屏幕,Overlay硬件会替你做YUV2RGB转换。这个词貌似来自ms的directshow,有什么主表面,离屏表面,overlay之分,实际上就是硬件图层的意思。貌似有些硬件可以支持RGB Overlay,很少见。有些图形硬件可以支持多个Overlay图层,也就是说,你可以使用Overlay同时在屏幕上显示几个不同的视频。视频监控的宫格多半就是这样来的。

嵌入式里面,Overlay还有一种常见做法,比如:一些有很高优先级的提示,要给用户,这时就得把普通的提示框做成YUV的,然后提示显示出来,可以直接盖到所有的图层上去。

关于模拟Overlay,呵呵,凌乱了吧,实际上就是接口叫xxxOverlay,实际上是把YUV转成RGB,然后画点的方式显示,SDL中有这种接口。

最常见的Overlay类型是YV12,一是数据量小,二视频压缩的标准有关,因为Mpeg2/h264等标准,都强制要求这种格式,当然这两点是相符相成的。

优点就是快,缺点也比较明显,如果要做视频图像后处理,比如放大缩小,人脸识别等操作,会比较麻烦。

Bitblt

比较常见的2d加速方式,把内存数据的数据直接传输到屏幕,或者搬到另一块内存中(内存拷贝)。

blit是个有渊源的词语,这个词的本意就是块(block)移动(transfer)的缩写blt,因为这个缩写缺少元音不好读,所以后来加上了i,就变成blit。

实际上我搞不清这和DMA有什么区别,希望有人指点一下区别。难道区别仅仅是BitBlt可以同时缩放/旋转,而DMA不能?

另外与Android提出的CopyBit有区别么?我看没啥区别啊。

优点是在内存拷贝时,可以同时做缩放/旋转,缺点是只能用RGB格式。

(2014.03.30更新:

1.查了一些资料,看了一下bitblt实现原理,除去缩放/旋转的算法之外,涉及到内存搬移的应该是调用memcpy实现的,从这个角度来看,是用到了dma功能的,看来是没有什么区别的。只是memcpy的实现通常是考验硬件性能和程序员水平的地方。

2.从copybit规定的interface来看,实际就是bitblt,估计只是bitlt这个单词是ms提出的,google觉得不爽,起个新名子而已。

实际android到了4.0之后,已经取消掉了copybit HAL module,2d加速全部采用了GPU操作。在android 2.3代码里还残存着一些痕迹。)

3.GPU

其实OpenGL和D3D就是GPU在软件接口层面上的抽象。用opengl和d3d显示视频通常都是用texture方式来实现的,把一帧一帧图像生成纹理数据,然后贴到vertex上去。

简单解释一下就是,先建立顶点坐标,再建立纹理坐标,再把顶点坐标与纹理坐标一一映射,完成贴图。具体的要看一下OpenGL编程书籍了,这实在是一个复杂的题目。

先把屏幕四个点当成两个三角形(因为3d api用三角形来表示平面,当然多边形也支持,但遇到不支持的情况,用两个三角形就可以组成一个矩形),把数据的一个点一个点对应到这个矩形上,就显示了一帧。因为GPU通常是并行操作,像素生成率通常也足够高。

这块了解不够多。不多说了。

三,常见的库

这个通常又与OS有关系了,讨厌死了。

先说Windows,又分几个层次。先从底层说起。

纯api就是

Windows GDI,windows平台对图形硬件的抽象,很多年了,比较成熟,效率应该比较OK。

DirectDraw,这个封装的就是Overlay的操作接口,但是微软已经停止支持了,不建议使用。

D3D,微软的3D API,门槛比较高一些。

Direct2D,层级和GDI貌似差不多,Win7时代出现新玩意,看过一些资料,说这套API是取代GDI的,不过貌似微软已经尾大不调了。

上述几个API,VLC播放器里面都有一些具体的实现,可以看一下下。

另外就是DirectShow中的filter级别的。

VMR7,底层用DirectDraw封装的,资料说只有XP好用,更老更新的平台都不支持。

VMR9,底层用D3D实现,还在支持。

EVR,vista时代出现的东西,好像也是D3D做的(微软你到底要闹哪样。。。。这么多选择)

其实dshow还有什么overlay mixer,video render之类的filter,我觉得都没有跑出我上面说的范围。

说Linux吧。

X-window的api算一种,虽然一直用X,但对X的超多bug也很不满,从来没看过。。。(吐血)

DirectFB,通常在嵌入式平台才会使用,桌面平台上极少见到,抽象了几乎所有的2D加速机制,接口操作和DirectDraw几乎一模一样。

直接用FrameBuffer提供的接口,嵌入式多见,不过通常这些接口里面已经封装了Overlay/BitBlt接口,不要只见树木不见森林就好。

跨平台的

SDL,算是比较常用的,API的使用还比较简单,但是看代码真心觉得太乱了,不过人家是跨平台的,代码乱真心是难以避免。

最后有个比较惨痛的事实,因为你在写播放器时,这些API可能都没用,因为。。。。。你的图形库会再给你提供一套。。。。好吧,懂得原理,很多事情会简单一些。