RMVB编码格式?RVMB的在电脑平台上的解码器的原理:
RVMB格式是网上很流行的视频格式,是经过压缩的.它的标准播放软件是Realplayer,不过如果你不想再安装软件,直接用windows自带的Media player播放的话,那就在网上搜一个名叫"阿飞的解码器"装上,就可满足当前的大多数音视频的解码问题了.
影片加速是近年显示卡最热门的附加功能,但为什么显示卡3D发展也顺便带动影片加速功能?一个3D一个2D感觉没啥关连,其实除了厂商想要增加显示卡的附加价值之外,显示卡的3D运算其实和影片加速脱离不了关系,虽然乍看之下根本连不起来。
要讲的就是ATI和NVIDIA现在狂炒的AVIVO HD与PureVideo HD,他们到底是什么?而最常被问的就是「要才样启动显示卡的硬体加速?」,最大的混淆就是NVIDIA PureVideo技术与PureVideo Decoder的错误命名,以下我们将重头详细解说,让大家彻底了解!
NVIDIA PureVideo HD与ATI AVIVO HD是目前两大硬体加速技术。
影片压缩
首先,影片是什么?想都不用想,影片就是一连串的静态图片连续播放,一些影片格式会讲24p、30p、60i,指的就是每秒有24、30、60张图片。但影片至少都有好几秒,电影甚至是以小时来计算,大家做点算术就知道一小时的影片就要十万张的图片,那是非常大的资料,因此所有的影片格式都必须透过破坏性压缩,删掉部分图片的资讯让档案缩小,而影片播放就是一种「解压缩」的动作,把档案还原成一张一张的画面,硬体加速就是加快解压缩的动作,为了彻底了解,一定要来聊一下影片是如何压缩的。
[注:我这里就不提色彩空间转换的步骤,有兴趣的人自行查询「RGB转YUV」。]
1.动态补偿
大家都看过影片,点出一个你早已知道的事实:在一小段时间内,影片的画面大多是类似的。,比如上面两张火车的图片是从大约3秒钟的影片段落中随意截出来的,在这3秒内,摄影机就固定这个角度拍火车通过,而我们知道一般影片每秒都有24~60张,换句话说,这简单的火车段落可能高达有100张的图片,而每一张看起来都差不多。
当连续图片的内容都差不多时,要怎么压缩?很简单,就是取一张图片做标准,之后类似的图片就不存图片内容了,而只存「跟原来那张标准图片的差异点」。比如上面的火车图,第一张做为标准图,第二张就只存火车头的位置往左下角移动了XX像素,反正画面的其他部分几乎都一样。而这个参照的动作就叫「动态补偿」(Motion Compensation),在影片压缩的领域,它是把画面切成一块块小区域(16x16~4x4的像素),然后每个区域去比对前后张画面的相同位置,看有没有改变,有的话就只纪录画面的变化,这样连续的图片就只剩下几张标准画面和一堆参照的资讯而已,这是第一步压缩。
影片的连续画面会分成I、B、P三种,I画面就是原始参照画面,也就是画面出现大便....嗯,出现大变换、无法参照之前画面的时候,就会被列为I画面。P画面则是参照前一张I画面,纪录相异点,B画面则是双向参照I或P画面(最新的H.264是特例,它的B画面可以参照别的B画面)。所以P画面是出现小变换时用的,而B画面则是出现微小变换时用的。一般影片压缩后就是像图中这样IBBBPBBI,事实上真正有图片内容的只有I画面,其他都是参照纪录而已。
2.正余弦转换
正余弦转换(Discrete Cosine Transform,简称DCT),哇靠!听起来超专业,多念几次就觉得自己像数学家了。这里不讨论DCT的傅立叶转换公式,反正Google一下就有,就算写出来也没几个人看的懂,这篇是简单教学,而不是帮助入睡的。
DCT是把空间的资讯转换成频率。一张画面原本记录X、Y轴上某一点是什么颜色,XY轴就是一种空间资讯,对一张图片做DCT转换之后,会变成以频率来纪录。图片的「频率」是什么鬼?你一定会这样问,声音的高频是尖锐,图片的高频则是颜色快速转换的地方,低频就是...呃...颜色转换不快速的地方,也就是较为柔和的渐层。
上面的黑白图经过DCT转换后,就只剩下座标轴上一个短暂的突起。
比如上面这张黑白图,经过DCT转换之后就变成座标轴剩一个突起(黑白转换的交界),其余就是平缓的低频讯号(黑色和白色连续处),看到这里大家应该知道DCT的用意了,它就是把后面的低频去掉,只留下前面的高频,以图片的语言来说,就是让画面只留下重要的边缘,而细微的渐层拿掉,这牵涉到人脑的感知方式,人脑只要有一个大约的轮廓就能辨识,一张怀旧而模糊的照片仍然可以看出是谁,再糊的RVMB日剧(主角五官都快看不清楚了)大家都看的下去。所以影片压缩就照这个方式,把低频讯号删掉,保留大致的样子,做成第二步压缩。
3.Entropy Encoding
「熵」...哇塞!听起来超厉害,多念几次就觉得自己变物理学家了。物理上的Entropy跟电脑的Entropy有没有关系我不确定,所以我通常不会翻成中文,保留原来的Entropy Encoding比较好。
影片压缩到这一步已经不需要再删东西了,Entropy Encoding是一种无失真压缩的技术,资料可以完整的还原,这广泛用在档案压缩上(Zip、RAR...你举的出来的都有用到)。它是一种用机率来压缩的技巧,出现机率越高的字串资料,就用越短的代码来代取它。比如Mobile01里最常出现的词是「劝败」,那就把「劝败」用「0」来代替,这样一句话就可以写成「Nokia N95真赞,值得0」,是不是就缩短了?而当这个词出现机率超高时,就会看到资料变成一堆0,这时再把一堆0写成「几个0」的资讯(000000 = 6,0),压缩率就相当高了。
Entropy Encoding的演算法很多,比如VLC、CABAL、CAVLC,愈新的影片格式(比如H.264),Entropying Encoding的演算法就愈复杂,可以压的更小,当然也需要愈操的压缩/解压缩运算。
影片播放与加速
终于讲完压缩的部分了,接下来是两万字的影片播放步骤解说,哈!吓大家的,其实影片播放就是上面三个步骤倒过来,先把Entropy Encoding的资料还原,再做iDCT(inverse DCT)把频率资讯变回空间资讯,最后用动态补偿加上参照的资讯,还原成每一张画面,就是大家看到的影片了。原本这些解码工作是CPU要做,硬体加速就是把这些工作转到显示卡上,降低CPU占用率,或是让更低阶的CPU可以播放。
显示卡最早加入硬体加速的步骤是「动态补偿」,因为这跟3D运算的方式很像,事实上,目前最新的影片硬体加速都还有部分用到3D运算核心。「动态补偿」是把画面切割成小区域做比对,还原时就是用影片档里那些参照纪录,对照标准画面来算出每一张画面,由于画面是切成一块块区域,每个区域都是独立的,正好可独立送到显示晶片里多个平行化单元(也就是Shader)一起做运算,但并非所有解码的步骤都能由Shader来处理,iDCT和Entropy Decoding就和显示晶片的运作方式相反(这两步无法平行化运算,用CPU比较快),GPU要支援这些,就得实实在在地内建一个解码单元,专做iDCT和Entropy Decoding。
硬体加速的几大步骤,两家都有自己惯用的宣传名词,图中Bitstream Processing就是Entropy Decoding,Inverse Transform就是iDCT,再来是动态补偿,最后一个Deblocking是「去区如何启动硬体加速?
而显示晶片是怎么做硬体加速的?或更直接一点:「如何启动硬体加速?」,其实对于显示卡来说,「硬体加速」一直都在启动状态,只是有没有去用而已。在3D游戏里,我们已经知道DirectX与OpenGL是游戏和显示卡之间沟通的语言,游戏用DirectX写,显示卡支援DirectX,显示卡就能运算游戏里的3D画面。完全同样的道理也能放在影片播放上,只是DirectX换成DXVA(DirectX Video Acceleration),而所谓的PureVideo和AVIVO,其实就是显示卡执行这些DXVA指令的技术。
硬体加速的步骤,只要解码器读到正确的影片格式,解码器本身也支援DXVA的话,就会把解码的工作丢给显示卡,解码结束之后再把结果传给解码器,输出最后的画面。
前端的解码器最重要,支援硬体加速的解码器遇到特定影片格式时,就能把解码的动作改用DXVA的指令来写,送给显示卡去加速运算,再把运算结果回传变成画面。很多人以为要启动PureVideo就一定要装NVIDIA PureVideo Decoder,事实上这是名称上的误解,NVIDIA PureVideo Decoder只是支援PureVideo技术的解码器「之一」,许多着名的播放软体都已经支援PureVideo或AVIVO,像台湾之光PowerDVD、WinDVD、Nero ShowTime、Windows Media Player等等。
而且那个NVIDIA PureVideo Decoder只是DVD播放软体(MPEG-2解码器),它不能...也永远不可能播放其他新格式,比如H.264、WMV、VC-1等等,要硬体加速这些新格式,只有上述几个市售的播放软体有支援,装NVIDIA PureVideo Decoder是完全无用的。
另外,其实DXVA只是一个泛称,微软所订的DXVA 1.0只支援到MPEG-2,现在播放软体支援VC-1或H.264硬体加速都是显示晶片厂与播放软体厂合作,用DXVA的延伸指令所做,两家所用的专属指令并不一样。所以现在事情演变有点复杂,要真的确定有硬体加速,播放软体得明确地说有支援PureVideo HD和AVIVO HD才行,而且NVIDIA和ATI的硬体加速一直在改,驱动程式和播放软体也得一直升级才能支援最新的技术。
[注:新的DXVA 2.0支援所有新格式,但很不幸的,它跟DX10一样是Vista Only,所以厂商可能还是会继续用专属指令,让播放软体可以同时支援XP和Vista。]
播放软体通常只会简短的写「启用硬体加速(NVIDIA PureVideo)」,但PureVideo和AVIVO改来改去,搞一堆专属指令,为了避免麻烦,一律使用最新版的播放软体最没问题。
这是未开硬体加速前,播放「黄金罗盘」的1080p Quicktime预告片(H.264格式),CPU是C2D E4300,占用率整个飙高。
开启GeForce 8600GT的硬体加速后,CPU占用瞬间掉到只剩不到10%。
总而言之,要使用这些显示卡的硬体加速,必须要有:1.支援硬体加速的显示卡、2.最新的驱动程式、3.特定的解码器(PowerDVD或WinDVD)并勾选硬体加速选项、4.软硬体都有支援加速的影片格式(如MPEG-2、WMV、VC-1、H.264),缺一不可。像XviD、DivX、RMVB这种非业界标准的格式是不太可能会有厂商支援的,因为他们首要着眼点是像DVD、Blu-Ray、HD-DVD这种光碟媒体所用的影片格式。
[注:有人会问硬体加速支不支援.avi影片档,这是另一个常见的误解,影片附档名跟压缩格式可以是完全无关的,所有的影片压缩格式都能变成.avi档,要真正看出它的压缩格式,可以抓GSpot来看。]
块」,因为动态补偿是以区块来还原画面,如果没有Deblocking的动作,整个影片画面就会裂成像棋盘状,这一步并不操,但是是必须的。
PureVideo HD与AVIVO HD
现在PureVideo HD与AVIVO HD的发展已经到100%硬体加速了,ATI在Radeon HD 2000之后,几乎全系列(除了2900XT)都可以对MPEG-2、VC-1、H.264、WMV做完整硬体加速,这包括动态补偿、iDCT和Entropy Decoding三大步骤;NVIDIA目前仍然缺少VC-1的Entropy Decoding,其他则跟ATI相同,不过在新版8400GS(D9M/G98)推出之后NVIDIA会追上ATI的水准。其实,现在两边的硬体加速技术都远超过一般人所需,因为大流量的H.264与VC-1影片并不常见,只有Blu-Ray和HD DVD会用到,不过总有一天这些新世代电影光碟一定会普及。
虽然NVIDIA一直号称PureVideo HD只少了一步,差不了多少,但少的Entropy Decoding事实上是三大步骤里最操的。硬体加速除了减轻CPU的负担之外,也能让影片画质提高,最常见的就是「去交错」(De-interlace),由于种种我已经没力再写的历史包袱,很多影片的画面并非完整的,而是用一条条奇数或偶数扫瞄线交替组成,「去交错」就是把它们重新运算成完整画面。而这不只是前后两张黏在一起而已,事实上,去交错比单纯降低播放时的CPU占用率更复杂,因为去交错很多是By case,同一种演算法不能套用在所有影片上,幸好交错影片只有在DVD时代比较常见,现在新的影片大多是完整画面了,谢天谢地!
硬体加速除了降低CPU使用率,也能提高影片画质,图中「Post-Processing」的部分都是加强画质用的。去交错的效果,可以把影片中的边缘锯齿去除。最终...还是要看片
网路影片播放+硬体加速可以搞到很复杂,因为商用解码器通常只支援特定几种常见档案,有时候你明知道这档案的影片压缩格式是可以加速的,但却可能由于解码器的限制而无法启动。比如mkv就是网路上专用的档案包装格式,它可以包进H.264的影片,但支援H.264硬体加速的PowerDVD没办法拨mkv,所以才有把一堆解码器打包抽离,让它与其他splitter(分离影音档中的影片和音讯的软体)连结合作,支援更多影片的特殊玩法。