清晰、通透的画质能让人赏心悦目,逼真的色泽还能提升监控人员的心绪,但现实是,图像模糊不清的情况却常有发生,而最为恼人的事是面对模糊图像,监控人员却丈二和尚摸不着头脑,不知如何摆弄。
造成图像模糊的原因多种多样,有设备自身原因,也有环境因素,只要一个环节处理不当,图像模糊就在所难免。对经验老到的工程商来说,解决图像模糊并非难事,仅通过图像的症状就可判断出问题出在哪里,然后对症下药;而对新手来说,确是不易。随着安防行业的持续高速发展,技术也日新月异,不断衍生的新技术或从其它行业引入的技术,都对安防从业者带来挑战,尤其是数字高清监控,造成图像模糊的因素更多,处理起来也更麻烦,对模糊图像,即便再老到的技术人员也很难判断其问题所在或知道问题却由于技术原因而望而却步。
图像模糊,对监控,尤其高清监控是一个硬伤。天地伟业数码科技有限公司产品经理瞿关明介绍:“随着数字图像技术的发展和市场需求的推动,模糊图像处理技术的研究一直没有中断过。新的数字处理技术和设备不断出现,同时行业对图像清晰度的要求不断提高,模糊图像处理技术也在不断进步。模糊图像处理技术应用领域非常广泛,几乎有数字图像的地方都可能应用到模糊图像处理技术。”本文将就模糊图像产生的原因及其解决办法试做一番探讨。
环境制约
摄像机成像是一个复杂的过程,是一个对光的再还原过程:监控场景反射的光从摄像机镜头投射到感光元件上,再经光电转换和处理,最后摄像机输出电子图像,之后再经显示设备处理转换成可显现的光图像。从其成像原理和过程可知,其离不开光,光成了图像成像的第一要素,没有光也就没有图像。从各种监控中不难看出,光照好的时候,监控画面清晰,色彩鲜艳;但若光照突然黯淡下来,图像画面即刻随之失色。如果到傍晚,照度严重不足时,图像即会出现噪点、雪花、拖尾、马赛克等各种类的图像模糊症状;若当环境中的照度接近或达到零时,摄像机镜头捕捉不到光,监控画面即表现为一幅布满噪点的“雪花屏”。
环境的光照状况决定了摄像机成像的好坏。为解决光照问题,工程商通常会通过环境补光来提升监控场景的照度,从而提升图像画质。补光办法常会有如下二类:
• 外部加装辅助可见光源:使用可见光照明技术难度低,安装及应用快捷,这是模拟监控常用的办法,在其它技术尚未成熟的情况下,采用加装辅助可见光照明是最为直接也是最行之有效的方法;在数字高清监控的今天,在较多的监控场所,仍沿用此最直接最为有效的办法,如煤矿井下等;
• 增设非可见光源:现在常用到的非可见辅助光源有两种,一是红外光,随着红外发光技术的成熟,尤其是红外LED灯技术的成熟,使得应用于摄像监控更加方便,使用寿命更长,从而可让摄像机不受环境照度影响,实现24小时不间断监控;二是激光,与红外光一样,都是直接安装于摄像机上的主动式光源,但激光的聚焦性更好,成像距离也比较远。
环境光照情况是万变的,不同地点、不同时间都会不一样,要实现高清成像就必须营造一个有利于成像的环境,光照不足时须为其提供辅助光源;同时还要处理好摄像机与环境的关系,如选择恰当安装位置以避免逆光等。
突破与生俱来的缺陷
无论是可见光还是不可见光,补光仅是成像环节中的一部分,若要实现高质量图像呈现,还需从摄像机自身来提升。摄像机清晰成像实际上是各个元器件协调合作的结果,任一部分的不足或缺失都会对成像质量造成极大的影响。
提高镜头质量
镜头是光成像过程的第一步,由镜头造成的图像模糊现象比较多,通常有如下几种:
• 镜头清晰度:与模拟视频监控不同,高清摄像机的分辨率各不相同,其对镜头的要求也不一样,如200万的高清摄像机,采用130万像素镜头,其成像质量自然不足,所以镜头清晰度如果与摄像机不匹配,画质就达不到预期的效果。当然,匹配还包括镜头与感光器尺寸的配合,这与模拟监控是相同的;
• 通光量:通光量对图像画质的影响也是非常大,其主要有表现在照度不足的傍晚、夜间。当镜头难以获得足够的光线,会造成图像画面模糊,噪点增多,对运动物体的抓拍有拖尾等。因此,夜间监控摄像机采用大口径镜头是较好的选择,以便在低光照环境下,大口径镜头能获取较多的光线,有助于提升图像清晰度;
• 聚焦:失焦模糊是常见的图像模糊现象。在实际监控中,如对固定镜头应用,摄像机的拍摄方位或监控物体移动,聚焦点都有可能随之改变,从而出现失焦情况,这时只有重新聚焦才能解决此类问题;一体机采用自动聚焦镜头,如果制作工艺不够精良,自动聚焦也容易出现偏差,造成失焦模糊;
• 镜面:目前市场上大多数镜头都是球面镜头。艾博信科技(北京)有限公司总经理杜建英认为:“在标清级别上,国产和进口镜头无论工艺还是画质效果,都已经相差无几,唯一的差距就是在夜晚红外焦平面矫正上,国产镜头没有采用非球面技术。夜晚光照不足时,基于球面镜头的图像清晰度大大下降,这是低端项目中普遍存在的现状。当前,如何快速地将IR非球面镜头国产化、低成本化,以便能够大量的低端项目用的起、用得上。”采用球面镜头,除夜间效果不佳外,还容易出现边缘清晰度不高、画面有畸变等现象;[nextpage]
• 特殊镜头:常指透雾、透雨、透粉尘等特殊场所专用的镜头,据山东神戎电子股份有限公司智能视频部部长姜伟介绍:“大气中的颗粒对光波的散射与光波的波长有关,光波长越短,散射越厉害,当光波波长增加时,在雾雨雪中的穿透能力越强。对于白天彩色成像,中心波长在500nm左右;使用800nm以上近红外光成像,其成像效果比普通摄像机增加一倍以上。”这些镜头利用近红外长波光线(700nm-950nm)可绕射微小颗粒,并采用近红外滤色片、镀膜技术及电子图像增强技术,将会大幅提升监控距离及图像清晰度。
研发高感光元件
如果将镜头比作人的眼睛,那么感光元件就是人眼的视网膜,所有光线在其上被映射转换成电子图像,再经摄像机后端处理形成直观的图像视频流。以往,通常采用CCD作为感光元件,随着感光元件技术的发展和高清化监控的推动,CMOS也被越来越多地投入到监控应用中来。安讯士网络通讯有限公司解决方案经理邹毓帆坦言:“过去,CCD的监控效果要比CMOS好,尤其是夜间,但CMOS通过这几年的发展,性能有了极大的飞跃,现在还出现了一些特殊应用场合的CMOS。这些技术产品就是专门为增强光敏性而设计的,CMOS可以做到更高的集成度,随着技术的发展,它的光敏性将更加好。可以预见,未来监控的发展,CMOS或将成为主流。所以现在已经很难说夜间效果CCD与CMOS谁更好。”
传感器像素数的多少,关乎到图像画质的清晰度。图像模糊很大一部分是由于视频源清晰度不够造成的,比如CIF、QCIF等,像素低,再经AD/DA处理后,会损失部分信息,图像清晰度自然会更低。在高清需求下,感光元件正向着高清化发展,现在,130万、200万像素传感器已经成为主流,300万、400万、500万、800万甚至更高的像素产品也不鲜见,它们能提供更高清的画质,为高清呈现提供了良好视频源。
另外,针对异常应用环境,还出现了背照式传感器等特殊感光技术。在传统CMOS感光元件中,感光二极管位于电路晶体管后方,进光量会因遮挡受到影响。所谓背照式CMOS就是将它掉转方向,让光线首先进入感光二极管,从而增大感光量,提高传感器的信噪比,显著改善低光照条件下的拍摄效果。由于背照技术不受金属线路和晶体管的阻碍,开口率(光电转换部分在一个像素中所占的面积比例)可提高至近100%,与以往1.75μm间隔的表面照射产品相比,背面照射产品在灵敏度(S/N)上具有很大优势。索尼的Exmor R CMOS传感器是此类产品的典型代表。
此外,传感器的安装工艺对清晰成像也有着紧密联系,在应用中,常发现这样一些问题,由于传感器安装不平衡,所呈现的画面一侧的清晰度很高,而另一侧却显现模糊不清,这种情况,要解决图像模糊问题,就只有更换摄像机或让厂家调整传感器的安装位置了。
提升芯片处理能力
芯片是摄像机的核心部件,摄像机传感器在将光图像转换成电子图像后都须在DSP处理后才从后端发射出去,其承载了图像处理与分析、编解码压缩等大量工作,如果是智能设备,还会嵌入大量的智能分析算法,进入高清监控时代,其作用更为凸显。现在芯片不但要处理高清视频流,还要对高清数据进行分析,无形中又增加了运算量,在庞大的数据处理面前,芯片的性能常会显得捉襟见肘。上海普赛顿计算机技术有限公司技术支撑部工程师张宇帆认为,目前安防设备芯片,比如摄像机的DSP芯片处理能力远没有达到PC机般强大,很多应用无法精细处理,而且这些处理工作也无法完全靠机器就能实现,还需要人工干预,所以安防产品还不能在如刑侦图像处理中得到广泛应用。
处理视频流需要启动各种算法和程序,单就智能分析应用来说,常用的智能分析处理器芯片仅能处理1路高清或4路D1视频流,通常一台智能分析设备会嵌入4-8种智能分析算法,但在运行时,最多只能同时运行4种智能分析算法,可见,在其有限的处理能力下,芯片是很难完成对模糊图像的检验和矫正。虽如此,许多专业人士对此仍是抱着积极观点的,安讯士邹毓帆认为:“数字化的发展最主要就是摄像机芯片性能的提升,从而实现各种视频处理应用,比如可处理高清、高帧率传输的视频流,或处理更加复杂的图像。”安讯士基于此一直致力于高性能处理芯片的研发,邹毓帆进一步介绍:“(安讯士)芯片的开发完全遵循HDTV标准,这让我们的研发有依据,也使得芯片对提升图像清晰度上有保障;另外,还提升了摄像机实时性、抑噪等的处理效果;同时,现在的芯片还可以嵌入包括智能分析在内的各种应用。”一句话概括就是,努力提升芯片的处理能力,使其在模糊图像的检测及处理上发挥出更大的作用。
保持传输顺畅
图像在传输过程中,造成图像模糊通常有以下两种情况:
• 干扰模糊:山东神戎的姜伟认为,选择何种介质和设备传送图像和其它控制信号将直接关系到监控系统的质量和可靠性。一般来说,距离在二、三百米以内,并且无环境干扰、布线空间大的场所,可以考虑使用常规的视频同轴电缆;当传输距离在5~6百米以上及1~2公里以内,或环境干扰大、布线要求紧凑的场所,可考虑使用网络用超五类双绞线;如距离更远时,光纤就是必然的选择了,而光端机为监控系统提供了灵活的传输和组网方式,信号质量好、稳定性高。而尤以非压缩数字图像光端机效果最好,非压缩数字图像光端机能提供很好的图像传输效果(信噪比大于60dB,微分相位失真小于2°,微分增益失真小于2%),达到了广播级的传输质量,并且图像传输是全实时的;[nextpage]
• 传输堵塞:这在网络传输中较为常见,如果传输带宽较窄,而传输的数据流又比较大时,造成数据无法顺畅传输,显示器画面中的图像即表现出马赛克、画面停止、画面跳跃等,如果是由此原因造成图像模糊,那只能或提升传输带宽或降低监控图像分辨率和帧率了。
显示端也要匹配
受分辨率的限制,显示的图像效果也会不一样。如果摄像机输出的图像分辨率大于显示器的分辨率或显示设备锐度不够、动态范围较差等,都有可能出现图像被截屏(如960H分辨率的图像,如果没有相应分辨率的显示器,所用显示器的画面为被切除后的图像)、画面不清晰(标清显示器是无法将高清图像的细节呈现的)、图像变形等现象,其中画面不清晰和变形最为常见,此种情况下,最佳的解决方案就是更换相应分辨率的显示设备。
从摄像机成像到实现高清显示是一个综合作用的过程,各步骤间需协同合作才能实现图像的优化,每一个部件都是关键,缺一不可。因此,一个好的摄像机,首先要确保自身硬件是优良的,这样才能从信号源头上降低图像的模糊程度。尽管目前从摄像机到传输,再到显示设备,仍不能满足人们对高画质呈现的要求,但正如杭州海康威视数字技术股份有限公司产品经理俞海所说的:“我们对于图像清晰度的追求是无极限的,因此不能说已‘解决'了图像模糊的问题,而只能说是‘改善',只有更好,没有最好。”因此,硬件的改进仍须孜孜不倦地进行。
应用补救日益凸显
硬件是“死”的,软件是“活”的,硬件渠道行不通,可以通过软件来实现模糊图像的优化应用,这已经成为模糊图像处理的重要手段。通过软件来处理模糊图像,算法种类很多,实现的方式也很多,一些硬件无法处理的问题或可以在软件中得到修正。通过软件修复,可将模糊的图像还原正常,将场景形态准确还原。软件处理的应用已经成为优化监控图像的重要手段,并且日益发挥出重要的作用,随着智能分析应用的普及,算法对图像信息的精确度要求越来越高,图像优化技术也将由此得到进一步推动。
编解码算法
目前普遍采用的压缩算法主要是H.264,这是一种高压缩编解码算法,具有速度快、信息损失小、成像质量高、视频流对带宽占用率低等特点;其最大的优势是具有很高的数据压缩比,在同等图像质量的条件下,H.264的压缩比是MPEG-2的2倍以上,是MPEG-4的1.5~2倍。上海普赛顿张宇帆介绍说:“H.264算法在处理模糊图像时可起到互通的作用,对由于带宽等原因导致部分图像丢失的视频流来说,通过H.264算法可推算出原来比较清晰的图像。”不过,H.264编解码技术仍有很多局限,还不能很好满足应用,张宇帆也承认:“在目前来说,H.264的互通推算修复技术实现起来还是比较难。”
在安防应用中,如何找到更加优化的压缩算法是当前的紧迫要务,艾博信总经理杜建英认为,“对于编码问题,当前的研究方向还是如何利用H.264或更加先进的H.265编码算法,从而在保证画质的情况下,更大地降低码流。当前在广电IPTV领域,已经有些私有压缩算法可以达到300Kbps支持全动感D1画面,2Mbps支持1080P全动感画面。如果能够将其借鉴到监控领域,那么压缩算法应该在保证画面质量的情况下,还可以降低一倍,从而达到1Mbps高清画质水平。”不过,根据安防行业发展的特殊性,发展和应用H.265压缩算法的可能性更大,也更实际。国际电联ITU和MPEG组织曾发布公告,为H.265设定的技术性能指标是:压缩效率比H.264提高1倍、且不明显提高编码和解码的计算量。但联盟对H.265的草案迟迟不定,何时出台尚未可知。天地伟业瞿关明认为:“在当前的数字图像技术的背景下,编码技术是影响图像质量的瓶颈之一,如果出现一种压缩比高、图像损失小的编码算法,当然会一定程度上解决因为压缩导致的图像模糊问题,不过要实现这种算法,通常需要更高的运算代价,所以还需要硬件技术的更新来满足这样的算法。”
编解码压缩算法的演进过于缓慢,与高速发展的安防行业相比,远远不能满足需求,所谓人挪活树挪死,各厂家为了使自己的产品在软件处理性能方面更加优越,都在原有编解码压缩算法的基础上附加一些优化算法,目前常见的附加编解码优化算法有:
• 带宽调节技术:研发此类技术的厂家较多,如上海普赛顿的AAS带宽调节技术,可在监控画面为静态时系统采用低帧率传输,只有画面有动作时帧率才恢复默认值;
• 敏感区域处理技术:此类技术对算法的要求很高,目前能成功应用的厂家不多。该算法以降低运算的数据量为原则,通过减少分析区域降低软硬件的负荷和带宽压力,即系统先对监控画面进行学习,然后分析出哪些是固有的静态画面然后记录下来,并在监控过程中不断学习,学习后的分析系统只会对画面中的动态部分进行分析和传输,而对静态部分不进行分析,从而降低运算量和带宽占用量。因为系统要不断地学习和分析,复杂程度可想而知。艾博信的杜建英指出:“视频编码技术始于电视广播领域,而电视广播领域的画面往往都是全动感画面,整体画面的运动部分往往达到80%(主持人播放新闻是例外情况),所以直接照搬算法往往导致码流过大,DSP资源浪费。考虑到大部分监控只有30%的动感画面,所以很多监控压缩算法都是改良/优化的视频压缩算法。无论是标清还是高清,很多DVR、DVS、IP摄像机厂商为了最大限度地利用DSP的处理能力,从而过度‘优化'压缩编码算法,实则简化了编码的复杂度。这样一来,在静止图像时压缩质量尚可行,一旦画面中运动目标过多,则导致整体压缩质量下降。”
• 抽插帧技术:视频流在经过多次编解码和远程传输后,容易出现帧排列位置偏移现象,在回放时,因各帧位置不一致,快速播放时就会有重影、细节雾状、边缘模糊情况,此问题可通过帧调整来保证图像清晰呈现,此类技术的代表如海康威视的“畅显引擎“技术等;[nextpage]
• 低照度优化:低照度呈现,考量更多的是硬件的性能,但也有厂家通过软件的提升,软硬件相结合从而获得更高画质的夜间效果,此类技术的研发厂家较多,如安讯士的“觅光者”就是其中的代表:这是一种面向低照度的专用智能技术,在光照正常的环境下,摄像机能够保持正常的成像效果;而当光线变暗,如昼夜转换时,“觅光者”技术将使画面保持彩色、流畅和清晰的低照度成像,此时,光圈大小、白平衡、快门速度等都会在“觅光者”系统的协调下自动调节。
图像矫正技术
虽然期待中的H.265没有如约而至,但基于MPEG-4、H.264等算法下的图像优化处理矫正技术却不少见,它们配合各种优化算法营造出更优质的图像效果,较为常见的图像矫正技术有:
• 宽动态(WDR)技术:这是摄像机中最为常见的图像矫正技术,主要是背光情况针对前后景明暗色调所进行的处理应用,其主要应用在摄影机视野中同时存在前后景的极暗区与极亮区时,要仍能呈现出清晰的画质。常用的WDR方法有两种,即多重帧幅成像和色调映像两种:多重帧幅成像宽动态技术是指利用不同曝光时间来捕捉交变图框;曝光时间较长者称为“长”帧幅,即使较亮部分会有过度饱和现象,但可捕捉视野中较暗部分的细节;另一方面,曝光时间较短的“短”帧幅,实际上会捕捉较明亮的区域,但较暗部分的曝光则有不足,且可能混有影像噪声。再利用影像信号处理器(ISP)精密复杂的演算方式,将两个互补图框中的最佳部分无缝缀合在一起,产生出能同时保留视野中明亮部分和阴暗部分细节的合成图像。
色调映像宽动态技术的强化功能则是藉由依视野内不同区域的亮度准位来调整色度曲线,使较暗区域变亮、过亮地区变暗,以提高或强化视讯内的整体可见度。
宽动态图像处理技术已经为摄像机厂家所掌握,但各家侧重点略有不同,如上海普赛顿,两种宽动态技术都有采用;而安讯士则侧重于多次曝光的“动态捕捉”超级宽动态技术。
• 降噪处理:照度不足或信号干扰时易造成画面噪点增多,视频监控厂家也为此开发了各种降噪技术,常见的有2D降噪(主要是监控摄像机对单幅图像的噪点进行处理,将其减弱,由于其功能特性,处理后的图像会相对柔和)和3D降噪技术(监控摄像机通过对前后两帧的图像进行对比筛选处理,从而将噪点位置找出,对其进行增益控制,从而减少噪点。采用3D降噪的摄像机,图像噪点会明显减少,图像会更透彻),通过降噪处理后,画面更加干净整洁;
• 畸形矫正:前面提到,镜头不良有可能造成图像轮廓畸变,也可通过软件处理来对画面中的畸变图像进行修复,如松下的速杰芯片,就内置有此种算法功能,当图像畸变时,通过软件手动调整,可将画面边缘弯曲的图像矫正。
智能分析加速应用
如果监控系统庞大,监控点多,模糊图像的检测及处理光靠人力是无法完成的,早在数年前,国内就有部分厂家投入到大型监控应用中的图像检测及处理应用,通过系统的自动检测,减少人力的投入,并且使检测精度大为提高。
目前,做视频智能检测的厂家越来越多,如海康威视推出的VQD视频质量诊断设备,可以巡查视频监控系统中的图像;而东方网力科技股份有限公司在设备运营维护上走得最为靠前,其利用先进的视频诊断技术,开发出适用于各种需求场景的视频质量诊断系统,能够对视频图像出现的模糊、噪声、亮度异常和视频丢失等低质视频以及常见摄像机故障问题进行诊断,能有效预防因硬件或环境等问题导致的图像质量低下所带来的损失,并自动生成检测报告,提供及时且精准的维护信息,第一时间从根源上解决图像模糊的问题。据艾博信杜建英介绍,利用智能视频分析技术,除了可进行模糊视频诊断外,还可有助于系统利用硬盘容量,将更多的空间分配给高码流、高画质的人/车目标片段。
智能化应用是理想的,但技术现状却是残酷的。东方网力科技股份有限公司高级工程师孙余顺指出:“判断一幅图像是否模糊,人为分析、智能分析都可以实现,但是智能分析无法判断出属于哪一种类型的模糊,模糊程度有多严重等,而人可以根据经验判断出模糊是由于‘镜头离焦'或者‘下雨'等原因引起的。”且无论智能分析的检测功能如何精确,在自动处理上,仍是其一大硬伤,目前智能分析技术还局限于检测,对于自动处理仍很难完成,尤其是硬件问题导致的图像模糊情况更是难以解决。
结语
高清监控是基于硬件实现的,归根结底,要处理好图像的清晰度,最终还是要提升摄像机的硬件处理能力。杭州海康威视俞海指出:“物理方式才是解决图像模糊问题的根本途径,算法只是一种有效的辅助。物理方式能够实实在在地增加前端采集的信息量,为算法改善提供基础和空间,任何算法处理都不可能提高信息量,算法处理仅是通过更合理的模型来提高处理结果的信噪比,改善图像模糊。”
由此可见,硬件才是决定图像成像质量的根本原因,要得到良好的图像,除需为监控提供良好的环境或条件外,更重要的是要提供具有高成像性能的摄像设备,以获得最大有效信息量的图像。只有在图像欠清晰时才启用算法处理来进行调节。
采用软件优化图像需规避两个问题,一是避免软件算法把本已清晰的图像“优化”成非清晰画面;二是提供的硬件设备除了要能支撑高清图像捕捉外,还要可支撑大量优化算法的运行,上海普赛顿张宇帆认为:“再好的处理软件也需要强大的硬件来作支持,如果软件发展太快,没有可支持的硬件,软件功能将无法得以实现。我认为,硬件会制约软件应用,但软件不会制约硬件的发展。”
随着监控的发展,光靠分析与处理模糊图像是不足以应对日益频繁的画质问题的,解决此问题的关键有赖于智能分析技术的发展,只有通过智能分析技术自行检测及处理才是解决图像模糊的最终途径,但目前智能分析技术仅能做到模糊图像检测和简单的优化处理。智能化是监控发展的必然,因此,模糊图像的智能化处理还有待行业的共同推动与发展。