PC版
搜索导航
论文网 > 理学论文 > 物理学论文

基于物理模型的低照度图像增强算法

  中图分类号: TP391.413
  文献标志码:A
  Lowillumination image enhancement based on physical model
  WANG Xiaoyuan1,2, ZHANG Hongying1,2*, WU Yadong3, LIU Yan1,2
  1.School of Information Engineering, Southwest University of Science and Technology, Mianyang Sichuan 621010, China
  ;
  2.Robot Technology Used for Special Environment Key Laboratory of Sichuan Province (Southwest University of Science and Technology),
  Mianyang Sichuan 621010, China
  ;
  3.School of Computer Science and Technology, Southwest University of Science and Technology, Mianyang Sichuan 621010, China
  Abstract:
  Since a lowillumination image will become a pseudo fog map after inversion, and the concentration of this pseudo fog map is decided by illumination rather than depth of field, a lowillumination image enhancement method based on physical model was proposed, which provided a fast and accurate method to estimate the transmittance.
  Firstly, dark channel prior was used to estimate atmospheric light value of pseudo fog map and the transmittance was estimated according to the illumination. Secondly, the image without fog was restored based on the atmospheric scattering mode. Finally, the enhanced image was obtained by inversing the image without fog. Furthermore, the clear image was got by making detail compensation on the enhanced image. A large number of experiments show that the proposed algorithm is faster and performs well without losing information compared with the existing algorithms including the enhancement algorithms based on dark channel prior, defogging techniques and the multiscale Retinex with color restoration, meanwhile it can improve the efficiency of image analysis and recognition system.
  英文关键词Key words:
  lowillumination; image enhancement; atmospheric scattering model; dehazing; dark channel prior
  0引言
  在图像采集或视频监控的应用中,经常会遇到夜视或背光等低照度的情况,这种情况下采集到的图像对比度较低,细节信息严重丢失,给很多工作带来不便。利用低照度彩色图像增强技术,可以有效减小低照度环境对图像或视频获取装置的影响,提升视频监控、图像识别、计算机视觉等系统在低照度情况下的性能,因此研究低照度图像的增强非常必要。
  目前低照度图像增强的算法主要有三大类:空域法、变换域法和融合法。空域法主要有直方图法、灰度变换法、Retinex算法等。直方图法简单有效且处理速度快,但是这种算法对噪声敏感,细节易丢失。韩殿元[1]提出了一种改进的直方图均衡化算法,该算法能有效改善传统直方图法灰度级过度合并以致细节易丢失的问题,但是对彩色图像易发生颜色失真现象。灰度变换法运算速度快,但是参数难以确定,针对不同的图像无法自适应调节,有时存在过增强的问题。Zhou等[2]提出了一种同时增强全局亮度及局部对比度的方法,该算法有效地解决了灰度变换中算法的自适应问题,但是对较暗图像的效果有待改善。Retinex算法是模拟人类视觉系统而提出的,该算法可有效改善图像的视觉效果,但算法复杂度高且色彩失真严重。之后有很多改进算法被提出,如肖进胜等[3]提出的基于改进的带色彩恢复的多尺度Retinex(MultiScale Retinex with Color Restoration,MSRCR)算法,该算法可有效改善色彩失真、噪声放大等问题,但算法复杂度较高,无法应用于实时处理中。当前较常用的变换域法是小波变换,它通过选取小波基对图像进行分解,能同时体现时域与频域特性,但这种方法由于需要预先定义小波基而使算法的应用受到限制。图像融合法效果较好,但拍摄时间较长,无法应用于实时处理,对单幅图像无效,而且该方法对于亮度很低的图像效果较差。   近年来,图像去雾技术取得了很大的发展,部分去雾算法[4-9]取得了良好的效果。2011年,Dong等[10]发现低照度图像反转后与雾天图像相似,提出采用去雾技术来实现低照度图像的增强(以下简称Dong算法),这一思想为低照度图像增强开辟了新的途径。刘洋等[11]在Dong算法的基础上对其作了进一步加速,且噪声得到了很好的抑制,但是该算法对透射率的估计依然采用去雾的理论,导致透射率估计不够准确。Zhang等[12]对透射率估计中参数的选取通过经验获取的,鲁棒性较差。
  在Dong算法的基础上,根据低照度图像反转后与雾天图像的相似性,结合其自身的特性,基于光照情况对透射率进行重新估计,本文提出了一种基于物理模型的低照度图像增强算法。该方法在提高处理速度的同时使得透射率更接近真实值,更加符合低照度图像的特性。实验结果表明,该算法可克服现有算法计算量大、颜色失真严重、对比度下降等不足,在保证实时处理的前提下依然能达到较好的视觉增强效果。
  1低照度图像增强
  基于低照度图像反转后与雾天图像的相似性,本文算法通过对反转图像即伪雾图进行去雾,然后对去雾结果反转得到低照度图像增强效果,最后进行细节补偿,得到最终增强结果。
  首先,将低照度图像反转,如式(1)所示,其结果与雾天图像非常相似。
  Icinv(x)=1-Ic(x)
  (1)
  其中:c表示图像的RGB三个颜色通道;x表示图像的坐标点;I表示输入的低照度图像;Iinv表示反转图像,即伪雾图。
  雾天图像的形成模型可以简化为:
  R(x)=J(x)t(x)+A(1-t(x))
  (2)
  其中:R表示观察到的有雾图像;J表示场景辐射照度,即要恢复的无雾图像;A是全局大气光值;t表示透射率图,用来描述光线通过媒介透射到相机过程中没有被散射的部分。
  根据式(2)知,伪雾图基于大气物理模型去雾后得到的无“雾”图像Jinv:
  Jinv(x)=A+Iinv(x)-At(x)
  (3)
  与雾天图像不同,A被称为伪雾图的环境光值。将无“雾”图像反转即得到低照度增强之后的图像Jen:
  Jen(x)=1-Jinv(x)
  (4)
  因此,低照度图像增强的核心是准确估计出伪雾图的环境光值A及透射率t。
  1.1基于暗原色先验估计环境光值A
  经过对低照度图像反转后伪雾图的统计与测试发现,清晰无“雾”的图像对应的暗原色图的像素值接近零,而有“雾”的图像对应的暗原色图的像素值较高,这说明低照度图像反转后的伪雾图同样满足由何凯明博士提出的暗原色先验规律,其暗原色图可以很好地估计“雾”的浓度,因此采用暗原色方法来对环境光值A进行估计。具体步骤如下:
  1)求取伪雾图的暗通道图;
  2)从暗通道图中按照亮度大小选取前0.1%的像素点作为“雾”浓度最大的像素点;
  3)在原始伪雾图中寻找对应位置的最高亮度像素值作为A值。
  这种方法受环境影响较小,较其他方法鲁棒性更高,同时算法简单,可以实现对环境光值的快速估计。
  1.2基于亮度分量估计透射率t
  基于低照度图像取反后生成的伪雾图与雾天图像有一定的相似性,Dong算法将去雾技术直接应用于伪雾图上,估计的透射率thaze不够准确且速度较慢,因为这种方法没有考虑伪雾图其“雾”的浓度是由光照而非景深决定这一特性。具体表现为,低照度图像中光照强度越大,经反转后其“雾”越淡薄;而低照度图像中光照强度越小,经反转后其“雾”越浓厚。因此,提出基于亮度分量来对伪雾图的透射率进行估计。首先,提取伪雾图Iinv的亮度分量:
  Y=0.299×Rinv+0.587×Ginv+0.114×Binv
  (5)
  其中:Rinv、Ginv、Binv分别为伪雾图Iinv的三个颜色通道;Y为其亮度分量。
  如图1展示了以下内容:(a)为一幅低照度图像I;(b)为低照度图像经反转后得到的伪雾图Iinv;(c)为伪雾图的亮度分量Y;(d)为将去雾技术直接应用于伪雾图上获取的透射率图thaze。
  基于伪雾图“雾”的浓度由光照情况决定,因此需要观察透射率与亮度分量的关系,分别选取图1中的(c)和(d)两幅图像的前1000个像素点观察其像素值的分布情况,如图2所示。
  图2中Y为亮度分量的分布,thaze为将去雾技术直接应用于伪雾图上获取的透射率图。
  经过观察发现两幅图灰度值分布大致关于直线y=l对称(l为常数),即满足:
  Y(x)-l=-(thaze(x)-l)
  (6)
  对数百幅图像作了同样的实验,统计发现这些图像均基本满足伪雾图的亮度分量Y与其透射率thaze大致关于直线y=l对称这一规律,因此估计伪雾图的透射率:
  t(x)=k-Y(x); k=2l
  (7)
  其中k的变化会直接影响透射率图t,最终影响低照度图像的增强结果Jen。如图3所示为k变化时增强结果的变化。
  经过实验发现,当k值较小时,增强后的图像会出现过饱和现象,并引入大量噪声;当k值较大时,增强后图像亮度提升不明显,对于图像分析识别效果提升甚微。因此需要准确的估计k值来获取最佳的增强效果。
  为了保证图像在增强之后信息不丢失,具体来说需要RGB三通道增强之后均不存在溢出现象,为了减少计算量,选取RGB三通道的最大值分量V,当V经过增强之后不会溢出时,即表明RGB三通道增强之后不会溢出,图像信息不会丢失且不会发生色偏,因此k需满足如下条件:   V=max(R,G,B)
  (8)
  Jen(x)≤1; x∈V
  (9)
  其中:R、G、B分别为低照度图像I的三通道图像,V为其最大值通道。结合式(3)、(4)最终得出:
  k≥1+Y(x)-Vinv(x)A
  (10)
  由上文可知,k越大增强后亮度越低,在满足信息不丢失的情况下应选取最小的k值。所以:
  k=min1+Y(x)-Vinv(x)A
  (11)
  对图3中的图像采用式(11)计算得k≈1.2,增强结果如图3中(e)所示,可实现在不丢失信息的情况下,最大限度地提升图像亮度,获得较为满意的效果。这种方法可以有效提高透射率的获取效率,且更加符合低照度图像的光照特性。
  此时,环境光值A与透射率t均可求得,基于物理模型,即式(3)、(4),得到增强之后的图像Jen。
  1.3边缘补偿
  图像的边缘信息对视觉效果,尤其对于图像的分析识别具有十分重要的意义,所以有必要对图像的边缘进行补偿。图像的边缘信息及噪声都属于高频分量,而低照度图像大部分区域均是黑暗区域,噪声极少,因此可以通过低照度图像I与其高斯滤波后图像I′作差来获取边缘信息D:
  D=I-I′
  (12)
  其中采用7×7的高斯模板进行滤波。
  将边缘信息D与增强图像Jen相加,边缘信息得到补偿。
  J′en=Jen+D
  (13)
  为了更好地验证其效果,对边缘补偿前后图进行了局部放大。如图4所示为边缘补偿前后增强结果的局部放大区域。可以看出,边缘补偿后的图像Jen′较之前的图像Jen,其边缘部分得到了明显的锐化,对比度明显提高视觉效果更佳,可进一步提高图像分析识别等系统的工作效率。
  2实验结果与分析
  在操作系统为Windows 7,配置为Intel Core i52520M CPU@2.5GHz,4.0GB内存的计算机上使用Matlab 2009软件环境对本文算法进行验证。He等[13]提出的基于暗原色先验去雾算法是去雾领域的经典算法(以下简称He算法),Dong算法首次提出将去雾技术应用到低照度图像增强上,而带色彩恢复的多尺度Retinex算法(MSRCR)[14]是目前效果较为良好的图像增强算法。因此,本文算法与He算法、Dong算法和MSRCR算法进行了比较。
  2.1主观评价
  图5给出了不同算法的增强结果。从图5中可以看出:MSRCR算法处理结果整体亮度较高,部分区域发生饱和现象,出现一定程度的颜色偏移且引入了大量的噪声;Dong算法得到的图像光照不均,视觉效果不佳;He算法得到的图像当参数选择不当时会导致光晕现象的发生;而本文算法可在不发生饱和现象不引入噪声情况下,最大限度地提升图像亮度还原图像细节,有效改善视觉效果。
  2.2客观评价
  本文采用平均梯度、信息熵和结构相似性(Structural Similarity,SSIM)等三个客观指标对各算法的增强效果进行客观评价,如表1所示。其中:平均梯度是对图像细节清晰度的反映,一般而言,平均梯度越大,图像层次越多,也就越清晰;信息熵是从信息论的角度反映图像信息丰富程度,通常情况下,图像信息熵越大,其信息量就越丰富;结构相似性反映了相邻像素之间的关联性,而这样的关联性承载了场景中物体的结构信息,用来衡量图像的结构失真程度,其值越高说明两者结构相似性越高。
  从表1可以看出,四种算法处理结果平均梯度和信息熵都有较大提高,说明都较好地改善了低照度图像的对比度和可见度。MSRCR虽有较高的平均梯度和信息熵,但它的结构相似性SSIM最低,说明该算法处理结果的结构遭到了严重破坏,这是由于该增强方法会增加噪声,同时存在一定的颜色偏移而引起的;
  虽然Dong算法和He算法处理结果的平均梯度及信息熵普遍高于本文算法,但它们是以光照不均及引入噪声得到的,破坏了图像的结构;
  本文算法平均梯度和信息熵整体较好,且SSIM值都高于对比算法,说明本文算法在提高图像对比度和可见度的同时很好地保持了图像的结构,最大限度地减少了信息的失真,更加符合人类视觉需求,与视觉感受基本一致。
  2.3处理效率比较
  测试时,MSRCR算法使用三个尺度的高斯核,并在频域内采用快速傅里叶变换进行卷积运算进行提速,但算法度复杂度高的问题仍然无法避免;Dong算法在处理视频时采用相邻帧信息来进行加速,这会导致透射率估计不准确,当场景不连续时会出现瑕疵;He算法采用导向滤波[15]代替软抠图方法加速透射率的细化,但仍然不是实时算法,在处理720p的标清视频时无法达到25frame/s;本文算法复杂度低,处理效率明显高于对比算法。此外,将该算法移植到VS 2010+Opencv 2.4.9软件环境中,对一段标清视频进行处理,平均处理速度为33frame/s,能满足实时需求。
  3结语
  针对目前低照度增强算法处理效率低、色彩失真、引入大量噪声等问题,本文基于低照度图像反转后与雾天图像的相似性,结合低照度图像其自身的特性,依据透射率与亮度分量的关系,提出一种更加准确且快速的新方法估计透射率,并加入限制条件有效避免色彩失真问题,在一定程度上抑制噪声,最大限度地提高图像亮度、增强暗区及亮区的细节表现力,同时保持图像原始结构。通过与Dong算法、He算法和MSRCR算法的比较,结果表明本文算法可以有效提高图像视觉效果,避免色彩失真、过增强等问题。此外,本文算法处理速度快可满足实时需求,具有非常广阔的应用前景。虽然本文算法取得了一定的效果,但是在低照度增强上仍无法做到不引入任何噪声,因此下一步将对图像去噪进行研究。

相关论文

算法模型图像基于物理
基于事业单位如何加强成本管理的思考
基于数据系统的电力杆塔共享运营策略
基于环境工程专业实验课程思政教育的
基于学习通SPOC的高校保险学课程教学
基于企业内部财务控制制度创新思考
基于协同理论的项目财务管理系统建设
基于当前中药专业教学中存在的问题及
基于民营企业文化建设的问题与对策思
基于案例的行政单位内部控制建设研究
基于现金流量税重构国际税收规则的理