一种尺寸自适应块匹配变换域滤波图像去噪方法

本发明属于计算机图像处理领域，特别是一种图像去噪方法。

在图像获取过程中，总会不可避免地引入各种噪声，图像去噪的研究在过去的几十年 中一直是一个热门研究课题。当前最好的图像去噪方法是块匹配三维变换域协同滤波 (BM3D)[Dabov K，Foi A，Katkovnik V，et al.Image denoising by sparse 3D transformdomain  collaborative filtering.IEEE Transactions on Image Processing，2007，16(8)：2080‑2095]，由于 这种方法有效地结合了局部变换方法与非局部滤波方法，所以是公认的当前最好的图像去 噪方法。这种方法将图像去噪的整个过程分为两阶段：第一阶段是块匹配三维变换域硬阈 值系数收缩，称为基本估计；第二阶段是块匹配维纳滤波，称为最终估计。

BM3D总的来说分为两个阶段，每个阶段又各自分为三步：

第一阶段：基本估计

(1)组：通过块匹配到图像中某个邻域内的若干图像块并把它们堆叠成一个三维矩 阵，这充分利用了非局部模型；

将输入图像z划分若干相互交叠的块Zx∈X，其中X是这些块的坐标构成的集合，对每 一个块Zx∈X执行组操作，即组那些与Zx相似的图像块构成一个三维矩阵：

$Z_x^{3D}=\mathrm{grouping}\left(Z_x\right)---\left(1\right)$

(2)协同滤波：用可分的三维变换稀疏表示组获得的三维矩阵，通过硬阈值收缩变换 系数去除噪声，再执行逆三维变换：

${\hat{Y}}_x^{3D}=T^{-1}\left(\mathrm{shrink}\left(T\left(Z_x^{3D}\right)\right)\right)---\left(2\right)$

其中T是一个可分的三维变换，T‑1为T的逆变换。

(3)聚合：通过加权平均聚合每一组中的所有图像块获得最后的去噪图像。权值由
下式给出：

$w_{x_R}^{\mathrm{ht}}=\left\{\begin{array}{cc}\frac{1}{{\mathrm{\σ}}^2{N}_{\mathrm{har}}^{x_R}},& \mathrm{if}{N}_{\mathrm{har}}^{x_R}\≥1\\ 1,& \mathrm{otherwise}\end{array}\right.---\left(3\right)$

其中为三维矩阵变换且硬阈值化后非零系数的个数，σ为输入含噪图像的噪声标
准偏差。具体的聚合公式为：

${\hat{y}}^{\mathrm{basic}}\left(x\right)=\frac{\underset{x_R\∈X}{\mathrm{\Σ}}\underset{x_m\∈S_{x_R}^{\mathrm{ht}}}{\mathrm{\Σ}}{w}_{x_R}^{\mathrm{ht}}{\hat{Y}}_{x_m}^{\mathrm{ht},x_R}\left(x\right)}{\underset{x_R\∈X}{\mathrm{\Σ}}\underset{x_m\∈S_{x_R}^{\mathrm{ht}}}{\mathrm{\Σ}}{w}_{x_R}^{\mathrm{ht}}{\mathrm{\χ}}_{x_m}\left(x\right)},\∀x\∈X---\left(4\right)$

其中即为基本估计结果。

第二阶段：最终估计，用基本估计的结果执行块匹配组与协同维纳滤波。

(1)组：在基本估计的结果图像上执行块匹配并堆叠所有匹配的块构成三维矩阵，同 时利用这个匹配结果的各块的坐标，在输入含噪图像中到与这些坐标对应的块进行组 构成三维矩阵，即同时构造了两个三维矩阵。

${\hat{y}}_{S_{x_R}^{\mathrm{wie}}}^{3D}=\mathrm{grouping}\left({\hat{y}}_x^{\mathrm{basic}}\right)---\left(5\right)$

$Z_{S_{x_R}^{\mathrm{wie}}}^{3D}=\mathrm{grouping}\left(Z_x\right)---\left(6\right)$

其中是在基本估计结果上的块匹配构成的三维矩阵，是参考匹配的结果
的坐标在原始输入噪声图像上对应的块构成的三维矩阵。

(2)协同维纳滤波：在两个三维矩阵与上都执行同样的可分三维变换，对含噪
图像上构成的三维矩阵执行经验维纳滤波，其中以基本估计结果上三维矩阵的三维变换能
量谱为经验值，即真实能量谱的近似值。最后执行可分的三维逆变换得到去噪的图像块。

${\hat{Y}}_{S_{x_R}^{\mathrm{wie}}}^{\mathrm{wie}}=T_{3D}^{{\mathrm{wie}}^{-1}}\left(W_{S_{x_R}^{\mathrm{wie}}}{T}_{3D}^{\mathrm{wie}}\left(Z_{S_{x_R}^{\mathrm{wie}}}^{3D}\right)\right)---\left(7\right)$

其中是以基本估计为参考在输入含噪图像上堆叠的三维矩阵，为对含噪图像
上三维矩阵的三维变换，为逆三维变换，维纳滤波公式为：

$W_{S_{x_R}^{\mathrm{wie}}}=\frac{{\left|T^{3D}\left({\hat{y}}_{S_{x_R}^{\mathrm{wie}}}^{3D}\right)\right|}^2}{{\left|T_{3D}^{\mathrm{wie}}\left({\hat{y}}_{S_{x_R}^{\mathrm{wie}}}^{3D}\right)\right|}^2+{\mathrm{\σ}}^2}---\left(8\right)$

(3)聚合：将所有由维纳滤波去噪后的图像块通过加权平均放回它们的原始位置即获得 最终的去噪图像：

${\hat{y}}^{\mathrm{final}}\left(x\right)=\frac{\underset{x_R\∈X}{\mathrm{\Σ}}\underset{x_m\∈S_{x_R}^{\mathrm{wie}}}{\mathrm{\Σ}}{w}_{x_R}^{\mathrm{wie}}{\hat{Y}}_{x_m}^{\mathrm{wie},x_R}\left(x\right)}{\underset{x_R\∈X}{\mathrm{\Σ}}\underset{x_m\∈S_{x_R}^{\mathrm{wie}}}{\mathrm{\Σ}}{w}_{x_R}^{\mathrm{wie}}{\mathrm{\χ}}_{x_m}\left(x\right)},\∀x\∈X---\left(9\right)$

其中权值由下式确定：

$w_{x_R}^{\mathrm{wie}}={\mathrm{\σ}}^{-2}{\left|\right|W_{S_{x_R}^{\mathrm{wie}}}\left|\right|}_2^{-2}---\left(10\right)$

式(9)中的即为最终去噪的图像。

经过众多研究人员多年的努力，图像去噪技术已经取得了大量的研究成果，尤其是块 匹配三维协同滤波(BM3D)方法的提出使得图像去噪获得了近乎完美的结果。图像去噪 的目的是在去除图像噪声的同时尽好地保留图像细节以及尽可能少地引入假信号。总的说 来基于空域的方法往往会过度平滑图像细节，而基于变换域的方法又容易引入假信号。尽 管块匹配三维协同滤波方法相对于以前的各种图像去噪方法在性能上得到了很大的提升， 但在块匹配三维协同滤波方法中的三维变换执行的是可分的三维变换，即对每一个图像块 都要执行二维变换，由于这种二维变换仍是局部变换，因此块匹配三维协同滤波方法中仍 有局部方法不可避免的问题，即容易引入假信号。尤其当噪声强度较大时，块匹配三维协 同滤波方法对块的二维变换由原来的小波变换改成离散余弦变换(DCT)后，从而导致去噪 的图像引入了强烈的周期性假信号。BM3D算法中的块匹配过中所有块的尺寸都是一个固 定值，这也限制了BM3D算法性能。由人类对图像中的噪声的视觉感知可知，平滑区域对 噪声最敏感，其次是纹理区域，再次是轮廓区域，这三种区域在图像处理研究中被称为三 种图像形态的分量。在不同的形态分量下若用不同的块尺寸，应该能获得更好的图像去噪 结果。

本发明的目的就在于针对上述现有技术的缺陷而提供一种去噪效果更好的一种尺寸自 适应块匹配变换域滤波图像去噪方法。

其技术解决方案如下：

一种尺寸自适应块匹配变换域滤波图像去噪方法，包括如下步骤：

第一步：块匹配一维Haar变换域滤波图像降噪；

(1)组：将输入图像z划分成若干相互交叠的图像块作为参考块，其中X是这些
块的坐标构成的集合，对每一个块执行块匹配组操作，即计算一个以参考块的左上
角坐标为中心的一个邻域内的所有点为左上角坐标的图像块与参考块的欧氏距离，然后将
得到的距离排序，选出与参考块距离最小的K‑1个图像块及参考块构成一个图像块组：

BG＝{B1，B2，B3，...，BK}T                                      (1)

为了方便，本申请把以及另外K‑1个与Z_x最相似的图像块分别用B₁与
B_i，i＝2，3，L K表示；

(2)块间一维变换滤波：将式(1)中BG看作一个广义向量，其中向量中的元素为图像块， 对这个广义向量执行一维Haar变换，再用硬阈值收缩变换系数实现降噪，然后再执行一维 逆变换：

${\hat{B}}_G=T^{-1}\left(\mathrm{shrink}\left(T\left(B_G\right)\right)\right)---\left(2\right)$

${\hat{B}}_G={\{{\hat{B}}_1,{\hat{B}}_2,{\hat{B}}_3,...,{\hat{B}}_K\}}^T---\left(3\right)$

其中T是块间的一维变换，T‑1为T的逆变换；

(3)聚合：通过加权平均聚合每一组中的所有图像块获得降噪图像

$\hat{z}\left(x\right)=\frac{\underset{x_R\∈X}{\mathrm{\Σ}}\underset{{\hat{B}}_i\∈{\hat{B}}_G}{\mathrm{\Σ}}{w}_{x_R}{\hat{B}}_G\left(x\right)}{\underset{x_R\∈X}{\mathrm{\Σ}}\underset{{\hat{B}}_i\∈{\hat{B}}_G}{\mathrm{\Σ}}{w}_{x_R}{\mathrm{\χ}}_{{\hat{B}}_i}\left(x\right)},\∀x\∈X---\left(4\right)$

其中为特征函数，权由下式给出：

$w_{x_R}=\left\{\begin{array}{cc}\frac{1}{{\mathrm{\σ}}^2{N}_{x_R}},& \mathrm{if}{N}_{x_R}\≥1\\ 1,& \mathrm{otherwise}\end{array}\right.---\left(5\right)$

其中为每个图像块组经变换及硬阈值系数收缩后非零系的个数。

为了更好保留图像细节，本申请的BM1D算法中每组图像块中图像块数目相对于 BM3D算法中基本估计阶段的图像块数目在弱噪声情况下一般减少一半，又因为弱噪声情 况下，用较小的块也有利于保留图像细节，所以在这种情况下，BM1D方法采用了比BM3D 算法更小的图像块；

第二步：BM3D算法中的块匹配三维维纳滤波，即以第一步的结果为参考，用经验维 纳滤波对原始输入含噪图像降噪。此步中执行BM3D维纳滤波的目的是对第一步结果中图 像细节的增强。在第一步的降噪后，图像细节势必要也要在一定程度上被弱化，执行一步 维纳滤波可以在一定程度上增强被弱化的图像细节，并同时进一步去除部分噪声；

第三步：以输入含噪图像为参考执行块匹配，对第二步的结果执行块匹配一维Haar 小波变换去噪。在执行块匹配之前对参考块执行DCT，然后算出变换系数的交流分量，再 决定参考块的形态分量种类。若是平滑分量则将参考块的尺寸变大；若是纹理分量，参考 块的尺寸保持不变；若是轮廓分量则将参考块的尺寸变小。此步是本算法的最关键一步， 经过第二步处理后，仍然保留大量的噪声，并且由于第二步BM3D维纳滤波中对每一个块 的二维变换用的是DCT，所以会把一些噪声变成了伪纹理，这时噪声已经不再服从高斯分 布，因此不能再在第二步结果上执行块匹配操作。为了更好地去除这类噪声，本申请提出 在原始输入图像上执行块匹配，将块匹配的结果应用到第二步结果图像上执行块块组， 然后对组的块执行块间的一维Haar变换，为了更好保留图像细节，用一个比第一步中小 得多的阈值对变换系数执行硬阈值操作。经过这一步噪声基本被去除干净；

第四步：以第三步的结果为参考对输入含噪图像执行尺寸自适应块匹配三维维纳滤波； 先决定参考块所属的形态分量，根据所属的形态分量适当放大、保持或缩小初始参考块尺 寸再执行块匹配操作，其余的过程同经典的BM3D维纳滤波相同；

以上四步中前三步合称基本估计，最后一步称为最终估计；执行完以上四步得到最终 去噪的图像。

与现有技术相比，本申请因为去掉了BM3D中基本估计阶段中的对每个图像块的二维 变换，所以更少地引入了假信号；由于本申请中块匹配组中的块的数目比BM3D方法中 少，所以更好地保留了图像细节。由于本申请在块匹配时根据形态分量的不同自适应地选 择了块的大小，使本申请的图像去噪性能进一步提高。目前通用的图像去噪的客观评价为 峰值信噪比(PSNR)与平均结构相似性度量MSSIM两种，本申请的方法在这两个客观评价 上对BM3D网站上提供的多幅标准图像在所有噪声强度下的结果都一致高于BM3D方法。

以下结合附图对发明做进一步的说明。

图1为本申请算法与BM3D及BM3D‑SAPCA在噪声标准偏差σ＝100时的去噪结果比较。 (a)原始图像；(b)BM3D算法结果；(c)BM3D‑SAPCA算法结果；(d)本申请算法结果。

图2为本申请算法、BM3D算法及BM3D‑SAPCA算法去噪结果比较。(a)添加噪声图像 (σ＝15)；(b)BM3D去噪结果；(c)BM3D‑SAPCA去噪结果；(d)本申请算法去噪结果；(e) 为(c)的局部放大；(f)为(d)的局部放大。从标注的框内看出，BM3D‑SAPCA在低噪情况下 仍引入了假信号，而本申请算法没有引入假信号。

图3为加噪的与用本申请算法去噪的Kodak04与Kodak08的图像。

图4为加噪的与用本申请算法去噪的Kodak19与Kodak22的图像。

实验结果对比

平均结构相似性度量

在进行实验结果对比以前，先介绍一种新的图像质量客观评价方法。平均结构相似性 度量(MSSIM)是2004年Z.Wang等[135]提出的一种比PSNR更有效的图像质量评价方法， 是当前图像去噪研究领域被广泛应用的一种图像结果客观评价方法。下面给出用MSSIM 评价图像去噪结果的具体方法：

先将真实图像与去噪图像分别分成M个块，分别计算每个真实图像块x与每个去噪图 像块y的均值与标准偏差：

${\mathrm{\μ}}_x=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_i,$ ${\mathrm{\μ}}_y=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{y}_i---\left(1\right)$

${\mathrm{\σ}}_x={\left(\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(x_i-{\mathrm{\μ}}_x)}^2\right)}^{\frac{1}{2}},$ ${\mathrm{\σ}}_y={\left(\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(y_i-{\mathrm{\μ}}_y)}^2\right)}^{\frac{1}{2}}---\left(2\right)$

由均值μx与μy求得两幅图像的亮度比较：

$l(x,y)=\frac{2{\mathrm{\μ}}_x{\mathrm{\μ}}_y+C_1}{{\mathrm{\μ}}_x^2+{\mathrm{\μ}}_y^2+C_1}---\left(3\right)$

由标准偏差σx与σy求得两幅图像的对比度比较：

$c(x,y)=\frac{2{\mathrm{\σ}}_x{\mathrm{\σ\μ}}_y+C_2}{{\mathrm{\σ}}_x^2+{\mathrm{\σ}}_y^2+C_2}---\left(4\right)$

以及结构比较：

$s(x,y)=\frac{{\mathrm{\σ}}_{\mathrm{xy}}+C_3}{{\mathrm{\σ}}_x{\mathrm{\σ}}_y+C_3}---\left(5\right)$

其中C1、C2及C3是三个常数，σxy为两个图像块的协方差。最后得到结构相似性度量 公式：

SSIM＝l(x，y)·c(x，y)·s(x，y)              (6)

以及：

$\mathrm{MSSIM}(X,Y)=\frac{1}{M}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}\mathrm{SSIM}(x_j,y_j)---\left(7\right)$

实际所求得的MSSIM值的值域为[0，1]，当两幅图像完全相同时，值为1，MSSIM值 越大说明两幅图像越相似。

参数设置

本节给出本申请算法中的参数设置，所有参数都是经验参数，给出的参数并不是对所 有图像的最优参数，通过调整给出的参数对有的图像来说去噪性能还会有较小程度的提升， 但有可能导致其他图像的去噪性能的下降。如何到对所有图像都能达到最优去噪性能的 参数还是一个有待解决的问题，本节给出的参数只是对实验中用到的图像去噪性能的一个 简单平衡的结果。

本申请算法中用到的所有参数名称及含义分别为：

第一步：N11：块尺寸，N12：每组中块数量，Thr1：硬阈值；

第二步：NW1：块尺寸，NW2：每组中块数量，T2D：对每个块的二维变换的种类；

第三步：N21：初始块尺寸，N22：每组中块数量，Thr2：硬阈值；

第四步：N31：初始块尺寸，N32：每组中块数量，Thr3：硬阈值；

第五步：NW21：初始块尺寸，NW22：每组中块数量，T2D：对每个块的二维变换的种类；

另外两个每步中共用的参数为：NSTEP：块匹配时参考块选取的滑动步长，NS：块匹配过 程中搜索邻域大小。

第二步到第四步中的块尺寸与初始块尺寸都为8，Thr1的值为3.0，T2D为DCT，NSTEP 为3，NS为39×39，NW21与NW22都为32。表4.1根据噪声强度不同给出了每一步中其 余的参数值。

表1本申请算法中的部分参数值。

由于第三步到第四步都是块尺寸自适应的，所以给定一个初始块尺寸后，根据给定初 始块尺寸的DCT系数的交流分量能量决定参考块所属的分量后再调整参考块的大小及执 行块匹配，其中平滑分量的块尺寸为19×19，纹理分量的块尺寸为7×7，轮廓分量的块尺 寸为4×4。

实验结果

本申请用BM3D算法网站上提供的标准图像执行去噪实验，表2给出了本申请算法与 BM3D算法的去噪结果的PSNR值的对比，表3给出了本申请算法与BM3D算法去噪结果 的MSSIM值的对比。表4给出了本申请算法与BM3D‑SAPCA算法的去噪结果的PSNR值 的对比，表5给出了本申请算法与BM3D‑SAPCA算法的去噪结果的MSSIM值的对比。从 这四个表格中的数据可知，本申请算法去噪结果的PSNR与MSSIM都一致高于BM3D算 法，并且大部分高于BM3D‑SAPCA算法。表6给出了BM3D算法与本申请算法彩图像 去噪结果的PSNR值的比较，从表中数据可知，本申请算法对彩图像去噪的PSNR值几 乎一致高于BM3D算法。图1为本申请算法与BM3D算法及BM3D‑SAPCA算法灰度图像 去噪结果的主观视觉质量比较。从图1可以看出，当噪声强度较大时本申请算法基本不引 入假信号，BM3D算法引入了大量的周期性假信号，由于BM3D‑SAPCA在强噪情况下形 状自适应失效，所以BM3D‑SAPCA算法的去噪结果图像质量最差，而本申请算法在保留 图像细节方面最好，且基本不引入假信号。图2给出了三种算法对House图像去噪结果的 比较，从图中可以看出，本申请算法更好地保留了图像细节；另外即使在低噪情况下， BM3D‑SAPCA也引入了假信号，而本申请算法基本没有引入假信号。图3与图4分别给出 了本申请算法对Kodak数据集中的几幅彩图像去噪结果以展示本申请算法在彩图像去 噪上的性能。

由于本算法更好地模拟了人类视觉感知，所以取得了比经典的BM3D算法更好的去噪 结果，与当前的state‑of‑the‑art图像去噪方法BM3D‑SAPCA算法相比，本申请算法总体上 也是有竞争力的。特别是用MSSIM进行去噪结果评价时，本申请算法在多数情况下获得 了比BM3D‑SAPCA算法更好的去噪结果。由于强噪情况下，形状自适应方法基本失效， 去噪结果反而比原始的BM3D算法还要差，而本申请算法在强噪情况下的去噪结果一致优 于BM3D方法的结果。

表2本申请算法与BM3D算法去噪结果PSNR值比较，每个单元格中上面为BM3D算法 结果，下面为本申请算法结果。

表3本申请算法与BM3D‑SAPCA算法去噪结果PSNR值比较，每个单元格上面为 BM3D‑SAPCA算法结果，下面为本申请算法结果。

表4本申请算法与BM3D算法去噪结果MSSIM值比较，每个单元格上面为BM3D算法结 果，下面为本申请算法结果。

表5本申请算法与BM3D‑SAPCA算法去噪结果MSSIM值比较，每个单元格上面为 BM3D‑SAPCA算法结果，下面为本申请算法结果。

表6本申请算法与BM3D算法彩图像去噪结果的PSNR值比较，每个单元格上面为 BM3D算法结果，下面为本申请算法结果。

本申请结合人类对图像中噪声的视觉感知特性，针对图像去噪问题将自然图像划分为 平滑、轮廓与纹理三种形态分量。从人类视觉感知可知，噪声对平滑区域影响最大，其次 是纹理，最后是边缘；即对一幅自然图像添加同样强度的高斯白噪声后，看起来平滑区域 的噪声强度最大，其次是纹理，而在图像的强边缘上看起来噪声强度最低。这就启发我们 在执行图像去噪时应该对不同的形态分量采用不同的参数，如不同的阈值。由于本申请算 法是块匹配方法，所以本申请用了一种全新的策略，即针对不同的形态分量用不同的块尺 寸。因为平滑区域从人类视觉上看起来噪声最强，因此本申请用了相对最大的块；而强边 缘看起来受噪声的影响最小，因此本申请用了相对最小的块；对纹理形态用的块的大小则 介于前两者之间。

由于DCT是一种能较好刻画周期性信号的工具，本申请应用DCT的交流系数的能量 来划分平滑、纹理与轮廓这三种形态分量。对同一大小的图像块来说，平滑分量的交流系 数能量最小，而纹理分量的交流系数能量最大，轮廓分量的交流系数能量介于前两者之间。 本申请实验结果表明，这种划分方法对噪声是比较鲁棒的。

从本申请实验结果可以看出，无论是从客观的PSNR值与MSSIM值来说，还是从去 噪后图像的主观视觉质量上来说，本申请提出的去噪算法比BM3D与BM3D‑SAPCA这两 算法的结果都有了提高。

本申请可广泛应用于计算机、医学、数码相机、手机等图像处理领域。