上海大学2014～2015学年冬季学期研究生课程考试
文献阅读报告
课程名称： 数字图像处理与识别 课程编号： 07SAY9007 研究生姓名: 学 号:
评语:
成 绩: 任课教师:
评阅日期:
基于联合稀疏表示的图像融合
2014年11月26日
摘 要：本文通过理论分析与实验仿真来研究基于联合稀疏表示的图像融合方法。首先介绍图像融合和联合稀疏表示的研究背景和研究现状，并给出基于联合稀疏表示的图像融合方法的基本框架，然后就联合稀疏表示图像融合方法的基本原理进行了简单介绍，最后本文给出基于联合稀疏表示的图像融合实验效果图，并作出了实验分析。通过实验后的融合视觉效果图，我们可以得出结论：基于联合稀疏表示的图像融合方法能够很好地实现图像的融合，并具有很好的视觉效果。
关键词：联合稀疏表示，滑窗技术，图像融合，稀疏系数 Image Fusion Based on Joint Sparse Representation
Abstract: In this paper, the potential application of joint sparse representation in the image 许鲜网fusion is studied both in theoretical analysis and experimental simulation. First, we provide a brief introduction to the background and present situation of joint sparse representation. Then we introduce the skeleton structure of joint sparse representation for fusing images. After that, we introduce the basic theory of joint sparse representation, in which we obtains sparse coefficients by joint sparse representation optimization proble
m and we get the fused coefficient by the fused rules based on impact factor. Finally, The experimental results indicate that the three algorithms provides efficiency and promising fusion results, which demonstrates the great and benefits of combining the joint sparse representation and image fusion.
黎祥Index Terms: joint sparse representation, image fusion, sparse coefficient
1. 引言
随着科学技术的发展，由于单一传感器获取信息有限，难以满足实际需求，传感器的工作模式由单工作模式转变为多工作模式[1]。
图像融合是20世纪70年代提出的概念，是多传感器信息融合的一个重要分支[1]。图像融合是指将来自不同传感器在同一时间或不同时间获取的关于某一场景的两个或两个以上的图像或序列加以综合，以便获得信息更全面、更适合人类视觉感知或更适合进一步图像处理的过程[2]。
图像融合在卫星遥感、计算机视觉、医学图像、气象预报以及军事目标识别等领域有着广
泛的应用[3]。例如：CT和核磁共振MRI图像的融合处理有利于对疾病的准确判断；红外图像和可见光图像的融合技术可以提高目标识别和目标定位的准确度。
近年来，图像的稀疏性受到广泛关注，被应用到很多图像处理问题中。
1996年Olshausen和nied在Nature[4]发表论文中指出了图像数据的稀疏性本质，即自然图像本身存在稀疏性，这为图像稀疏性的应用奠定了基础。利用图像的稀疏性，Donoho、Candes和Tao等人在04年提出了压缩感知(CS)[5]，进一步发展了稀疏表示理论，将稀疏表示理论推向了一个新的高度。06年，RICE大学的 D.Baron [6]等人将分布式信源编码与压缩感知理论相结合，提出了分布式压缩感知(Distributed Compressed Sensing, DCS)理论，文献[7]提出了联合稀疏表示模型(Joint Sparsity Model, JSM)。
国内的学者李树涛教授和他的团队在这方面也进行了大量的研究，并取得了一定的成果。10年，其在文献 [8]中提出基于稀疏表示的多聚焦图像融合算法。首先利用过完备的DCT字典，对所作待融合图像像块进行稀疏分解，得到相对应的稀疏系数，然后选取一范数大的稀疏系数作为融合图像像块的稀疏系数。11年，李等人[9]提出了基于联合稀疏表示的图像融合方法。同年，Yu等人[10]又提出了基于联合稀疏表示的图像融合方法，该方法对待融
合图像进行过完备字典下的联合稀疏表示，然后提出各自特性部分和共性部分的特征，运用OMP算法重构出各自的特性部分和共性部分，将共性部分保留，对特性部分进行融合，该方法有效地利用图像的各自特征取得了令人满意的效果。12年，Yang等[11]提出了基于像素层的同时正交匹配追踪算法(Simultaneous Orthogonal Matching Pursuit, SOMP)，对自己的算法[8]进行了改进。13年，李等[12]提出一个字典学习的稀疏表示的遥感图像的融合。同年，张等[13]提出了一个基于字典学习的联合稀疏表示的图像融合方法，其文章详细的同[9][10]中的方法进行了比较。
2. 联合稀疏表示模型框架
D.Baron[6]等人将分布式信源编码与压缩感知理论相结合，提出了分布式压缩感知(Distributed Compressed Sensing, DCS)理论。
cd10
文献[7]提出了三种不同的联合稀疏表示模型(Joint Sparsity Model, JSM)(如图1), 其中模型1(JSM-1)指出：一组信号中，所有信号都具有相同的公共稀疏部分和各个信号独有的稀疏部分。
图1 联合稀疏表示模型框架
基于联合稀疏表示的图像融合过程具体如下所示：（1）通过滑窗技术将两幅大小为256*256的图像转变为64*1024的列向量矩阵；（2）由原始数据构造过完备D（3）对列向量矩阵进行联合稀疏表示（4）由重构方法求解联合稀疏表示稀疏（5）对联合稀疏表示稀疏进行融合（6）由融合稀疏表示系数对图像进行融合重建（7）通过反滑窗技术将融合后图像进行输出。
2.1联合稀疏表示
文献[6]提出了三种不同的联合稀疏表示模型(joint sparsity models, JSMs)，在模型1（JSM-1）[6]中，模型所有的信号都可写成共同分量和特征分量相加的形式。同时根据分布式信源编码的思想，所有信号具有相同的公共稀疏部分与各个信号独自的稀疏部分。现假设一组信号 ，包含个相关信号，其中，则有：
其中为过完备字典，为所有信号的公共稀疏部分，为每个信号各自特有的稀疏表示部分，则表示为：
其中甘肃农业大学学报>能源与可持续发展为零矩阵，为稀疏系数向量。结合稀疏表示理论可知，稀疏系数向量估计可通过求解以下最优化问题得到：
其中为误差容限。
3. 基于联合稀疏表示的图像融合
3.1待融合图像联合稀疏表示
由于待融合图像之间具有一定的相关性，故可以对待融合图像进行联合稀疏表示。假设代表待融合图像，应用滑窗技术[8]，用大小为的窗口从左至右，从上至下遍历待融合图像，并将每个图像块转换为长度为的列向量，表示为，其中为单幅图像中图像块的数量。则列向量组成的矩阵可以表示为：
其中为公共部分，为各自特有部分。
给定过完备字典和稀疏系数矩阵和，则有：
本实验主要是将两幅图片进行融合，故联合稀疏表示可以缩简化公式为：
即：
其中为零矩阵，为稀疏系数向量，结合稀疏表示理论可知，稀疏系数向量估计可通过求解以下最优化问题得到：
其中为误差容限。
3.2过完备字典和字典更新
过完备字典：通常有两类字典可供选择，第一类是选择固定字典[9]，如小波基，过完备DCT字典等；第二类是通过训练样本来构造过完备字典[10]。本实验结合图像的具体问题，直接用训练样本构造固定的过完备字典[10]。
在求稀疏系数优化问题的时候还涉及到字典更新，在每一次求解稀疏系数的时候更新字典，用来恢复我们的融合图像，以提高融合的效果。文献[9]没有更新字典，只是在刚开始就用了一个固定的字典；文献[10]通过K-SVD[14]的方法更新字典；文献[13]用的MODJSR方法，在每一次求解稀疏系数的时候更新字典，用来恢复我们的融合图像。在本文的实验中，主要由训练数据构造一个固定的过完备字典，在后面的实验中并未更新字典。
3.3融合规则融合图像重构
在融合稀疏表示系数当中还涉及融合规则选择问题，文献[8]、文献[9]和文献[13]分别给出了三种不同的融合准则，但其基本原理都是通过系数范数来定义图像块活跃度，且都取得了较好的融合结果。三种不同的融合规则如下所示：
其中，，和分别为稀疏表示系数矩阵和的第列，为融合图像的稀疏系数矩阵的第列。通过融合图像稀疏系数矩阵和过完备字典构造融合图像，有：
最后，将我们可以对采用反滑窗技术得到最终的融合图像。
4. 实验结果分析
