视频去水印方法、装置、设备及存储介质与流程

阅读：评论：0

1.本技术涉及视频处理领域，尤其涉及一种视频去水印方法、装置、设备及存储介质。

背景技术：

2.随着拍摄设备(手机、数码相机等)的广泛普及和拍摄成本的大幅度降低，以及短视频内容分享平台的兴起，视频在用户生活中扮演着越来越重要的传播形式。视频在传播中被叠加各种各样的水印会大幅度降低用户的观看体验，因此如何有效的去除视频中的水印logo，提高用户的观看体验成为视频处理领域亟待解决的问题。
3.目前的视频去水印技术可分为传统算法和深度学习算法两大类，具体地大致分为以下几种：(1)利用水印mask周围的像素对水印区域进行插值填充。例如ffmpeg中的delogo函数，给视频水印mask位置添加一个模糊滤镜，经过对周围像素简单的插值去除logo；(2)直接对水印区域进行模糊处理，使得水印无法看清；(3)基于深度学习的修复算法进行水印区域的修复填充，使得整体达到纹理和结构一致性，或者语义和视觉可信，从图像修复应用到视频帧中进行视频的水印去除。基于周围像素通过插值技术进行填充的方案虽然可以去除水印，但是产生的插值效果过于明显，彩变化产生很大影响，而对水印区域进行模糊处理的方案虽然可以一定程度上去除水印并保持周围画面的平滑过渡，但由于只是模糊处理，当模糊处理程度较小时，水印的样式仍会依稀可见，存在水印去除不彻底的问题，而模糊处理程度过大则无法保证平滑过渡对于深度学习的帧修复算法虽然单帧的修复效果明显优于传统算法，但是在应用到视频中会出现帧间闪烁的情况，导致视频去水印效果不佳。现亟需一种效果好、速度快并且修复区域不闪烁的视频去水印方法。

技术实现要素：

4.本技术实施例的目的在于提出一种视频去水印方法、装置、设备及存储介质，以实现视频去水印，并降低视频去水印的时间、减轻修复区域的闪烁。
5.为了解决上述技术问题，本技术实施例提供一种视频去水印的方法，包括：
6.获取待处理视频，对所述待处理视频进行分帧处理，得到图像帧集，其中，所述获取待处理视频包括涂抹区域，所述涂抹区域在所述图像帧集每一图像帧中的位置固定；
7.通过预设的算法，对所述图像帧集中每一图像帧的所述涂抹区域进行初步修复，得到初步图像集；
8.将所述初步图像集中的首帧图像帧作为第一基准图像帧，计算所述初步图像集中每一图像帧与所述第一基准图像帧的得分差值，得到差值分数集；
9.将所述差值分数集中的每一差值分数与第一预设阈值进行对比，并将所述差值分值超过所述第一预设阈值对应的图像帧作为待修复图像帧，得到待修复图像帧集；
10.将所述待修复图像帧集中的任一图像帧作为第二基准图像帧，并对所述第二基准图像帧的所述涂抹区域进行深度修复，得到深度修复图像帧，其中，所述深度修复图像帧包
括对所述涂抹区域的修复内容；
11.计算所述待修复图像帧集中每一待修复图像帧与所述第二基准图像帧的相似度；
12.判断所述相似度是否超过第二预设阈值，若所述相似度超过第二预设阈值，则将所述相似度超过所述第二预设阈值对应的待修复图像帧作为第一修复图像，并将所述第二基准图像帧的修复内容填补到所述第一修复图像的所述涂抹区域；
13.若所述相似度低于所述第二预设阈值，则将所述相似度低于所述第二预设阈值对应的待修复图像帧作为第二修复图像，并对所述第二修复图像的所述涂抹区域进行所述深度修复。
14.为了解决上述技术问题，本技术实施例提供一种视频去水印的装置，包括：
15.掩膜生成模块，用于获取待处理视频，对所述待处理视频进行分帧处理，得到图像帧集，其中，所述获取待处理视频包括涂抹区域，所述涂抹区域在所述图像帧集每一图像帧中的位置固定；
16.初步修复模块，用于通过预设的算法，对所述图像帧集中每一图像帧的所述涂抹区域进行初步修复，得到初步图像集；
17.差值计算模块，用于将所述初步图像集中的首帧图像帧作为第一基准图像帧，计算所述初步图像集中每一图像帧与所述第一基准图像帧的得分差值，得到差值分数集；
18.差值对比模块，用于将所述差值分数集中的每一差值分数与第一预设阈值进行对比，并将所述差值分值超过所述第一预设阈值对应的图像帧作为待修复图像帧，得到待修复图像帧集；
19.样本修复模块，用于将所述待修复图像帧集中的任一图像帧作为第二基准图像帧，并对所述第二基准图像帧的所述涂抹区域进行深度修复，得到深度修复图像帧，其中，所述深度修复图像帧包括对所述涂抹区域的修复内容；
20.相似度计算模块，用于计算所述待修复图像帧集中每一待修复图像帧与所述第二基准图像帧的相似度；
21.填补模块，用于判断所述相似度是否超过第二预设阈值，若所述相似度超过第二预设阈值，则将所述相似度超过所述第二预设阈值对应的待修复图像帧作为第一修复图像，并将所述第二基准图像帧的修复内容填补到所述第一修复图像的所述涂抹区域；
22.深度修复模块，用于若所述相似度低于所述第二预设阈值，则将所述相似度低于所述第二预设阈值对应的待修复图像帧作为第二修复图像，并对所述第二修复图像的所述涂抹区域进行所述深度修复。
23.为解决上述技术问题，本发明采用的一个技术方案是：一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任意一项所述的视频去水印方法。
24.为解决上述技术问题，本发明采用的一个技术方案是：一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的视频去水印方法。
25.本发明实施例提供了一种视频去水印方法、装置、设备及存储介质。本发明实施例通过对待处理视频进行分帧处理，得到图像帧集，对图像帧集进行初步修复，得到初步图像集，计算初步图像集中每一帧与首帧的得分差值，将得分差值超过第一预设阈值对应的帧
作为待修复图像帧，得到待修复图像帧集，降低了视频去水印的处理时间；将待修复图像帧集中任一待修复图像帧作为第二基准图像帧，对第二基准图像帧进行深度修复，得到深度修复图像帧，计算待修复图像帧集中每一帧与第二基准图像帧的相似度，若相似度超过第二预设阈值，将深度修复图像帧的修复内容填补到对应的图像帧中，若相似度低于第二预设阈值，则对对应的图像帧进行深度修复。本发明实施例先对待修复图像进行初步修复，然后通过对待修复图像进行评估打分，筛选出得分差值超过第一预设阈值对应的图像帧，再计算得分差值超过第一预设阈值对应的图像帧与第二修复图像的相似度，将相似度超过第二预设阈值对应的待修复图像帧作为第一修复图像，并将第二基准图像帧的修复内容填补到第一修复图像的所述涂抹区域，将相似度低于第二预设阈值对应的待修复图像帧作为第二修复图像，并对第二修复图像的涂抹区域进行深度修复，避免了对视频每一帧进行修复，降低视频去水印的时间，减轻了视频修复区域闪烁的情况，从而提高了用户的观看体验。
附图说明
26.为了更清楚地说明本技术中的方案，下面将对本技术实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
27.图1是本技术实施例提供的视频去水印方法流程的一实现流程图；
28.图2是本技术实施例提供的视频去水印方法中子流程的又一实现流程图；
29.图3是本技术实施例提供的视频去水印方法中子流程的又一实现流程图；
30.图4是本技术实施例提供的视频去水印方法中子流程的又一实现流程图；
31.图5是本技术实施例提供的视频去水印方法中子流程的又一实现流程图；
32.图6是本技术实施例提供的视频去水印方法中子流程的又一实现流程图；
33.图7是本技术实施例提供的视频去水印方法中子流程的又一实现流程图；
34.图8是本技术实施例提供的视频去水印装置示意图；
35.图9是本技术实施例提供的计算机设备的示意图。
具体实施方式
36.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本技术；本技术的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本技术的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
37.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
38.为了使本技术领域的人员更好地理解本技术方案，下面将结合附图，对本技术实施例中的技术方案进行清楚、完整地描述。
39.下面结合附图和实施方式对本发明进行详细说明。
40.需要说明的是，本技术实施例所提供的视频去水印方法一般由服务器执行，相应地，视频去水印装置一般配置于服务器中。
41.请参阅图1，图1示出了视频去水印方法的一种具体实施方式。
42.需注意的是，若有实质上相同的结果，本发明的方法并不以图1所示的流程顺序为限，该方法包括如下步骤：
43.s1：获取待处理视频，对待处理视频进行分帧处理，得到图像帧集，其中，待处理视频包括涂抹区域，涂抹区域在图像帧集每一图像帧中的位置固定。
44.具体的，用户端在待处理视频上的待修复区域进行手动涂抹，生成包括待修复区域的涂抹区域，获取手动涂抹后得到的待处理视频，再将待处理视频分帧处理，由于水印位置在待处理视频每一帧上固定，所以涂抹区域在图像帧集每一图像帧中的位置固定，因此无需对每一帧进行涂抹。该待处理视频为服务器从本地数据库获取，可以理解的是，待处理视频也可以通过别的方式得到，比如用户端发送给服务器，在此不对待处理视频的数据来源做限制。
45.请参阅图2，图2示出了步骤s1的一种具体实施方式，详叙如下：
46.s11：获取初始视频，并将待处理视频返回用户端，以使得用户端对待处理视频的水印区域进行涂抹，得到待处理视频。
47.s12：对待处理视频进行分帧处理，得到图像帧集。
48.具体的，服务器从数据库获取待处理视频，并发送给用户端，用户端接收到该待处理视频后，对待处理视频进行人工涂抹，然后将涂抹后的待处理视频发送给服务器，对待处理视频进行分帧处理，并依次保存好每一帧图像。用户端对待处理视频的水印区域进行涂抹，一方面使水印区域模糊化，降低了水印的可见度，另一方面将视频需要修复的区域与其它区域区分开，便于识别与修复。
49.s2：通过预设的算法，对图像帧集中每一图像帧的涂抹区域进行初步修复，得到初步图像集。
50.具体的，该实施例进行初步修复采用的是ffmpeg软件，ffmpeg提供一个delogo滤镜，通过对水印区域周围像素进行简单插值来去掉水印。需要说明的是，传统算法ffmpeg delogo在一部分帧上的修复效果较好，且ffmpeg delogo的处理速度大幅优于其他算法，引用ffmpeg delogo算法，降低了一定的处理耗时。
51.请参阅图3，图3示出了步骤s2的一种具体实施方式，详叙如下：
52.s21：针对图像帧集中任一图像帧，识别每一图像帧中的涂抹区域，并基于涂抹区域，构建矩形区域，其中，矩形区域包括涂抹区域。
53.具体的，根据左上角顶点坐标以及矩形的宽与高，设置一个包括涂抹区域的矩形框。需要说明的是，当修复完成时，矩形框默认自动删除，但可通过改变参数设置，使矩形框保留。
54.s22：获取矩形框中除涂抹区域之外的像素，作为待填充像素。
55.s23:将待填充像素填充至涂抹区域，得到初步修复图像。
56.s24:当图像帧集中所有的图像帧修复完成，得到初步图像集。
57.具体的，获取矩形框中除涂抹区域之外的像素，作为待填充像素，将待填充像素填
充至涂抹区域，当图像帧集中每一帧都修复完成，得到初步图像集。
58.s3：将初步图像集中的首帧图像帧作为第一基准图像帧，计算初步图像集中每一图像帧与第一基准图像帧的得分差值，得到差值分数集。
59.具体的，根据首帧的图像质量定阈值基准，然后采用预设评估打分算法对每一图像帧进行评估打分，每一图像帧得到一个对应的分数值，分别计算每一图像帧对应的分数值与第一图像帧对应的分数值之差，得到差值分数集。
60.请参阅图4，图4示出了步骤s3的一种具体实施方式，详叙如下：
61.s31：将初步图像集中的首帧图像帧作为第一基准图像帧。
62.s32:采用预设评估打分算法，对初步图像集进行评估打分，得到每一图像帧的得分。
63.s33：计算每一图像帧的得分与第一基准图像帧的得分之差，得到得分差值。
64.具体的，本实施例采用metaiqa算法对图像帧进行评估打分，metaiqa算法利用元学习技术，通过一系列已知失真类型的nr-iqa任务来学习共享的质量先验模型，然后用未知失真的nr-iqa任务对质量先验模型进行微调。用双层梯度下降法学习泛化性。第一步中，首先，nr-iqa的训练数据分为支持集和查询集；其次，用支持集计算模型参数的梯度，尝试用sgd进行更新；最后，查询集被用来验证更新后的模型是否有效执行。通过对一系列特定扭曲的数字图像质量评估任务进行质量先验模型的训练，然后利用该模型作为先验知识对未知扭曲的数字图像质量评估任务进行微调，最后得到质量评价模型，采用该质量评价模型对初步图像集进行评估打分，得到每一图像帧的得分，并计算每一图像帧得分与第一图像帧得分的差值，得到差值分数集。
65.需要说明的是，本实施例采用的是metaiqa算法对图像帧进行评估打分，也可以用其他传统指标或算法代替，比如，也可采用brisque算法，brisque算法原理是从图像中提取平均减去对比归一化系数mscn，然后将平均减去对比归一化系数mscn拟合成非对称性广义高斯分布aggd，提取拟合的高速分布的特征，输入到支持向量机svm中做回归，从而得到图像质量的评估结果，在此不对对图像帧评估打分的具体方法做限制。
66.s4：将差值分数集中的每一差值分数与第一预设阈值进行对比，并将差值分值超过第一预设阈值对应的图像帧作为待修复图像帧，得到待修复图像帧集。
67.具体的，若某一图像帧得分与第一图像帧得分的差值超过第一预设阈值，则表明delogo修复效果较差需进一步进行修复，若某一图像帧得分与第一图像帧得分的差值未超过阈值，则表明delogo修复效果较好，无需进行进一步修复。需要说明的是，第一预设阈值为根据实际情况进行设定，在此不对第一预设阈值的值做限制。在一具体的实施例中，第一预设阈值为0.3。
68.进一步的，delogo修复图片速度较快，采用metaiqa和delogo结合的方式，对于用delogo修复后效果较好的图像帧，不再进行进一步修复，降低了一定的处理耗时。
69.s5：将待修复图像帧集中的任一图像帧作为第二基准图像帧，并对第二基准图像帧的涂抹区域进行深度修复，得到深度修复图像帧，其中，深度修复图像帧包括对涂抹区域的修复内容。
70.具体的，本实施例深度修复采用的方法为大掩码修复lama，该方法具有高感受野和较大的训练掩码，用来感知损失与释放前面组件的潜力，并且使用了快速傅里叶卷积ffc
的修复网络架构，该架构具有较宽的图像感受野，在低分辨率数据上训练后可以推广到高分辨率图像，可以捕获并生成复杂的周期性结构，且对大型掩码具有鲁棒性。
71.请参阅图5，图5示出了步骤s5的一种具体实施方式，详叙如下：
72.s51：将待修复图像帧集中的任一图像帧作为第二基准图像帧，并对第二基准图像帧的涂抹区域进行取反处理，得到取反涂抹图像帧，其中所述取反涂抹图像帧包括取反后的涂抹区域。
73.s52：将取反涂抹图像帧与第二基准图像帧进行相乘处理，得到第一目标图像，其中，第一目标图像包括取反后的涂抹区域。
74.s53：将第一目标图像与涂抹区域进行叠加处理，得到第二目标图像。
75.具体的，获取第二基准图像帧与第二基准图像帧的涂抹区域图像，将第二基准图像帧的涂抹区域图像进行取反处理，即对该涂抹区域图像进行灰度处理，得到灰度图像，再将该灰度图像中的原黑像素替换为白像素，原白像素替换为黑像素，再与第二基准图像帧图像相乘，得到带有涂抹区域的第二基准图像帧图像，然后将该带有涂抹区域的第二基准图像帧图像和第二基准图像帧的涂抹区域图像基于通道进行叠加处理，得到第二目标图像。
76.s54：对第二目标图像进行修复，得到深度修复图像帧。
77.请参阅图6，图6示出了步骤s54的一种具体实施方式，详叙如下：
78.s541：对第二目标图像进行下采样操作，得到下采样图像。
79.s542：对下采样图像进行快速傅立叶卷积ffc处理，得到卷积图像。
80.s543：对卷积图像进行上采样操作，得到深度修复图像帧。
81.具体的，在快速傅立叶卷积ffc的处理过程中，会将第二目标图像基于通道分为2部分分别走2个不同的分支。一个分支负责提取局部信息，称为local分支。另一个分支负责提取全局信息，称为global分支。在global分支中会使用ffc提取全局特征。最后将局部信息和全局信息进行交叉融合，再基于通道进行拼接，得到最终的输出结果深度修复图像帧。
82.s6：计算待修复图像帧集中每一待修复图像帧与第二基准图像帧的相似度。
83.具体的，本实施例采用结构相似性度量ssim对图像相似度进行评价，结构相似性度量ssim分别从亮度、对比度、结构三个方面度量图像相似性。需要说明的是，局部求ssim指数的效果要好于全局，因为图像的统计特征通常在空间中分布不均、图像的失真情况在空间中也是变化的且在正常视距内，人们只能将视线聚焦在图像的一个区域内，所以局部处理更符合人类视觉系统的特点。
84.请参阅图7，图7示出了步骤s6的一种具体实施方式，详叙如下：
85.s61：将任一待修复图像帧与第二图像帧进行分块处理，得到第一分块与第二分块。
86.s62:采用高斯加权算法，分别对第一分块与第二分块进行计算处理，得到第一计算结果和第二计算结果，其中，第一计算结果包括第一分块的均值、方差及协方差，第二计算结果包括第二分块的均值、方差及协方差。
87.s63：根据第一计算结果，计算第一分块的结构相似度，得到第一分块相似度；根据第二计算结果，计算第二分块的结构相似度，得到第二分块相似度。
88.s64：计算第一分块与第二分块的结构相似度的值的平均值，得到任一待修复图像
帧与第二图像帧的相似度。
89.具体的，利用高斯滑动窗口将待修复图像帧集中的图像分块，然后采用高斯加权算法计算每一窗口的均值、方差以及协方差，然后计算对应块的结构相似度ssim，最后将平均值作为两图像的结构相似性度量。结构相似度ssim的计算公式为：其中x,y为图像，为xi,yj为局部ssim指数在映射中的位置，mn为局部窗口的数量。
90.需要说明的是，本实施例采用的是结构相似性ssim来对图像相似度进行评价，也可以利用其它的图像相似性评估指标进行衡量帧间相似性，比如采用均方误差mse来评估图像的相似性，在此不对进行图像相似度评价的具体方法做限制。
91.s7：判断相似度是否超过第二预设阈值，若相似度超过第二预设阈值，则将相似度超过第二预设阈值对应的待修复图像帧作为第一修复图像，并将第二基准图像帧的修复内容填补到第一修复图像的涂抹区域。
92.具体的，若相似度超过第二预设阈值，则判定该两帧修复区域相似性高，可以跳帧处理，即直接用当前帧的修复内容填补到待修复的帧，而无需采用深度修复lama算法进行图像修复。需要说明的是，第二预设阈值根据实际情况进行设定，在此不对第二预设阈值的值做限制。在一具体实施例中，第二预设阈值为0.05。
93.进一步的，跳帧处理避免了对每一帧进行深度修复，如此大幅度降低了视频去水印的处理时间，且一定程度减轻了视频修复区域闪烁的情况，从而大大提高了用户的观看体验。
94.s8：若相似度低于第二预设阈值，则将相似度低于第二预设阈值对应的待修复图像帧作为第二修复图像，并对第二修复图像的涂抹区域进行深度修复。
95.具体的，若相似度低于第二预设阈值，则判定该两帧修复区域相似性低，需要对当前帧进行深度修复，深度修复采用的是大掩码修复lama，大掩码修复lama已在上述步骤中解释，在此不再赘述。
96.在本实施例中，获取待处理视频，对待处理视频进行分帧处理，得到图像帧集，其中，待处理视频包括涂抹区域，涂抹区域在图像帧集每一图像帧中的位置固定；通过预设的算法，对图像帧集中每一图像帧的涂抹区域进行初步修复，得到初步图像集；将初步图像集中的首帧图像帧作为第一基准图像帧，计算初步图像集中每一图像帧与第一基准图像帧的得分差值，得到差值分数集；将差值分数集中的每一差值分数与第一预设阈值进行对比，并将差值分值超过第一预设阈值对应的图像帧作为待修复图像帧，得到待修复图像帧集；将待修复图像帧集中的任一图像帧作为第二基准图像帧，并对第二基准图像帧的涂抹区域进行深度修复，得到深度修复图像帧，其中，深度修复图像帧包括对涂抹区域的修复内容；计算待修复图像帧集中每一待修复图像帧与第二基准图像帧的相似度；判断相似度是否超过第二预设阈值，若相似度超过第二预设阈值，则将相似度超过第二预设阈值对应的待修复图像帧作为第一修复图像，并将第二基准图像帧的修复内容填补到第一修复图像的涂抹区域；若相似度低于第二预设阈值，则将相似度低于第二预设阈值对应的待修复图像帧作为第二修复图像，并对第二修复图像的涂抹区域进行深度修复。本发明实施例通过对于一些初步修复后效果较好的帧不再进行深度修复，此外在深度修复的基础上，对于一些相似度
较高的帧采用跳帧策略避免了对每一帧进行处理，如此可以大幅度降低了视频去水印的处理时间；与此同时，跳帧策略避免了每帧进行修复，一定程度上减轻了视频修复区域闪烁的情况，从而大大提高用户的观看体验。
97.请参考图8，作为对上述图1所示方法的实现，本技术提供了一种视频去水印装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
98.如图8所示，本实施例的视频去水印装置包括：掩膜生成模块81、初步修复模块82、差值计算模块83、差值对比模块84、样本修复模块85、相似度计算模块86、填补模块87及深度修复模块88，其中：
99.掩膜生成模块，用于获取待处理视频，对待处理视频进行分帧处理，得到图像帧集，其中，获取待处理视频包括涂抹区域，涂抹区域在图像帧集每一图像帧中的位置固定；
100.初步修复模块，用于通过预设的算法，对图像帧集中每一图像帧的涂抹区域进行初步修复，得到初步图像集；
101.差值计算模块，用于将初步图像集中的首帧图像帧作为第一基准图像帧，计算初步图像集中每一图像帧与第一基准图像帧的得分差值，得到差值分数集；
102.差值对比模块，用于将差值分数集中的每一差值分数与第一预设阈值进行对比，并将差值分值超过第一预设阈值对应的图像帧作为待修复图像帧，得到待修复图像帧集；
103.样本修复模块，用于将待修复图像帧集中的任一图像帧作为第二基准图像帧，并对第二基准图像帧的涂抹区域进行深度修复，得到深度修复图像帧，其中，深度修复图像帧包括对涂抹区域的修复内容；
104.相似度计算模块，用于计算待修复图像帧集中每一待修复图像帧与第二基准图像帧的相似度；
105.填补模块，用于判断相似度是否超过第二预设阈值，若相似度超过第二预设阈值，则将相似度超过第二预设阈值对应的待修复图像帧作为第一修复图像，并将第二基准图像帧的修复内容填补到第一修复图像的涂抹区域；
106.深度修复模块，用于若相似度低于所述第二预设阈值，则将相似度低于第二预设阈值对应的待修复图像帧作为第二修复图像，并对第二修复图像的涂抹区域进行深度修复。
107.进一步的，掩膜生成模块81包括：
108.视频获取单元，用于获取初始视频，并将待处理视频返回用户端，以使得用户端对待处理视频的水印区域进行涂抹，得到待处理视频；
109.分帧单元，用于对待处理视频进行分帧处理，得到图像帧集。
110.进一步的，初步修复模块82包括：
111.矩形构建单元，用于针对图像帧集中任一图像帧，识别每一图像帧中的涂抹区域，并基于涂抹区域，构建矩形区域，其中，矩形区域包括涂抹区域；
112.获取像素单元，用于获取矩形框中除涂抹区域之外的像素，作为待填充像素；
113.像素填充单元，用于将待填充像素填充至涂抹区域，得到初步修复图像；
114.初步图像集单元，用于当图像帧集中所有的图像帧修复完成，得到初步图像集。
115.进一步的，差值计算模块83包括：
116.首帧基准单元，用于将初步图像集中的首帧图像帧作为第一基准图像帧；
117.评估打分单元，用于采用预设评估打分算法，对初步图像集进行评估打分，得到每一图像帧的得分；
118.得分差值单元，用于计算每一图像帧的得分与第一基准图像帧的得分之差，得到得分差值。
119.进一步的，差值对比模块84包括：
120.对比单元，用于将差值分数集中的每一差值分数与第一预设阈值进行对比；
121.待修复单元，用于将差值分值超过第一预设阈值对应的图像帧作为待修复图像帧，得到待修复图像帧集。
122.进一步的，样本修复模块85包括：
123.取反单元，用于将待修复图像帧集中的任一图像帧作为第二基准图像帧，并对第二基准图像帧的涂抹区域进行取反处理，得到取反涂抹图像帧，其中，取反涂抹图像帧包括取反后的涂抹区域；
124.相乘单元，用于将取反涂抹图像帧与第二基准图像帧进行相乘处理，得到第一目标图像，其中，第一目标图像包括取反后的涂抹区域；
125.叠加单元，用于将第一目标图像与涂抹区域进行叠加处理，得到第二目标图像；
126.修复单元，用于对第二目标图像进行修复，得到深度修复图像帧。
127.进一步的，相似度计算模块86包括：
128.分块单元，用于将任一待修复图像帧与第二图像帧进行分块处理，得到第一分块与第二分块；
129.计算单元，用于采用高斯加权算法，分别对第一分块与第二分块进行计算处理，得到第一计算结果和第二计算结果，其中，第一计算结果包括第一分块的均值、方差及协方差，第二计算结果包括第二分块的均值、方差及协方差；
130.分块相似度单元，用于根据第一计算结果，计算第一分块的结构相似度，得到第一分块相似度；根据第二计算结果，计算第二分块的结构相似度，得到第二分块相似度；
131.平均相似度单元，用于计算第一分块与第二分块的结构相似度的值的平均值，得到任一待修复图像帧与第二图像帧的相似度。
132.进一步的，填补模块87包括：
133.判断单元，用于判断所述相似度是否超过第二预设阈值，若所述相似度超过第二预设阈值，则将所述相似度超过所述第二预设阈值对应的待修复图像帧作为第一修复图像；
134.填补修复单元，用于将所述第二基准图像帧的修复内容填补到所述第一修复图像的所述涂抹区域。
135.进一步的，深度修复模块包括：
136.相似度判断单元，用于若所述相似度低于所述第二预设阈值，则将所述相似度低于所述第二预设阈值对应的待修复图像帧作为第二修复图像；
137.第二修复单元，用于对所述第二修复图像的所述涂抹区域进行所述深度修复。
138.为解决上述技术问题，本技术实施例还提供计算机设备。具体请参阅图9，图9为本实施例计算机设备基本结构框图。
139.计算机设备9包括通过系统总线相互通信连接存储器91、处理器92、网络接口93。需要指出的是，图中仅示出了具有三种组件存储器91、处理器92、网络接口93的计算机设备9，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(application specific integrated circuit，asic)、可编程门阵列(field－programmable gate array，fpga)、数字处理器(digital signal processor，dsp)、嵌入式设备等。
140.计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
141.存储器91至少包括一种类型的可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器91可以是计算机设备9的内部存储单元，例如该计算机设备9的硬盘或内存。在另一些实施例中，存储器91也可以是计算机设备9的外部存储设备，例如该计算机设备9上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。当然，存储器91还可以既包括计算机设备9的内部存储单元也包括其外部存储设备。本实施例中，存储器91通常用于存储安装于计算机设备9的操作系统和各类应用软件，例如视频去水印方法的程序代码等。此外，存储器91还可以用于暂时地存储已经输出或者将要输出的各类数据。
142.处理器92在一些实施例中可以是中央处理器(central processing unit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器92通常用于控制计算机设备9的总体操作。本实施例中，处理器92用于运行存储器91中存储的程序代码或者处理数据，例如运行上述视频去水印方法的程序代码，以实现视频去水印的各种实施例。
143.网络接口93可包括无线网络接口或有线网络接口，该网络接口93通常用于在计算机设备9与其他电子设备之间建立通信连接。
144.本技术还提供了另一种实施方式，即提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序可被至少一个处理器执行，以使至少一个处理器执行如上述的一种视频去水印方法的步骤。
145.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本技术各个实施例的方法。
146.显然，以上所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例，附图中给出了本技术的较佳实施例，但并不限制本技术的专利范围。本技术可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本技术的公开内容的理解更加透彻全面。尽管参照前述实施例对本技术进行了详细的说明，对于本领域的技术人员来而言，其
依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本技术说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本技术专利保护范围之内。

技术特征：

1.一种视频去水印方法，其特征在于，包括：获取待处理视频，对所述待处理视频进行分帧处理，得到图像帧集，其中，所述获取待处理视频包括涂抹区域，所述涂抹区域在所述图像帧集每一图像帧中的位置固定；通过预设的算法，对所述图像帧集中每一图像帧的所述涂抹区域进行初步修复，得到初步图像集；将所述初步图像集中的首帧图像帧作为第一基准图像帧，计算所述初步图像集中每一图像帧与所述第一基准图像帧的得分差值，得到差值分数集；将所述差值分数集中的每一差值分数与第一预设阈值进行对比，并将所述差值分值超过所述第一预设阈值对应的图像帧作为待修复图像帧，得到待修复图像帧集；将所述待修复图像帧集中的任一图像帧作为第二基准图像帧，并对所述第二基准图像帧的所述涂抹区域进行深度修复，得到深度修复图像帧，其中，所述深度修复图像帧包括对所述涂抹区域的修复内容；计算所述待修复图像帧集中每一待修复图像帧与所述第二基准图像帧的相似度；判断所述相似度是否超过第二预设阈值，若所述相似度超过所述第二预设阈值，则将所述相似度超过所述第二预设阈值对应的待修复图像帧作为第一修复图像，并将所述第二基准图像帧的修复内容填补到所述第一修复图像的所述涂抹区；若所述相似度低于所述第二预设阈值，则将所述相似度低于所述第二预设阈值对应的待修复图像帧作为第二修复图像，并对所述第二修复图像的所述涂抹区域进行所述深度修复。2.根据权利要求1所述的一种视频去水印方法，其特征在于，所述获取待处理视频，对所述待处理视频进行分帧处理，得到图像帧集，包括：获取初始视频，并将所述待处理视频返回用户端，以使得用户端对所述待处理视频的水印区域进行涂抹，得到所述待处理视频；对所述待处理视频进行分帧处理，得到所述图像帧集。3.根据权利要求1所述的一种视频去水印方法，其特征在于，所述通过预设的算法，对所述图像帧集中每一图像帧的所述涂抹区域进行初步修复，得到初步图像集，包括：针对所述图像帧集中任一图像帧，识别所述每一图像帧中的所述涂抹区域，并基于所述涂抹区域，构建矩形区域，其中，所述矩形区域包括所述涂抹区域；获取所述矩形框中除所述涂抹区域之外的像素，作为待填充像素；将所述待填充像素填充至所述涂抹区域，得到初步修复图像；当所述图像帧集中所有的图像帧修复完成，得到所述初步图像集。4.根据权利要求1所述的一种视频去水印方法，其特征在于，所述将所述初步图像集中的首帧图像帧作为第一基准图像帧，计算所述初步图像集中每一图像帧与所述第一基准图像帧的得分差值，得到差值分数集，包括：将所述初步图像集中的首帧图像帧作为第一基准图像帧；采用预设评估打分算法，对所述初步图像集进行评估打分，得到每一图像帧的得分；计算所述每一图像帧的得分与所述第一基准图像帧的得分之差，得到所述得分差值。5.根据权利要求1所述的一种视频去水印方法，其特征在于，所述将所述待修复图像帧集中的任一图像帧作为第二基准图像帧，并对所述第二基准图像帧的所述涂抹区域进行深
度修复，得到深度修复图像帧，包括：将所述待修复图像帧集中的任一图像帧作为第二基准图像帧，并对所述第二基准图像帧的所述涂抹区域进行取反处理，得到取反涂抹图像帧，其中，所述取反涂抹图像帧包括取反后的涂抹区域；将所述取反涂抹图像帧与所述第二基准图像帧进行相乘处理，得到第一目标图像，其中，所述第一目标图像包括所述取反后的涂抹区域；将所述第一目标图像与所述涂抹区域进行叠加处理，得到第二目标图像；对所述第二目标图像进行修复，得到所述深度修复图像帧。6.根据权利要求5所述的一种视频去水印方法，其特征在于，所述对所述第二目标图像进行修复，得到所述深度修复图像帧，包括：对所述第二目标图像进行下采样操作，得到下采样图像；对所述下采样图像进行快速傅立叶卷积处理，得到卷积图像；对所述卷积图像进行上采样操作，得到所述深度修复图像帧。7.根据权利要求1所述的一种视频去水印方法，其特征在于，所述计算所述待修复图像帧集中任一待修复图像帧与第二图像帧的相似度，包括：将所述任一待修复图像帧与所述第二图像帧进行分块处理，得到第一分块与第二分块；采用高斯加权算法，分别对所述第一分块与所述第二分块进行计算处理，得到第一计算结果和第二计算结果，其中，第一计算结果包括所述第一分块的均值、方差及协方差，所述第二计算结果包括所述第二分块的均值、方差及协方差；根据所述第一计算结果，计算所述第一分块的结构相似度，得到第一分块相似度；根据所述第二计算结果，计算所述第二分块的结构相似度，得到第二分块相似度；计算所述第一分块与所述第二分块的结构相似度的值的平均值，得到所述任一待修复图像帧与第二图像帧的相似度。8.一种视频去水印的装置，其特征在于，包括：掩膜生成模块，用于获取待处理视频，对所述待处理视频进行分帧处理，得到图像帧集，其中，所述获取待处理视频包括涂抹区域，所述涂抹区域在所述图像帧集每一图像帧中的位置固定；初步修复模块，用于通过预设的算法，对所述图像帧集中每一图像帧的所述涂抹区域进行初步修复，得到初步图像集；差值计算模块，用于将所述初步图像集中的首帧图像帧作为第一基准图像帧，计算所述初步图像集中每一图像帧与所述第一基准图像帧的得分差值，得到差值分数集；差值对比模块，用于将所述差值分数集中的每一差值分数与第一预设阈值进行对比，并将所述差值分值超过所述第一预设阈值对应的图像帧作为待修复图像帧，得到待修复图像帧集；样本修复模块，用于将所述待修复图像帧集中的任一图像帧作为第二基准图像帧，并对所述第二基准图像帧的所述涂抹区域进行深度修复，得到深度修复图像帧，其中，所述深度修复图像帧包括对所述涂抹区域的修复内容；相似度计算模块，用于计算所述待修复图像帧集中每一待修复图像帧与所述第二基准
图像帧的相似度；填补模块，用于判断所述相似度是否超过第二预设阈值，若所述相似度超过第二预设阈值，则将所述相似度超过所述第二预设阈值对应的待修复图像帧作为第一修复图像，并将所述第二基准图像帧的修复内容填补到所述第一修复图像的所述涂抹区域；深度修复模块，用于若所述相似度低于所述第二预设阈值，则将所述相似度低于所述第二预设阈值对应的待修复图像帧作为第二修复图像，并对所述第二修复图像的所述涂抹区域进行所述深度修复。9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的视频去水印方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的视频去水印方法。

技术总结

本申请涉及一种视频去水印方法、装置、设备及存储介质，其中方法包括对待处理视频进行分帧处理，得到图像帧集，对图像帧集进行初步修复，得到初步图像集，计算初步图像集中每一帧与首帧的得分差值，将得分差值超过第一预设阈值对应的帧作为待修复图像帧，得到待修复图像帧集，将待修复图像帧集中任一待修复图像帧作为第二基准图像帧，对第二基准图像帧进行深度修复，得到深度修复图像帧，计算待修复图像帧集中每一帧与第二基准图像帧的相似度，若相似度超过第二预设阈值，将深度修复图像帧的修复内容填补到对应的图像帧中，若相似度低于第二预设阈值，则对对应的图像帧进行深度修复。本发明降低了视频去水印的时间，减轻了视频闪烁情况。烁情况。烁情况。