多场景下的图像视频翻拍检测

业务背景

业务背景:

数字经济环境下,数字图像视频在经济流通的各个环节的应用范围越来越广泛,以阿里经济体为例,使用图像视频内容的场景包括不限于:直播、商家平台的商品展示、数字商品、资质审核、身份认证、UGC娱乐视频等。数字图像和视频内容相对以前的纸质实体化的物理形式,能够以更加高效、低成本、环保的形式促进信息及商品的交易,但也引发一个突出问题:假冒翻拍成本大幅降低。不法分子能够非常轻易地对图像、视频等媒体进行翻拍,达到盗取这些图像、视频进行非法用途的目的。这些翻拍、盗拍的图像和视频内容会被用于散播谣言、编造虚假新闻、非法获取经济利益,更有甚者,还可能会被用来恶意地充当投诉/申诉证物或者法庭证据,这些安全隐患无疑会对个人、阿里经济体和社会造成非常严重和恶劣的负面影响。同时随着电子办公和商务的普及,盗拍、翻拍图像和视频现象也会越来越猖狂,从而导致图像视频内容的可信性无法保证。这将给信任基础、个人隐私、公共安全、社会、司法和国家的外交等带来很大的威胁。因此无论是阿里经济体内部还是整个社会层面对图像及视频的翻拍检测技术都有迫切的需求

 

应用场景

目前,阿里经济体内外部可能充斥着大量的盗拍、翻拍图像视频,并且这些盗拍、翻拍的图像视频内容正在对阿里经济体产生巨大的冲击。以下为图像视频翻拍检测的具体应用场景:

检测盗用营业执照图像:

钉钉的企业用户拥有一些企业用户才能享受的权限,例如企业用户拥有一定的免费通话时长。黑灰产通过翻拍、盗拍获取营业执照图像,获取免费的通话时长,或是获得其他企业用户权限。

检测翻拍造假资质图像:

假资质图像将会给拥有真实资质的商家带来极大的资金损失,并且给商家和消费者带来不好的体验。黑灰产团伙篡改和伪造假资质图像存在两种方式,一种是直接在资质图像上篡改并保存篡改后的图像,目前媒体内容安全团队可以通过图像篡改检测技术对这类篡改图像的篡改历史进行分析,并对篡改区域进行定位。然而目前存在较大危害的是第二种方式,黑灰产团伙对资质图像进行篡改后,采用打印翻拍或者屏幕翻拍的方式保存篡改后的图像。这种情况下的假资质图像并没有留下篡改操作痕迹,无法使用现有的图像篡改定位方式对图像篡改。因此,研究图像翻拍检测技术是对目前图像篡改检测技术存在缺陷的重要补充。

检测直播或短视频翻拍侵权:

淘宝直播和商家发布的短视频存在被翻拍盗用侵权的情况。黑灰产通过翻拍盗用商家直播和发布的短视频,甚至在翻拍后加入滤镜等后处理操作企图抹除翻拍痕迹。黑灰产盗用视频的操作方式是挑选平台上优质的视频,在一台固定后的手机上(例如iphone)播放,使用另外一台手机拍摄播放的内容,并使用滤镜等后处理手段编辑视频,最后再上传到平台上。针对这种翻拍侵权场景,尽管可以通过视频水印进行主动的防御,但是主动防御需要较大成本维护水印信息,或者需要商家主动发现并举报视频的盗用情况,存在较大的缺陷。而鲁棒的图像视频翻拍检测技术,是一种被动取证技术,可以在没有其他先验信息的情况下检测出翻拍的视频,更适合翻拍侵权场景的需求。

身份认证场景

图像视频翻拍检测技术还可以应用在身份认证场景。央视315晚会曾经曝光过人脸识别技术存在的一些漏洞,例如通过照片模拟以及屏幕翻拍,可以简单骗过一些通过面部识别作为认证信息的软件。在门禁系统、摄像监控系统、学生考勤系统等身份认证场景中也存在同样的问题。翻拍图像向身份认证系统传递了错误的信息,造成系统的错误判断,威胁了社会的稳定。因此,研究身份认证场景下的翻拍检测技术同样具有重要的意义。

拟解决问题

目前国内外对图像翻拍检测的研究现状如下:

关于图像翻拍的提出最早是在Farid发表的一篇文章,其根据数字图像的高阶小波统计特征来区分翻拍图像与自然图像。在此之后,陆续有其他学者开始研究特定类型的翻拍图像。Gao针对由液晶显示屏翻拍得到的图像做了研究,基于图像纹理变化提出了LBP(Local Binary Pattern)特征和MsWS特征(Multi-scale Wavelet Statistics)。又有研究者提出利EM算法计算每一个像素值为其某个邻域内的像素的线性组合的概率,根据这个概率可以判断数字图像是否经过了重采样。又有研究者提出通过主成分分析法,降低图像特征提取过程的运算量,以及解决鲁棒性差的问题。还可以通过翻拍前后图像的光照方向并不一致、图像阴影不一致以及彩色光照来作为鉴定方法。美国SUNY Binghamton大学团队指出,同时使用数字图像取证技术与隐秘分析技术来鉴别数字图像的完整性,可以作为判断通信中是否存在隐蔽的通信的证据。而后,在检测复制粘贴篡改方面,提出一种滑窗检测法,为研究图像翻拍技术提供了思路。2012年,尹京等人对翻拍液晶显示屏上的图像进行研究,首先采用小波阈值法去噪,再用原始图像与去噪图像相减得到噪声,实验发现这种特征可以区分出显示屏翻拍图像与自然图像,但是准确率还可以进一步提高。另一方面,由于翻拍过程造成了图像的双重JPEG压缩,可以利用图像JPEG压缩的次数来判断图像是原始图像还是翻拍图像,实验显示这种方法特征维数和时间复杂度较低,而检测率较高。Muammar和Dragotti提出可以根据监视器像素网格的采样造成的混叠,来识别翻拍的图像。Thongkamwitoon发现原始图像和翻拍图像的边缘轮廓是不同的,他们使用K-SVD方法训练字典以实现对这两类图像的分类。Kose和Dugelay基于图像的对比度和纹理特征,提出了一种分析翻拍图像的反欺骗方法。Dragotti根据翻拍前后图像的径向失真构建了曲线模型。Bestagini通过分析重捕获过程中留下的重影,对翻拍图像进行检测。

上述方法大多数仅仅是对图像翻拍进行初步的检测,然而实际场景中的攻击方在对图像翻拍之后,往往会对翻拍图像进行后处理操作以掩盖翻拍痕迹,我们团队对此类问题目前还没有较好的解决方案。另外黑灰产会针对已有检测技术引入对抗技术,进一步加大了多场景下图像视频翻拍检测技术的难度。这些难点和痛点在高校的顶级翻拍检测研究团队中有一定的技术积累,我们与之合作能达成互补,可以解决几个方向的前沿技术探索和分支的难点攻关,验证不同的技术路线,共同研究不同场景下的图像视频翻拍检测技术,实现短期内获得图像视频翻拍检测和翻拍设备来源识别的若干可行方案,从而加速图像视频翻拍检测技术对各业务方形成强有力支撑。

针对上述难点和痛点,我们打算跟国内TOP翻拍检测研究团队进行合作,具体拟合作解决的技术问题如下:

  1. 针对电子显示器显示图像视频翻拍的鲁棒检测:主要针对手机设备或者摄像设备对电子显示器显示图像视频的翻拍检测,以及这些翻拍的图像视频经过常规后处理操作(信道传输、重压缩、下采样、格式转换、亮度对比度调整、裁剪等操作)后进行鲁棒翻拍检测的技术挑战,研究鲁棒的图像视频的翻拍检测技术将是此合作需求的首要目标;

2. 针对纸质文档翻拍图像的检测:主要针对资质类篡改图像在篡改后打印保存后翻拍的检测。此类翻拍图像与真实拍摄的文档图像非常相近,很难用常规手段进行检测,是图像翻拍检测中的难点问题。

期望交付物

成果形式:算法代码及演示2份,测试报告2份,申请专利2项,发表CCF-B论文1篇;

性能指标:

参考目前学术界领先的性能指标:

[1] Thongkamwitoon T, Muammar H, Dragotti P L. An image recapture detection algorithm based on learning dictionaries of edge profiles[J]. IEEE Transactions on Information Forensics and Security, 2015, 10(5): 953-968.

文献[1]中所用方法在2340张包含各种相机翻拍的图像数据集中的平均准确率为96.72%(针对未后处理的相机翻拍图像)。

因此考虑到实际业务场景的要求,图像视频翻拍检测需要达到的性能指标如下:

1、图像翻拍检测:我们设定指标是未后处理的翻拍图像检测准确率结果达到95%,召回率达到95%,虚警率在5%以下。所用图像数据应为文档、资质及相同类型的类业务场景图像翻拍数据,其中应包含电子屏幕翻拍图像及纸质文档翻拍图像。在翻拍图像经过常见后处理(信道传输、压缩、下采样、格式转换、对比度调整和裁剪等操作)的检测准确率保持在80%以上;

2、视频翻拍检测:能够对单个10s左右的短视频保持上述第1点图像翻拍检测准确率的水平。准确率结果达到95%,召回率达到95%,虚警率控制在5%以下。对翻拍视频的单帧准确率达到90%,召回达到90%,虚警率控制在10%以下。

3、所提出的图像翻拍检测方法在公开数据集和我们提供的部分类业务场景数据集上能满足接近上述第1和第2点所要求的性能指标。并且提供验证所用实验数据集,包含1000以上带标注的类业务翻拍图像以及数据集benchmark说明。

4、提供算法的相关代码及说明。(为方便后续交接与测试,编程语言应为C++、C、Java其中之一,如果涉及深度学习可使用python)在单核CPU上达到如下检测效率:对1000*1000分辨率图像300ms以内,对3000*3000分辨率图像1s以内,并且算法效率存在进一步可提升空间。

Scan QR code
关注Ali TechnologyWechat Account