生成式AI时代的内容安全与系统构建
一、生成式 AI 的发展现状二、图像内容安全问题2.1、举几个伪造数字内容的例子2.1.1、谣言检测2.1.2、欺诈图像识别2.1.3、伪造信息 2.2、伪造文档/证照检测应用场景2.2.1、目前图像篡改主要涉及以下几个场景 2.3、合合信息伪造文档/证照检测新进展2.4、人脸伪造图像检测 三、系统构建加速方法3.1、通用文档解析3.1.1、通用文档解析应用效果3.1.2、解析速度快 四、合合信息
一、生成式 AI 的发展现状
生成式 AI 正处于快速发展阶段，技术及产品不断迭代。在图像处理方面，生成式 AI 可以根据给定的输入信息，生成具有特定风格和特征的图像内容，还能进行图像增强和虚拟现实场景的创建。然而，生成式 AI 也带来了一系列挑战，如版权侵犯、制造虚假信息等。随着AI的强大学习能力，其内容生成能力也越发强大，从而催生了图像篡改、伪造文档/证照、伪造人脸检测等AI工具。
如此情况下，如何去保证AI生成高效稳定的同时，其内容还能符合法律法规、人文道德，就是业界的一大难题了。
在当今这个人工智能蓬勃发展的时代，合合信息作为一家在人工智能及商业大数据领域颇具影响力的科技企业，其精心打造的 TextIn 智能文档处理平台，就致力于解决上述问题。
本文致力于深入剖析生成式 AI 时代所面临的内容安全严峻挑战以及系统构建加速的有效策略，详细解析合合信息 TextIn 在实际应用场景中的具体案例以及所取得的显著成效，例如人脸伪造检测、通用篡改检测、卡证篡改检测等AI应用对内容造假问题的解决，以及通过通用系统构建的方式，给AI智能文档解析提速。
二、图像内容安全问题
生成式大模型的快速发展使得使用门槛显著降低，这为虚假信息的制造与传播提供了便利。据统计，每年因虚假信息传播给企业和个人造成的财产损失高达数十亿美元。此类谣言不仅扰乱社会安定，影响正常生活秩序，还可能被不法分子利用谋取私利。
尤其是与大众生活息息相关的图像、证照、文档伪造等，企业和个人上当受骗的屡见不鲜。合合信息推出的内容检测应用：人脸伪造检测、通用篡改检测、卡证篡改检测等AI应用，可以帮助我们在日常生活中，免于上当受骗。
2.1、举几个伪造数字内容的例子
2.1.1、谣言检测
2.1.2、欺诈图像识别
2.1.3、伪造信息
2.2、伪造文档/证照检测应用场景
随着AIGC的发展，AI模型具备强大的文本、图像和视频生成能力，很多不法分子发布了有害的AI模型和工具，任何人都可以利用它们创造出高度逼真的内容，普通用户难以判断真伪。虚假信息被精心设计融入真实素材后，会变成极具误导性乃至社会危害性的谣言，颠覆公众 “有图有真相”“有视频有真相” 的认知。
2.2.1、目前图像篡改主要涉及以下几个场景
银行业务:银行移动开户、信用卡申办、保险理赔，以及商业消费场景中，每年都会因欺诈带来风险。其中，身份信息核查是银行、保险等业务场景中的首要项巨大的资金损失与潜在风险。
汽车行业:在汽车交易、运输等业务中，涉及大量驾驶证、行驶证真实性核查，存在迫切需求。以二手车交易为例，行驶证涉及到车辆买卖合法性，行驶证造假与核查难题给相关企业造成了相当高的经济损失风险。
财务审核:在财务审批过程中，对网约车订单、付款截图、航空行程单、酒店流水等各类报销佐证单据的真实性检验是一项重要任务。
商场小票:商场小票是消费者经手的常见票据之一。大量商场都设有以消费金额换取积分，并兑换抵扣券、停车时限或是价值较高的礼品等福利，尤其部分大型集团连锁商场常以活动丰富知名。
2.3、合合信息伪造文档/证照检测新进展
鉴于图像篡改所引发的诸多纷繁复杂且棘手的问题，合合信息早在数年以前便毅然决然地着手全力研发专门针对文档与证照伪造的检测技术。该公司所研发的基于深度学习的图像篡改检测技术以及相关系统，能够通过深入探究图像被篡改后统计特征所产生的变化，以智能化的手段精确捕捉到图像在篡改过程中遗留下来的细微痕迹，从而可以检测出例如复制粘贴、拼接、擦除等各式各样的篡改形式。当 AI 顺利成功识别出篡改区域之后，图像篡改检测系统会以热力图的形式清晰直观地展示图像区域中被篡改的地点，以此提醒审核员对这些重点区域予以着重审核。
图像篡改手段层出不穷，合合信息也在不断优化升级检测技术，据悉，合合信息技术团队通过大规模样本预训练模型，实现了基于小样本的在线增量升级检测技术，该检测技术具有少量标注、T+0更新、持续学习、适应性强的特点。。这一技术还能够通用推广到PDF扫描文档的场景中，例如，检测房屋租赁合同PDF文件中字段（姓名、房屋地址等）、二维码、背景等内容是否有篡改痕迹，降低房屋租赁风险。
2.4、人脸伪造图像检测
合合信息同时还研发了伪造人脸图像的检测，利用前沿的深度学习技术，能够快速而准确地检测单人图像中的人脸伪造行为。通过深度学习算法的高级特征提取和分析，系统能够识别贴图、面部重演、Deepfake人脸替换等各种伪造行为。
三、系统构建加速方法
合合信息旗下的TextIn大模型平台是行业领先的文档处理的服务平台。今年在TextIn平台中增加了大模型加速器的技术产品，它包括通用文档解析和文本向量模型两个板块。
3.1、通用文档解析
合合信息已经实现将任意格式、版式的文档（图片、PDF、Doc/Docx等）高效、精准解析为Markdown格式，大模型开发人员可以方便的获取到物料信息，加速整个系统构建。
3.1.1、通用文档解析应用效果
TextIn文档解析核心特性：电子档解析、扫描档识别效果好，不漏检、不错检、识别准确，支持无线表、跨页表格、页眉、页脚、公式、图像、印章、流程图、目录树等。
3.1.2、解析速度快
合合信息提供的云服务综合体验非常好，它配置的文档解析引擎，100页文件解析，仅需短短1.46秒。在应对诸如表格内容复原、复杂样本以及多语言文档识别等各类任务时，该加速器展现出了卓越非凡的精准度以及极高的稳定性，有力地增强了模型的理解能力。
四、合合信息
合合信息是一家优秀的科技公司，主要提供一站式AI智能文本处理和数据服务。本文中提及的人脸伪造检测、通用篡改检测、卡证篡改检测应用，都包含在TextIn智能文字识别产品里，这些应用基于合合自研AI检测系统，通过深度学习算法的高级特征提取和分析，对人脸、证照、卡证、扫描件等场景进行专项模型调优，实现高效、精准的检测。
感兴趣的朋友们可以访问合合信息旗下产品www.textin.com的网站，这里还有更多功能期待您的探索。
