引言
2024年某头部开源多模态训练数据集优化报告显示,原始采集数据中,重复率超60%的样本占比达47%,带有重复水印、像素块错位或语义篡改后视觉/文本部分重叠的脏重复样本占比约22%。这类数据不仅会占用海量云存储资源(单TB级重复多模态数据每年的云存储成本可达数千元),还会导致AI模型训练过拟合、推荐系统推荐同质化、多模态检索结果冗余等问题,是当前AI数据预处理环节的核心痛点之一。本文将从多模态重复脏数据的定义分类出发,系统梳理主流识别过滤方法,并提供一套可落地的组合式应用方案。
一、多模态重复脏数据的定义与分类
多模态重复脏数据指同时包含两种或两种以上模态(如文本+图像、文本+音频、图像+视频等),且存在“重复冗余+内容瑕疵/语义伪装”双重问题的数据样本。为便于后续方法匹配,可按“重复程度+模态组合”进行分类,具体如下:
| 分类维度 | 子类别 | 核心特征 | 典型示例 | 对AI应用的主要影响 |
|---|---|---|---|---|
| 重复程度 | 完全重复 | 所有模态信息100%一致 | 同一图文帖子被直接转发3次,无任何修改 | 浪费存储,增加训练成本 |
| 轻微伪重复 | 单一或多个模态存在微小修改,核心信息未变 | 图文帖子仅修改了文字的标点符号、调整了图片分辨率 | 导致检索结果重复,推荐精准度下降 | |
| 深度伪重复 | 多个模态同时存在语义或视觉伪装,但核心主题/信息源一致 | 同一新闻事件的图文,文字部分改写20%左右,图片被裁剪、添加无关小贴纸、滤镜 | 极易引发AI模型训练过拟合,影响模型泛化能力 | |
| 模态组合 | 文本+图像重复 | 文字语义核心与图像视觉核心均重叠 | 同一商品的详情页图文被不同商家复制微调 | 电商推荐同质化,图像识别混淆 |
| 文本+音频重复 | 文字与音频内容逐句/逐段对应,仅有微小噪音或语速差异 | 同一有声小说章节的文字稿与压缩后音频文件 | 多模态对话系统内容冗余,训练效率降低 | |
| 图像+视频重复 | 视频内容由多张核心图像拼接或逐帧微调而成 | 将同一风景照片组合成15秒左右的无意义短视频 | 视频推荐库冗余,短视频分类错误 |
二、主流多模态重复脏数据识别过滤方法
当前主流的识别过滤方法可分为“单模态特征预过滤+多模态融合特征精过滤”两个层级,各层级方法的原理、适用场景、优劣势各不相同。
2.1 单模态特征预过滤方法
单模态特征预过滤是先分别提取每个模态的低维/高维特征,快速筛除完全重复或特征相似度极高的轻微伪重复样本,为后续精过滤减少计算量。
2.1.1 文本模态预过滤方法
文本模态预过滤主要采用关键词哈希法、SimHash法两种。关键词哈希法是将样本中的高频关键词组合成字符串后生成固定长度的哈希值,直接对比哈希值是否一致即可识别完全重复文本;SimHash法是针对轻微伪重复文本的优化方法,它先将文本分词、加权、降维后生成64位或128位的指纹,通过计算两个指纹的汉明距离判断相似度,汉明距离≤3的128位指纹文本通常被判定为轻微伪重复。这两种方法的计算速度极快,每秒可处理数万条文本样本,适合大规模数据的初步筛选。
2.1.2 图像模态预过滤方法
图像模态预过滤主要采用感知哈希法(pHash)和小波哈希法(wHash)两种。感知哈希法是先将图像压缩到固定尺寸(如32×32)、转换为灰度图、计算离散余弦变换(DCT)后提取低频系数,生成固定长度的哈希值;小波哈希法是用小波变换替代离散余弦变换,抗压缩、抗裁剪能力更强。这两种方法同样通过汉明距离判断图像相似度,汉明距离≤5的64位哈希值图像通常被判定为完全或轻微伪重复。
2.1.3 音频/视频模态预过滤方法
音频模态预过滤是先将音频文件转换为梅尔频率倒谱系数(MFCC),再提取固定帧的特征向量生成哈希值;视频模态预过滤则是先抽帧(通常每3秒抽1帧),对每帧图像采用感知哈希法或小波哈希法生成哈希值,取帧哈希值的中位数或平均值作为视频哈希值,最后对比哈希值的汉明距离。
2.2 多模态融合特征精过滤方法
多模态融合特征精过滤是针对深度伪重复样本的核心环节,它需要将多个模态的特征进行融合,构建统一的多模态特征向量,再通过相似度计算或分类模型判断样本是否为重复脏数据。
2.2.1 早期融合方法
早期融合方法是先将各个模态的低维特征进行拼接或加权求和,构建成统一的多模态特征向量,再通过聚类算法(如K-Means聚类)或相似度计算(如余弦相似度)进行过滤。早期融合方法的优点是实现简单,缺点是未考虑不同模态之间的语义关联,对深度伪重复样本的识别准确率较低。
2.2.2 中期融合方法
中期融合方法是先分别提取各个模态的高维语义特征(如文本用BERT、GPT等预训练大模型提取,图像用CLIP、ResNet等预训练大模型提取),再通过注意力机制、图神经网络(GNN)等融合技术捕捉不同模态之间的语义关联,构建成统一的多模态语义特征向量,最后通过分类模型(如支持向量机SVM、随机森林RF、多层感知机MLP)进行过滤。中期融合方法的优点是考虑了不同模态之间的语义关联,对深度伪重复样本的识别准确率较高,是当前主流的应用方法。
2.2.3 后期融合方法
后期融合方法是先分别对每个模态的样本进行独立的相似度判断或分类,再通过投票机制、加权平均等方式对结果进行融合,最终判定样本是否为重复脏数据。后期融合方法的优点是各模态的独立性强,当某一模态数据缺失时也能正常工作,缺点是融合规则的设计较为复杂,识别准确率略低于中期融合方法。
三、可落地的组合式多模态重复脏数据识别过滤方案
为兼顾识别效率与准确率,实际应用中通常采用“单模态哈希预过滤+CLIP中期融合精过滤+人工复检”的组合式方案,具体流程如下:
-
单模态哈希预过滤:分别对文本、图像、音频、视频模态采用对应的哈希方法,快速筛除完全重复或汉明距离≤阈值的轻微伪重复样本,筛除率通常可达60%-70%。
-
CLIP中期融合精过滤:采用OpenAI开源的CLIP预训练大模型,分别提取剩余样本的文本语义特征和图像/音频/视频帧的视觉/听觉语义特征,通过CLIP内置的多模态相似度计算接口,计算样本之间的多模态语义相似度,将相似度≥0.85的样本判定为深度伪重复样本并标记,标记率通常可达剩余样本的30%-40%。
-
人工复检:对CLIP标记的相似度在0.8-0.85之间的边缘样本进行人工复检,确保识别结果的准确性,避免误删高质量样本。
结尾总结
多模态重复脏数据的识别过滤是当前AI数据预处理环节的重要组成部分,组合式方案既能满足大规模数据的处理效率要求,又能保证深度伪重复样本的识别准确率。未来,随着多模态预训练大模型的不断发展,识别过滤方法将朝着“端到端、实时性、抗更强语义伪装”的方向进一步优化,为AI模型训练、多模态检索、推荐系统等应用提供更高质量的数据支撑。