技术简要报告

1. 任务概述

本报告详细介绍了一个用于检测AI生成文本的混合模型架构。该模型结合了CNN+Transformer特征提取和RoBERTa语言模型，通过特征融合实现高效的二分类判别（人类撰写 vs. AI生成）。

系统使用JSONL格式的数据，包含以下关键字段：

系统通过gen_features.py从大型语言模型中提取判别特征：

多模型特征提取:
- 使用三个模型（Qwen2，chaglm3，gpt-j-6B）对每个文本样本进行分析
- 通过API调用，获取每个模型的token级别损失值、边界索引和似然得分
特征处理:
- 对齐所有向量长度，确保特征维度一致性
- 计算模型间的对比特征，包括：
  - 负偏差百分比（lt_zero_percents）
  - 标准差（std_deviations）
  - 皮尔逊相关系数（pearson_list）
  - 斯皮尔曼相关系数（spearmann_list）

特征提取流程图

该系统采用了两级特征融合的混合架构：

通过卷积网络和Transformer编码器提取特征：

这里参考SeqXGPT的实现方式

使用预训练的RoBERTa模型提取语义特征：

通过双向交叉注意力机制实现了词汇概率特征与语义特征的深度交互与融合。该模块解决了传统特征简单拼接无法捕获特征间复杂相互关系的问题。

交叉注意力融合基于"互相关注"的原则，允许两种异构特征相互引导信息提取。具体来说，该机制包含两个平行的注意力流：

给定CNN+Transformer提取的词汇概率特征

首先，通过投影层将异构特征投影到同一特征空间：

$\mathbf{C'} = \text{Projection}_C(\mathbf{C}) \in \mathbb{R}^{B \times 1 \times d_h}$

$\mathbf{R'} = \text{Projection}_R(\mathbf{R}) \in \mathbb{R}^{B \times 1 \times d_h}$

其中共享隐藏维度为256，投影层包含线性变换、层归一化和非线性激活。

然后，双向交叉注意力计算如下：

$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_h}}\right)V$

词汇特征关注语义特征：

$\mathbf{C_{attended}} = \text{Attention}(Q=\mathbf{C'}, K=\mathbf{R'}, V=\mathbf{R'})$

语义特征关注词汇特征：

$\mathbf{R_{attended}} = \text{Attention}(Q=\mathbf{R'}, K=\mathbf{C'}, V=\mathbf{C'})$ 最后，将两个方向的注意力输出拼接并融合：

$\mathbf{F} = \text{Fusion}([\mathbf{C_{attended}}; \mathbf{R_{attended}}]) \in \mathbb{R}^{B \times d_h}$

其中Fusion是一个非线性转换层，将拼接特征（维度为512）映射回目标维度（256）。具体来说，通过一个线性层、层归一化、ReLU激活和Dropout（比例为0.1）组成的序列转换网络实现。最终得到的256维特征向量被送入分类器进行二分类判别。