能自己做效果图的网站平台推广员是干嘛的
 End-to-end Synthetic Speech Detection Based on Attention Mechanism 
 
 摘要: 
 
 ·五种轻量级注意力模块改为适用于语音序列的 通道注意力机制和 一维空间注意力机制 
 
 ·ASVspoof2019测试集的 等错误率和 最小串联检测代价函数都有所降低 
 
 ·池化层之前嵌入CBAM、ECA的模型测试集EER最低且具有较强的泛化性(且统计性能较基线模型有显著提升) 
 
 
 结论: 
 
 ·端到端合成语音检测系统 Inc-TSSDNet网络上引用 通道注意力机制和一维空间注意力机制。在 Inc-TSSDNet的合适位置(池化层前或后)嵌入注意力模块可以提升检测系统的性能; 
 
 ·ASVspoof2019测试集下的EER为3.28%,较基线模型降低了18.8%,且模型参数量增加较少,该模型还具有优秀的跨库性能,其最好结果在ASVspoof2015的验证集和测试集下的EER较基线模型分别降低了67.3%和36.8%; 
 
 ·在池化层之前嵌入ECA模块的IncTSSDNet模型最好结果在ASVspoof2019测试集下的mint-DCF为0.0861,较基线模型降低了11.8%; 
 
 
 背景 : 
 
 ·语音伪造技术——语音合成(TexttoSpeech,TTS)、语音转换(VoiceConversion,VC)、语音模仿(Impersonation)、重放攻击(ReplayAttack,RA)和对抗攻击(AdversarialAttack) 
 
 ·随着深 度伪造技术的迅猛发展,合成语音的自然度越来越高 
 
 ·合成语音检测系统一般由 前端特征提取器和后端二值分类器组成 
 
 · Xiao 等人研 究 了 高 维 幅 频 特 征 的 表 现 ,使 用 对 数 幅 度 谱(Log Magnitude Spectrum,LMS)与 残 差 对 数 幅 度 谱(Re⁃ sidual Log Magnitude Spectrum,RLMS)构 建 的 检 测 系 统 得 到 了 理 想 的 效 果;(XIAO Xiong,TIAN Xiaohai,DU S,et al. Spoofing speech detection using high dimensional magnitude and phase fea⁃ tures:The NTU approach for ASVspoof 2015 challenge [C]//Interspeech 2015. ISCA:ISCA,2015:2052-2056.) 
 
 
 ·相 位 特 征 ,例 如 群 延 迟 (Group Delay,GD)、修 正 的 群 延 迟(Modified Group Delay,MGD)、相对相移(Relative Phase Shift,RPS)、 基带相位差(Baseband Phase Difference,BPD); 
 
 
 ·倒谱系数特征,如线性频率倒谱系 数(Linear Frequency Cepstral Coefficients,LFCC)、梅 尔 频 率 倒 谱 系 数(Mel-Frequency Cepstral Coeffi⁃ cients,MFCC)、线 性 预 测 倒 谱 系 数(Linear Predic⁃ tion Cepstral Coefficients,LPCC)等; 
 
 
 ·基于常数 Q 变换的倒谱特征 (Constant-Q Cepstral Coefficients,CQCC)常 被 用 作 竞赛中的基线特征 
 
 
 ·基于深度神经网络模型的分类器 
 
 
 ·注意力机制在计算机视觉越来越受到关注,然后调整 适用于语音序列的通道注意力和一维空间注意力 
 
 
 主要内容: 
 
 · 基于注意力机制的端到端合成语音检测网络 Inc-TSSDNet展开,详细介绍了注意力机制及其应用、五种常见轻量化注意力模块的原理和实现,以及改进后的 Inc-TSSDNet 网络结构设计。 
 
1. 注意力机制概述
-  核心思想:模拟人类对重要信息的关注方式,为模型提供选择性地聚焦于输入特征中关键部分的能力。
 -  分类:
-  软注意力:对输入不同部分赋予权重,适合神经网络的可微化需求。
 -  强注意力:硬性选择输入的某些部分。
 
 -  
 -  作用域:
-  通道域:强调特定特征通道的重要性。
 -  空间域:关注特定时间或空间位置。
 -  混合域:同时结合通道和空间信息。
 
 -  
 
2. 适用于一维语音序列的轻量级注意力模块
 文中调整现有注意力模块,适配于一维语音数据,改进端到端语音检测性能: 
 
2.1 SE模块(通道注意力机制)
-  原理 :通过全局平均池化提取每个通道的全局特征,并用瓶颈结构建模通道间相关性。
 -  特点 :通过降维减少复杂度,权重控制每个通道对最终输出的贡献。
 
2.2 CBAM模块(通道+空间注意力)
-  通道注意力 :结合全局平均池化和最大池化计算通道权重。
 -  空间注意力 :对每个时间点的特征分配权重。
 
2.3 scSE模块(通道和空间注意力并行)
-  通道注意力 :与SE模块类似。
 -  空间注意力 :通过一维卷积生成权重矩阵,强调序列位置的重要性。
 -  创新点 :通道与空间注意力加权结果相加,综合考量两者作用。
 
2.4 ECA模块(轻量级通道注意力)
-  特点 :利用一维卷积实现跨通道信息交互,避免降维,性能和效率兼顾。
 -  自适应卷积核大小 :根据通道数动态确定,提升适应性。
 
2.5 SA模块(结合分组和通道混洗的注意力)
-  特点 :通过通道分组和混洗结合通道与空间注意力,结构轻量,适合高效计算。
 -  创新点 :通过ShuffleNet的通道混洗操作实现跨组信息交互。
 
3. 改进的 Inc-TSSDNet 网络
3.1 网络结构
-  基于Inception模块,结合扩张卷积,提升感受野,控制复杂度。
 -  层级设计:
-  第一层:1×7卷积层。
 -  中间层:堆叠M个改进的Inception模块,每层后跟最大池化层。
 -  最后层:全局池化层+三层全连接层。
 
 -  
 
3.2 注意力模块嵌入
-  在最大池化层前或后引入五种注意力模块(SE、CBAM、scSE、ECA、SA),优化特征提取。
 -  实验目的:验证不同注意力模块的检测性能与模型复杂度的平衡。
 
4. 优点与意义
-  针对性优化:模块设计考虑了一维语音序列的特点,使注意力机制适应语音检测任务。
 -  性能提升:通过注意力机制增强特征表示能力,提高模型检测准确性。
 -  轻量化设计:多个模块采用简化策略,降低模型复杂度,便于实际应用。
 
 
在 Inc-TSSDNet 的合适位 置嵌入注意力模块可以提升检测系统的性能, 
 
在池化 层之前嵌入 CBAM 的 Inc-TSSDNet 模型最好结果在 ASVspoof2019 测试集下的 EER 为 3. 28%,较基线模型 降低了 18. 8%,且模型参数量增加较少,该模型还具 有优秀的跨库性能,其最好结果在ASVspoof2015 的验 证 集 和 测 试 集 下 的 EER 较 基 线 模 型 分 别 降 低 了 67. 3% 和 36. 8%; 
 
 
在池化层之前嵌入ECA 模块的IncTSSDNet 模型最好结果在 ASVspoof2019 测试集下的 min t-DCF 为 0.0861,较基线模型降低了 11. 8% 
 
 
 贡献点: 
 
调整并使用了五种注意力模块中的算法 
