语音领域顶级学术会议 Interspeech于2020年10月25-29日在线举行。今年，滴滴共有4篇论文脱颖而出，入选本次大会。这4篇论文分别在语音增强、语音分离、回声消除、场景感知对话等场景下进行了探究。

本篇文章将解读滴滴的《Conv-TasSAN: Separative Adversarial Network based on Conv-TasNet》论文。在本篇论文中，滴滴提出一个全新的完全时域的对抗分离网络（Conv-TasSAN），将分离对抗的训练机制引入到分离任务中，对比原始模型，有效提高了分离网络的性能。

论文地址：

/file/content/Wed-2-4-7.pdf

视频链接：

http://www.interspeech2020.org/index.php?m=content&c=index&a=show&catid=323&id=850

研究背景

如何将语音从复杂的声学环境中各自分离出来同时尽量减小对原始语音的损伤，这就是经典的“鸡尾酒派对问题”。语音分离无论是在客服听音、智能唤醒、语音识别等场景中，都有很大的应用价值。基于深度学习的语音分离在很多场景中取得比传统盲源分离更好的效果，其主要分为两大类：(1) 基于频域的方法 （2）基于时域的方法 （也称为端到端方法）。基于频域的方法的性能受到不准确的相位估计的限制，而端到端语音分离能够有效解决相位估计问题。近几年，基于编码器-分离器-解码器结构的时域语音分离网络在语音分离任务中获得了较大的突破，Conv-TasNet[1]是其中经典的算法之一。Conv-TasNet训练的loss是scale-invariant signal-to-noise ratio (SI-SNR)，传统的loss在最小化的过程中对估计的信号的数据分布有较强的假设，这会导致性能受限。而生成对抗网络 (generative adversarial networks (GANs)) 的判别器能够对数据的真实分布进行高维抽象建模，在一定程度上克服过拟合问题和传统的loss对数据的强假设的限制。

分离对抗网络

我们通过将MetricGAN[2]的训练机制引入到Conv-TasNet中，得到分离对抗网络(Separative Adversarial Network， Conv-TasSAN)，在同样的分离器下利用分离对抗的机制提高Conv-TasNet对源信号建模的准确度，从而进一步提高分离性能，尤其是语音的客观指标。如下图所示，Conv-TasSAN由分离器和判别器构成。分离器由Conv-TasNet构成，判别器由编码器和temporal convolutional network（TCN）构成。

图1 Conv-TasSAN的框架

分离对抗训练机制中，分离器和判别器在每个epoch中都是交替训练。以分离两个人混合的语音为例: 首先是训练判别器，判别器的loss为分离器分离的两路信号的真实打分(perceptual evaluation of speech quality， PESQ或者short-time objective intelligibility，STOI)与判别器估计的打分的Mean Square Error（MSE） loss；其次是训练分离器时，混合语音通过分离器得到两路信号，通过计算SI-SNR得到SI-SNR loss和正确的源信号排序，再将重排后的干净语音和分离器输出的语音输入到判别器中，得到打分与理想打分之间的MSE， 将MSE loss和SI-SNR loss两者进行加权叠加得到分离器的loss。

实验

实验使用的是语音分离中广泛使用开源数据集的wsj0-2mix，包含了30小时的训练数据和10个小时的交叉验证集。混合语音是随机从49位男性和51位女性中选择两人，再以0至5 dB区间中的随机的SNR混合他们的语音得到的。5个小时的测试集则是从另外的16个人中随机选择两人的语音进行混合。

实验结果如下表格所示：

结论

实验结果表示，以PESQ或者STOI作为判别器的学习目标的Conv-TasSAN均获得了比Conv-TasNet更好的性能。Conv-TasSAN（PESQ）比Conv-TasSAN（STOI）分离性能更好，是因为在同样的数据集下，PESQ比STOI有着更大的动态范围。综上，分离对抗机制确实能够有效提高分离网络的建模准确度从而提高分离性能。

参考文献

[1] Luo Y, Mesgarani N. Conv-tasnet: Surpassing ideal time–frequency magnitude masking for speech separation[J]. IEEE/ACM transactions on audio, speech, and language processing, 2019, 27(8): 1256-1266.

[2] Fu S W, Liao C F, Tsao Y, et al. MetricGAN: Generative adversarial networks based black-box metric scores optimization for speech enhancement[J]. arXiv preprint arXiv:1905.04874, 2019.

Interspeech 2020滴滴论文解读系列

• Interspeech2020滴滴论文解读（一）| 探索基于生成对抗网络的语音增强系统中的损失函数和循环结构的影响

• 
  

• Interspeech2020滴滴论文解读（二）| 基于生成对抗网络的回声消除
  

• 
  

• Interspeech2020滴滴论文解读（三）| 基于Transformer的模态翻译器用于提升视频场景对话中多模态序列表达