[转]THCHS-30清华语音识别数据集

马猴烧酒

本文转载于https://blog.csdn.net/sut_wj/article/details/70662181
1 简介
    这部分我们介绍THCHS-30语音库。这个数据库是在2000-2001年记录的，第一个作者是Prof.Xiaoyan Zhu的一个研究生。这个语音库设计的目的是作为863数据库的补充，尽可能提高中文发音的涵盖率。这个新数据库叫TCMSD(清华大学连续普通话数据库），而且变得更加开放。我们15年前发布了这个数据库，其所有权为Prof.Zhu。后来又更名为THCHS-30，代表清华大学30小时中文语音库。THUYG-30也用了相同的命名规则，这个数据库将会在不就发布。
2 THCHS-30的特点

2.1 语音信号

    THCHS-30是在安静的办公室环境下，通过单个碳粒麦克风录取的，总时长超过30个小时。大部分参与录音的人员是会说流利普通话的大学生。采样频率16kHz，采样大小16bits。THCHS-30的文本选取自大容量的新闻，目的是为了扩充863语音库。我们选取1000句来录音。表2-1展示了双音素和三音素的涵盖率，从表中可以看出来THCHS-30的确提高了863数据库的发音涵盖率。

图2-1

    这些录音根据其文本内容分成了四部分，A（句子的ID是1~250），B（句子的ID是251~500），C（501~750），D（751~1000）。ABC三组包括30个人的10893句发音，用来做训练，D包括10个人的2496句发音，用来做测试。详细信息如下表：

图2-2

2.2  附加资源

    为了帮助构建一个实用的中文ASR系统，一些附加的资源也随着THCHS-30发布了。这些资源包括发音词典，语言模型，训练方法和一些其他有用的工具。另外还有一些噪声条件下的语音可供使用。

2.2.1 Lexicon 和 LM（发声词典和语言模型）

    我们发布了两个语言模型和配套的发声词典。基于词汇的LM包括48k个词汇，而且是基于三音素的。词汇LM的训练用的是一个从中文Gigaword语料库中随机选取的文本集合，训练内容包括772000个句子，总计一千八百万个词汇，一亿一千五百万个汉字。phone LM用了一个比较小的、包括两百万字符的数据集做训练。用一个小的文本数据做训练是因为我们想尽可能少的保留语言信息，这样结果的性能就直接与声学模型的质量有关了。这两种LM（语言模型）用SRILM工具来训练。

2.2.2 脚本和方法

    一些方法和有用的脚本也被公布出来，以便用THCHS-30训练一个完整的中文语音识别系统。这些脚本基于kaldi工具箱。训练的过程类似于kaldi例子中的wsj S5 GPU，尽管这个例子为了适合做中文识别而做出了一些改变。

2.2.3 噪声数据

    我们也对噪声环境下的语音识别很感兴趣，因此，提供了一个噪声版本的THCHS-30：所有训练和测试的数据加上了白噪声，汽车噪声和咖啡馆噪声。我们致力于研究0dB噪声环境下的语音，因为这种条件下，噪声和语音的能量相等，也就是很吵。噪声是通过简单的波形混合加入。

2.3 寻求挑战

    由于THCHS-30是免费公开的，每个人都可以下载，建立他们自己的系统。为了鼓励研究，我们基于所提供的资源寻求挑战，主要包括两个任务：大词汇量识别和phone recognition。虽然前者更接近实用，但是后者有利于用更集中的方式去研究声学模型的方法。对于每个任务，我们都是在含噪语音的数据库下来比较性能。

3 基准系统

    我们在THCHS-30上来描述基线系统。在竞争中我们来探讨这个基线系统的结果；任何人的结果只要有改善，我们就会将其公布在竞赛网站上。

3.1 框架和设置

图3.1-1

    我们用kaldi工具箱来训练HMM-DNN混合声学模型。系统的架构如上图。根据这个架构，单因素GMM系统首先被训练。所用的是标准的13维MFCC特征加上一阶和二阶的转换特征。为了降低信道的影响，需要使用倒谱均值归一化。然后，基于单音素系统，通过LDA和MLLT进行特征转换来构建三音素GMM系统。最后的GMM系统用来产生正式的队列数据，这些数据将会在后面的DNN 训练中用到。

    基于GMM系统提供的队列数据，我们来进行DNN系统的训练，特征是40维的Fbanks特征，相邻的帧通过一个帧长为11 的窗进行串联，串联的特征被LDA转化，减少为200维。然后使用一个全局的期望和方差来获得DNN的输入。DNN的由4个隐含层组成，每个隐含层包括1200个单元。输出层由3386个单元组成。基线DNN模型基于交叉熵的规则来进行训练。随机梯度法(SGD)用来进行性能优化。最小批量处理设置为256帧，最初的学习率设置为0.008。基线MPE模型在基线DNN模型的基础上进行训练。

3.2 初步结果

    在纯净语音数据下，DNN系统和MPE系统的性能如下图，其中词汇识别的评价标准是字错率(CER)，音素识别的评价标准是音素错误率(PER)。图3.2-1的结果包括纯净语音和0dB带噪语音。可以看出，含噪语音的识别率明显低于纯净语音，尤其是噪声类型为白噪声。注意到CER和PER与其他标准语音库相比是相当高的，即使是在纯净语音下。通常认为这是数据异常造成的：为了寻找到涵盖尽可能多的发音，THCHS-30 的句子包含一些奇怪特殊的发音和拼写。这让识别任务变的更加难。

图3.2-1

3.3 DAE法噪声消除

    有多种方式改善噪声对数据的影响，比如多重条件训练[17]和噪声训练，虽然这些方法很有前途，但是需要重新训练DNN模型，因此不适合用于处理新的噪音类型。本文应用一种基于深度自编码器的噪声消除方法(DAE)。DAE是一个特殊的自动编码器(AE)，在处理模型训练的输入特征时引入随机损坏。结果表明，该模型在学习低维空间时具有很强的实用性表示和可用于恢复的系统输入。DAE还被扩展到一种深层的循环结构，已被使用在嘈杂的环境中恢复清晰的语音。我们的工作表明，它可以用于去除音乐损坏。

    在这项研究中，我们使用了一个简单的DAE来消除噪音。首先利用噪声信号破坏干净的语音，产生噪声数据;然后利用这些数据学习一个非线性变换函数。因为噪声数据是人为产生的，唯一的成本就是找到一个噪音信号，然后用它来破坏干净的语音。噪声数据生成过程是对每个干净的话语以一个特定的信噪比进行采样，采样分布遵循平均值为0 db的高斯分布。然后将采样后的信噪比作为损坏级别，生成语音的噪声版本。DAE模型训练过程与DNN声学模型训练过程相同，只是目标函数被替换为重构误差。

   在实践中，DAE被用作前端管道的一个特殊组成部分。输入涉及到一个包含11帧Fbank特性的窗口(均值归一化后)，输出是中心帧对应的去噪特性。然后将输出作为常规的Fbank特性进行拼接、LDA转换和全局标准化，然后将其输入DNN声学模型(经过干净的语音训练)。图3.2-1展示了DNN基线系统在基于daf的噪声抵消数据上的CER/PER结果。将图3.3-1和图3.2-1进行对比，我们可以看出在DAE去除噪声后，性能有了明显的提高。这种方法通过学习特定于噪音的DAE(深度自编码器)来灵活地处理任何噪声。

图3.2-1

4 总结

    本文主要介绍了一个免费的开源中文语音识别数据库，附带的一些资源也做出了说明，例如语典，LM，和一些训练方法。这个语音库是第一个免费的中文语音库，我们希望能够促进语音识别的研究，鼓励更多年轻的研究者投入到这个领域，我们也寻求挑战，希望能够精诚合作，祈求创新。

污妖王

好文章，收藏了

此间少年

很不错的文章，网上都找不到完整的中文版

有赞必回的帅哥

语音数据集，找的我好苦啊