声振论坛 首页 声学噪声 其它软件 查看内容

如何评价谷歌的语音合成WaveNet和微软的语音识别“里程碑”?

2016-9-19 10:48| 发布者: wdhd| 查看: 878| 评论: 0|原作者: 不详|来自: 声学在线微信公众账号

摘要:   参数化语音合成是最常用也是历史最悠久的方法,就是利用数学模型对已知的声音进行排列、组装成词语或句子来重新创造声音数据。当前机器人的发音主要就是采用的这种方法,不过参数化合成的语音听起来总是不自然, ...

  最近几周,语音交互领域非常热闹,谷歌和微软的几则新闻相继刷爆了朋友圈,我们先来简单回顾下这三则新闻:


  9月初,Google的DeepMind实验室公布了其在语音合成领域的最新成果WaveNet,一种原始音频波形深度生成模型,能够模仿人类的声音,生成的原始音频质量优于目前常用的语音合成方法:参数化合成(Parameric TTS)与拼接式合成(Concatenative TTS)。


  没几天,谷歌大脑(Brain)团队成员在 GitHub 发布消息,开源了一个基于One Billion Word Benchmark预先训练过的模型。这个数据库含有大约 10 亿个单词,词汇有 80 万,大部分都是新闻数据。论文作者对 CNN 或 LSTM做了彻底研究,单一模型最好成绩将结果从 51.3 提高到 30.0(同时将参数数量减少了 20 倍),模型融合后的将混淆度(perplexity)从 41.0下降到 23.7。


  随后,微软首席语音科学家黄学东在论文中表示,他们在近期产业标准Switchboard语音识别基准测试中,实现词错率(WER)低至6.3%的技术突破,这比IBM上周达到的6.6%WER下降了0.3%,达到目语音识别领域错误率历史最低的水平。这个突破被视为微软语音识别的里程碑。


  如何评价谷歌发布的WaveNet语音合成方法?

  其实,这些新闻中最引人关注的自然是Google发布的WaveNet。这是一个新的思路,在此之前,语音合成已经很长时间没有任何实质性的进步,无非就是参数化和拼接式两种方法。

  参数化语音合成是最常用也是历史最悠久的方法,就是利用数学模型对已知的声音进行排列、组装成词语或句子来重新创造声音数据。当前机器人的发音主要就是采用的这种方法,不过参数化合成的语音听起来总是不自然,真的就像机器发出的声音。

  另外一种就是拼接式语音合成,先录制单一说话者的大量语音片段,建立一个大型语料库,然后简单地从中进行选择并合成完整的大段音频、词语和句子。我们有时会听到机器模仿某些明星的声音,其背后技术就是这种方法。但是这种方法要求语料库非常大,而且处理不好就经常产生语音毛刺和语调的诡异变化,并且无法调整语音的抑扬顿挫。


  WaveNet则引入了一种全新的思路,区别于上面两种方法,这是一种从零开始创造整个音频波形输出的技术。WaveNet利用真实的人类声音剪辑和相应的语言、语音特征来训练其卷积神经网络,让其能够辨别语音和语言的模式。WaveNet的效果是惊人的,其输出的音频明显更接近自然人声。

  WaveNet技术无疑是计算机语音合成领域的一大突破,在业界也引起了广泛讨论。其最大缺点就是计算量太大,但是从公开的论文来看,其中的细节还都存在很多优化空间。事实上,一旦新的思路和模型确定,计算优化只是工程问题,可以说“自然语音合成方向,我们又迈进了一大步”!


  怎样评价微软语音识别的“里程碑”?

  其实,这是微软例行的PR新闻而已,没有多大参考意义,谷歌开源的模型也是这样。自从Siri发布以来,每年我们都会看到大量这种将语音识别率提升到某某级别的新闻,但是实际结果呢?语音交互一直没有走进千家万户,总是与我们的预期差了很多。

  首先,来看谷歌开源的预训练模型和微软语音识别率的“里程碑”,其实都是基于公开测试样本库的模型改进。业界都很清楚,除非思路和模型有颠覆性改变,模型的优化实际上带来的提升空间是非常有限的,而训练集合的数据深度、广度和匹配才是当前提升识别率的关键,但是这也是真实场景应用中最为头疼的事情,需要借助麦克风阵列和声学技术处理和匹配。

  例如谷歌开源的预训练模型,其数据库主要是基于新闻报道,这种类型的数据比起口语数据更加规范。但是在实际的应用中,模型面对的通常是非正式化的数据,即不规范的口语数据。所以,这种模型是否适应实际应用,目前来说依然是一个大问号!

  微软基于NIST 2000 Switchboard的集合相比IBM下降了0.3%,搞不明白微软这个有啥可宣传的,各家测试过程中经常会跑出各种各样的WER,而且这种在标准测试集合中的提升幅度对实际应用压根没任何影响。微软真是太喜欢写论文了,而且最近总会被动跟着谷歌做这类无关痛痒的宣传。

  其次,再说语音识别模型方面真的是没有什么太大的新闻,HTK和Kaldi两大语音识别开源平台基本上已经集成了最好用的一些模型,而现在大量研究人员做的无非就是优化和改进模型,但是区别都不是太大。各家公司报的95%和97%的语音识别率也仅仅是个参考意义,因为每家公司训练的样本集和测试集都不一样,这个参数实际上没有任何可对比性。最为重要的是,这和实际环境的语音识别率差别很大,对于非规范语音来说,匹配是个极其难以解决的问题,这需要前端和后端都对语音数据进行声学方面的处理。

  其实,当前的语音交互还有很多痛点要解决,首当其冲的就是人机交互在真实环境的自适应性。比如现在的语音交互设备要求说话要靠近,发音要标准,环境要安静等等,这都需要麦克风进行处理。其实,所有真实场景的模式识别都会遇到这个问题,比如,“人脸识别”对光线、角度、距离也要有一定的要求。

  最后,不得不强调,人工智能现在来看还没有多少智能,这是一个重人力、重资本的行业,其所谓的智能基本都是依靠巨大的人力和财力投入换来的,这也是制约人工智能发展最大的瓶颈。即便训练一个简单的模型,各家公司就需要在数据采集和标注上投入巨额经费,另外,还有流量和计算资源的投入。可怕的是,若训练的结果不理想,前期的这些投入基本上都是打水漂。再加上声学感知层面的处理和匹配,人工智能这个链条,真的不是一家创业公司随随便便玩动的。

  参考资料:

  https://deepmind.com/blog/wavenet-generative-model-raw-audio/

  https://github.com/tensorflow/models/tree/master/lm_1b

  http://arxiv.org/abs/1609.03528

  http://arxiv.org/abs/1312.3005



最新评论

返回顶部