近日,谷歌旗下人工智能公司DeepMind公布了其在計算機(jī)語音合成領(lǐng)域的最新研究突破——WaveNet。WaveNet是一種利用神經(jīng)網(wǎng)絡(luò)系統(tǒng)對原始音頻波形(Raw SoundWave)建模的技術(shù),生成的音頻質(zhì)量優(yōu)于目前所有的文本轉(zhuǎn)語音(Text-to-Speech,TTS)系統(tǒng),將計算機(jī)輸出音頻與人類自然語音差距縮小50%,號稱世界最佳!
DeepMind在twitter發(fā)文稱:“讓人類和機(jī)器對話是人機(jī)交互領(lǐng)域長久以來的夢想!”
通常我們聽到的計算機(jī)或手機(jī)輸出的文本轉(zhuǎn)語音(TTS)音頻都會覺得別扭、生硬,甚至詭異。此次DeepMind推出的這款新型語音合成系統(tǒng)WaveNet將大大改善這種情況,讓機(jī)器輸出音頻更自然、更像人類發(fā)聲。
當(dāng)然,讓計算機(jī)發(fā)出聲音,這并不是什么新鮮事兒。
最常用的TTS方法可能是拼接式語音合成(Concatenative Synthesis):先錄制單一說話者的大量語音片段,建立一個大型語料庫,然后簡單地從中進(jìn)行選擇并合成完整的大段音頻、詞語和句子。這種“機(jī)械式”方法使得計算機(jī)輸出音頻經(jīng)常產(chǎn)生語音毛刺、語調(diào)的詭異變化、甚至結(jié)巴,并且無法調(diào)整語音的強(qiáng)調(diào)性音節(jié)或情緒。
另外一種方法是所謂的參數(shù)化方法,利用數(shù)學(xué)模型對已知的聲音進(jìn)行排列、組裝成詞語或句子來重新創(chuàng)造音頻。這種技術(shù)倒是不易產(chǎn)生聲音毛刺,所以確實讓機(jī)器輸出的音頻聽起來不那么機(jī)器化。
然而,這兩種技術(shù)的共同點(diǎn)是:簡單、機(jī)械地將語音片段拼接起來,而不是從零開始創(chuàng)造出整個音頻波形。
音頻跳轉(zhuǎn)
WaveNet正是一種從零開始創(chuàng)造整個音頻波形輸出的技術(shù)。

WaveNet利用真實的人類聲音剪輯和相應(yīng)的語言、語音特征來訓(xùn)練其卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks),讓其能夠辨別這兩方面(語言和語音)的音頻模式。使用中,對WaveNet系統(tǒng)輸入新的文本信息,也即相對應(yīng)的新的語音特征,WaveNet系統(tǒng)會重新生成整個原始音頻波形來描述這個新的文本信息。
WaveNet組織結(jié)構(gòu)
WaveNet是逐步進(jìn)行操作的:首先,生成一個音頻波形樣本;接著再處理、生成一個音頻波形樣本,逐步進(jìn)行。其中非常重要的是,新的樣本生成都會受到此前樣本結(jié)果的影響,也即每一步的樣本結(jié)果都將影響下一步的樣本預(yù)測,并幫助生成下一步的樣本。
最終的音頻結(jié)果確實表現(xiàn)驚人(試聽參照DeepMind網(wǎng)站:)。相比于連續(xù)合成和參數(shù)化合成技術(shù),WaveNet輸出音頻明顯更接近自然人聲。
DeepMind的WaveNet技術(shù)無疑是計算機(jī)語音合成領(lǐng)域的一大突破。然而,由于WaveNet是計算整個原始音頻波形,每輸出一秒音頻神經(jīng)網(wǎng)絡(luò)必須處理16000個樣本,所以WaveNet技術(shù)需要強(qiáng)大的運(yùn)算能力來合成語音。
據(jù)DeepMind透露給《金融時報》(Financial Times)的內(nèi)部消息稱,這意味著目前還不能應(yīng)用于谷歌或其他的任何一項產(chǎn)品中。
然而,這并不是計算機(jī)面臨的唯一語言問題。翻譯自然語言和手寫文字也是人工智能系統(tǒng)的一大難題。
起碼以現(xiàn)在這速度,在計算機(jī)形成真正的智能思考能力之前,它們應(yīng)該早就能夠用花哨的語言和人類交流了。