TTS 試聽筆記
來源是 11/09 的微信 TTS 論文日報。能下載權重的我都在自己的機器上跑了同一段測試句;沒有權重或跑不起來的,只放作者公開的成品,並標明不是我們跑的。
每個檔都用 Breeze ASR 聽寫一次,對照有沒有念錯。錯誤率會被數字寫法拉高(例如念「一千兩百五十元」、ASR 寫成「1250 元」),所以每列都附上 ASR 實際聽到的文字,以那段為準。
先講結論
- Fish Drama 3作者成品最乾淨,英文和短中文句零錯字。但要 22 GB 以上記憶體,DGX 現在擠不下,我們自己的句子沒跑成。
- LeanTTS官方中文示範幾乎零錯字,但沒有釋出權重,無法自己用。
- Pocket TTS英文三種大小都把「$1,250」念錯。中文只有社群版,要輸入簡體、會漏字,速度在我們的 CPU 上比即時慢約 3 倍。
- PiVo-1.4M只有英文、16 kHz,音質普通,但金額和時間都念對。
- Uni-Stream找不到權重,沒得聽。
中文
CER 9.8% ASR 聽到:Hi Wayne 這是一段視聽測試週四下午三點半的會議改到 302 會議室發票總額是 1250 元銀行行長說這筆款項會在下週一入帳老實說新的設計看起來很棒不過寄出去之前我們還是要重新確認一次數字
實際只錯一個字(試聽→視聽),其餘是數字寫法。拿來當台灣口音的基準。
CER 33.3% ASR 聽到:Have you waiting這是一段試聽測試週四下午三點半的會議改到 302 是 1250 元銀行行長說這筆款項會在下週一入賬老師說新的設計看起來很棒不過寄出去之前我們還是要重新確認一次數字
數字念對。「嗨 Wayne」念壞、「老實說」變「老師說」,還漏掉「會議室,發票總額」。輸入已先轉成簡體。
CER 26.9% ASR 聽到:還有一個回徵這是一段視聽測試週四下午三點半的會議改到 302 會議室 1250 元此言銀行行長說這筆款項會在下週一入賬老師說新的設計看起來很棒不過寄出去之前我們還是要重新確認一次數字
換了音色,錯誤差不多:開頭念壞、漏了「發票總額是」、多出「此言」。
CER 131% ASR 聽到的幾乎都不是原文。
它的字表只有簡體字,繁體字會變成亂碼念法。這段留著給你聽「壞掉長什麼樣」。
CER 0% ASR 聽到:您好非常抱歉給您帶來了不好的使用體驗麻煩您先提供一下訂單編號我這邊馬上幫您查詢訂單信息和售後政策
作者挑過的句子,跟我們自己跑的差距很明顯。
LeanTTS 示範頁用來克隆音色的原始人聲,下面三段都是模仿這個聲音。
CER 0% ASR 聽到:事實上不是淘寶阿里巴巴太便宜了而是商場貴了
CER 0% ASR 聽到:事實上不是淘寶阿里巴巴太便宜了而是商場貴了
13M 是比較小的版本。跟上一段比,可以聽小模型掉了多少音質。
CER 0% ASR 聽到:北京在出行規模 城市影響力方面表現優異
CER 0% ASR 聽到:今天天氣很好我們一起去公園散步吧
int4 量化作者附的成品。
英文
WER 13.3% ASR 聽到:…the invoice total came to one thousand two hundred fifty dollars…
內容全對,錯誤率全是金額寫成英文字造成的。
WER 4.4% ASR 聽到:…the invoice total came to one thousand.
分數好看,但金額只念了「一千」,「兩百五十」整段漏掉。
WER 4.4% ASR 聽到:…the invoice total came to 150,000.
金額念錯。其他句子跟原版差不多。
WER 11.1% ASR 聽到:Hey Wayne… came to one twenty-five fifty.
金額念錯。只有 1.9M 參數,可以聽聽小到這樣還剩多少音質。
WER 17.8% ASR 聽到:…moved to three, thirty pm… came to one thousand two hundred fifty dollars…
金額和時間都念對,錯誤率是寫法造成的。16 kHz,音質聽得出比較悶。
WER 17.8% 內容同上,全對。
WER 0% ASR 聽到:The quarterly report is due on Thursday, so please finish it by noon. After that we will review the numbers together and decide whether the new pricing plan should launch next month or wait until spring.
WER 0% ASR 聽到:The meeting has been moved to three o'clock on Friday afternoon.
WER 33.3% ASR 聽到:Fine. If we miss it, it's on you.
原文後面還有一句「Well, maybe that's fair.」,被截掉了。量化作者自己也有寫出這個問題。
Drama 3 為什麼沒用我們的句子跑
DGX 上的執行環境裝好了,22 GB 的 int4 權重也下載完並逐檔核對大小。啟動到一半,DGX 可用記憶體掉到 14 GB,我設的保護機制就把它停了。照那個速度跑完,整台只剩約 10 GB,低於 20 GB 的安全線;這台機器的顯示卡和系統共用記憶體,掉到這個程度可能整台卡死,所有 bot 一起停擺。
要用我們的中文句子跑一次,需要先空出約 10 GB。最直接的做法是暫停美肌修修約 15 分鐘,你同意我就跑。