TTS 試聽筆記

來源是 11/09 的微信 TTS 論文日報。能下載權重的我都在自己的機器上跑了同一段測試句;沒有權重或跑不起來的,只放作者公開的成品,並標明不是我們跑的。

每個檔都用 Breeze ASR 聽寫一次,對照有沒有念錯。錯誤率會被數字寫法拉高(例如念「一千兩百五十元」、ASR 寫成「1250 元」),所以每列都附上 ASR 實際聽到的文字,以那段為準。

2026-11-09 · 原文:微信文章

先講結論

中文

我們的測試句嗨 Wayne,這是一段試聽測試。週四下午三點半的會議改到 302 會議室,發票總額是一千兩百五十元。銀行行長說,這筆款項會在下週一入帳。老實說,新的設計看起來很棒,不過寄出去之前,我們還是要重新確認一次數字。
edge-tts 曉臻
對照組我們跑的

CER 9.8% ASR 聽到:Hi Wayne 這是一段視聽測試週四下午三點半的會議改到 302 會議室發票總額是 1250 元銀行行長說這筆款項會在下週一入帳老實說新的設計看起來很棒不過寄出去之前我們還是要重新確認一次數字

實際只錯一個字(試聽→視聽),其餘是數字寫法。拿來當台灣口音的基準。

Pocket TTS 中文社群版曉臻當參考音色
我們跑的

CER 33.3% ASR 聽到:Have you waiting這是一段試聽測試週四下午三點半的會議改到 302 是 1250 元銀行行長說這筆款項會在下週一入賬老師說新的設計看起來很棒不過寄出去之前我們還是要重新確認一次數字

數字念對。「嗨 Wayne」念壞、「老實說」變「老師說」,還漏掉「會議室,發票總額」。輸入已先轉成簡體。

Pocket TTS 中文社群版換 LeanTTS 的參考音色
我們跑的

CER 26.9% ASR 聽到:還有一個回徵這是一段視聽測試週四下午三點半的會議改到 302 會議室 1250 元此言銀行行長說這筆款項會在下週一入賬老師說新的設計看起來很棒不過寄出去之前我們還是要重新確認一次數字

換了音色,錯誤差不多:開頭念壞、漏了「發票總額是」、多出「此言」。

Pocket TTS 中文社群版直接輸入繁體字
我們跑的

CER 131% ASR 聽到的幾乎都不是原文。

它的字表只有簡體字,繁體字會變成亂碼念法。這段留著給你聽「壞掉長什麼樣」。

Pocket TTS 中文社群版客服句
作者成品

CER 0% ASR 聽到:您好非常抱歉給您帶來了不好的使用體驗麻煩您先提供一下訂單編號我這邊馬上幫您查詢訂單信息和售後政策

作者挑過的句子,跟我們自己跑的差距很明顯。

LeanTTS 參考聲音
作者成品

LeanTTS 示範頁用來克隆音色的原始人聲,下面三段都是模仿這個聲音。

LeanTTS 25M淘寶句
作者成品

CER 0% ASR 聽到:事實上不是淘寶阿里巴巴太便宜了而是商場貴了

LeanTTS 13M 四步淘寶句
作者成品

CER 0% ASR 聽到:事實上不是淘寶阿里巴巴太便宜了而是商場貴了

13M 是比較小的版本。跟上一段比,可以聽小模型掉了多少音質。

LeanTTS 13M 四步北京句
作者成品

CER 0% ASR 聽到:北京在出行規模 城市影響力方面表現優異

Fish Drama 3 int4短中文句
作者成品

CER 0% ASR 聽到:今天天氣很好我們一起去公園散步吧

int4 量化作者附的成品。

英文

我們的測試句Hi Wayne, this is a quick listening test. The meeting moved to 3:30 PM on Thursday, and the invoice total came to $1,250. Honestly, I think the new design looks great, but we should double-check the numbers before we send it out.
edge-tts Ava
對照組我們跑的

WER 13.3% ASR 聽到:…the invoice total came to one thousand two hundred fifty dollars…

內容全對,錯誤率全是金額寫成英文字造成的。

Pocket TTS 100M原版預設
我們跑的

WER 4.4% ASR 聽到:…the invoice total came to one thousand.

分數好看,但金額只念了「一千」,「兩百五十」整段漏掉。

Pocket TTS 18M
我們跑的

WER 4.4% ASR 聽到:…the invoice total came to 150,000.

金額念錯。其他句子跟原版差不多。

Pocket TTS 2M最小
我們跑的

WER 11.1% ASR 聽到:Hey Wayne… came to one twenty-five fifty.

金額念錯。只有 1.9M 參數,可以聽聽小到這樣還剩多少音質。

PiVo-1.4MPi 音色
我們跑的

WER 17.8% ASR 聽到:…moved to three, thirty pm… came to one thousand two hundred fifty dollars…

金額和時間都念對,錯誤率是寫法造成的。16 kHz,音質聽得出比較悶。

PiVo-1.4MVo 音色
我們跑的

WER 17.8% 內容同上,全對。

Fish Drama 3 int4長句
作者成品

WER 0% ASR 聽到:The quarterly report is due on Thursday, so please finish it by noon. After that we will review the numbers together and decide whether the new pricing plan should launch next month or wait until spring.

Fish Drama 3 int4聲音克隆
作者成品

WER 0% ASR 聽到:The meeting has been moved to three o'clock on Friday afternoon.

Fish Drama 3 int4情緒標籤
作者成品

WER 33.3% ASR 聽到:Fine. If we miss it, it's on you.

原文後面還有一句「Well, maybe that's fair.」,被截掉了。量化作者自己也有寫出這個問題。

Drama 3 為什麼沒用我們的句子跑

DGX 上的執行環境裝好了,22 GB 的 int4 權重也下載完並逐檔核對大小。啟動到一半,DGX 可用記憶體掉到 14 GB,我設的保護機制就把它停了。照那個速度跑完,整台只剩約 10 GB,低於 20 GB 的安全線;這台機器的顯示卡和系統共用記憶體,掉到這個程度可能整台卡死,所有 bot 一起停擺。

要用我們的中文句子跑一次,需要先空出約 10 GB。最直接的做法是暫停美肌修修約 15 分鐘,你同意我就跑。