Meta AI 即時翻譯口說對話！講台語祖克柏也聽得懂？

來自台灣的 Meta AI 研究員陳鵬仁深刻了解語言障礙將影響大家的溝通能力，他在台灣長大，講中文，但是他的父親陳聖獎先生是一個 70 歲已退休的工廠技術主管，來自普遍使用台語的台灣南部，陳爸爸常覺得用一般中文進行複雜的對話非常困難。

陳鵬仁表示，「爸爸在討論比較複雜的主題時，他說話的速度會比較慢」，更希望「我爸跟所有人溝通時都能用台語對話，這是他最熟悉的語言」。因此開始投入心力，改善這個問題，推動 Meta AI 全新技術發展，讓閩南語和英語之間得以相互翻譯。

許多語音翻譯系統依賴轉譯內容，或依賴語音轉文字系統。但如閩南語等主要以口語表達的語言並沒有標準書寫文字形式，Meta 無法將翻譯的文字製作成翻譯內容輸出，因此聚焦在語音轉語音翻譯。

Meta 使用語音轉單元翻譯（speech-to-unit translation，S2UT）系統，直接在先前由 Meta 開創的路徑中，將輸入的語音翻譯成一系列聲學單元，然後從這些單元中生成波形。此外，針對二次解碼機制採用 UnitY，讓第一階段的解碼器產生相關語言（中文）的文字，然後讓第二階段的解碼器製作單元。

Meta 表示，目前為止，AI 翻譯主要著重於各種書寫語言，但在全球超過 7000 種的現存語言中，有近半數主要以口語表達，沒有標準或廣泛使用的書寫文字系統。這導致 Meta 無法使用標準技術為這類語言打造機器翻譯工具，因為標準技術需有大量的書寫文字來訓練 AI 模型。

資料來源：Meta