2 results
Search Results
Now showing 1 - 2 of 2
Item 多編碼器端到端模型於英語錯誤發音檢測與診斷(2021) 范姜紹瑋; Fan Jiang, Shao-Wei隨著全球化的加速，大多數人需要學習第二語言(Second language, L2)，相較之下，語言教師的人數增長卻無法跟上語言學習的需求。因此越來越多研究著重在電腦輔助發音訓練(Computer-assisted pronunciation training, CAPT)，嘗試利用電腦輔助學習者做更方便且有效的學習。在 CAPT 中，最重要的模組為以自動語音辨識(Automatic speech recognition, ASR)為核心技術的錯誤發音和診斷(Mispronunciation detection and diagnosis, MD&D)。然而，現有 MD&D 模型仍面臨兩個問題：一、任務不匹配。純語音辨識任務並未充分利用提示文本(Text prompt)於訓練階段。二、口音多樣性。第二語言學習者具有特殊的發音習慣，該習慣的聲學或語言特性會導致模型效能辨識困難。基於上述兩個問題，本研究提出兩個解決方向於端對端 MD&D 模型 (End-to-end MD&D, E2E MD&D)。首先，我們使用不同細粒度(音素與字元)的文本提示進行輸入增強，使 E2E ASR 更適合 MD&D 任務。其次，我們設計兩種不同面向的口音感知模塊，提示模型口音資訊以及消除口音資訊，嘗試減輕口音多樣性於 E2E MD&D 系統的影響。實驗結果表明，在公開二語語料庫 L2-ARCTIC 上，我們提出 MD&D 模型具有明顯的優勢與有效性。Item 第二外語學習者之自動發音評測及錯誤發音偵測研究(2024) 林孟欣; Lin, Meng-Shin隨著全球化的趨勢，電腦輔助發音訓練(CAPT)系統越來越受歡迎，應用於 減輕教師工作量、發音評測線上課程和幫助學習者練習語言技能等場景。本 論文提出了一系列創新的 CAPT 建模技術，以應對各種教學和自學應用，展 示了其強大的潛力和實用價值。在自動語音評估 (Automatic Pronunciation Assessment, ASA) 方面，我們針對資料不平衡問題，採用了類平衡損失函數 和重新採樣方法，縮小了訓練集和測試集之間的差距，並在不平衡資料集 speechocean762 上顯示出顯著的性能提升。在錯誤發音偵測與診斷 (Mispronunciation Detection and Diagnosis, MDD) 方面，我們使用了一種新穎 的基於文本提示引導聽寫模型，通過音素依賴閾值有效平衡精度和召回率， 同時引入多視角音頻編碼器提供細粒度發音提示。這些創新方法能夠更精確 地識別並診斷 L2 學習者的發音錯誤，並提供即時反饋。在 L2-ARCTIC 基準 數據集上的綜合實驗結果表明，我們的方法在多個競爭基線中具有實際可行 性。然而未來的研究可以探索更多樣化的語言和發音情境，以進一步提升 CAPT 系統的適用性和實用性。同時，我們也希望未來可以探索 APA 和 MDD 的聯合模型，以充分利用兩者的優勢，提供給學習者在使用系統上得到更好 的回饋。