在關於實體AI (Physical AI)的討論中，視覺佔據了主導地位。然而，視覺只是問題的一部分，機器也需要聆聽周圍的世界。
機器必須理解口頭指令，區分不同的說話人、辨別聲源、過濾干擾，並與人類進行自然的交流。在許多方面，語音辨識正成為實體AI的基礎感知能力之一。
如今，新一代設備正圍繞「語音優先」(voice-first)的互動理念建構。
智慧眼鏡正在演變為獲取數位資訊的持久性介面。耳機和智慧音訊設備正成為智慧伴侶。人型機器人和具身AI (Embodied AI)助手依賴自然的語音交流。語音代理(agent)正在改變客戶服務、支援營運和企業工作流。甚至汽車也正在變成一個「移動的工作空間」，語音成為與日益複雜的軟體系統互動最安全、最自然的介面。
在所有這些應用中，語音辨識不再僅僅是一種便利功能。它是感知堆疊的一部分，使機器能夠在物理世界中智慧運作。
正如電腦視覺協助機器理解所見之物，語音與音訊智慧則幫忙它們理解所聽之聲。貫穿所有這些領域的核心基礎技術是自動語音辨識(ASR)。隨著語音成為實體AI的核心互動介面，重點也從單純實現語音辨識，轉向確保其在現實環境中可靠運行。
每條語音指令背後的聲學難題
人類在複雜環境下理解語音的能力非常出色，而機器卻並非如此。
想像一下，你站在房間的另一頭，對著一台智慧設備說話。你的聲音並非沿著一條乾淨、隔離的路徑直接傳到麥克風，而是會從牆壁、地板、天花板、窗戶、傢俱和其他表面反射回來。你的語音會以多個延遲的副本形式，從不同的方向、不同的時間到達麥克風。
與此同時，周圍環境可能包含電視、揚聲器、空調、廚房電器、交通噪音或建築工地的聲音。房間裡的其他人可能正在進行完全不同的對話。
現在再加上移動因素。說話者可能在走動，聽者可能在移動，背景中的人聲位置可能會發生變化，噪音源可能會出現不可預測的波動，距離也會不斷變化，訊號強度也會忽高忽低。
想想看，在吵雜的房間裡，人類要集中注意力聽清一個聲音是多麼困難。現在想像一下，要讓機器每次都完美地做到這一點，又是多麼困難。這就是語音辨識系統必須面對的現實。
遠場(Far-field)語音辨識——即準確理解從遠離麥克風的位置採集的語音的能力——是幾乎所有現代語音產品的基礎功能。然而，遠場性能仍然是業界面臨的最大挑戰之一，因為聲學環境本身也成為了問題的一部分。
開發者面臨的問題很簡單：如何訓練和評估系統以適應如此複雜的環境？目前的答案往往不夠完善。
實體AI需要真實的聲學環境
挑戰遠不止於語音辨識本身。影響ASR的聲學複雜性同樣影響著實體AI所需的許多功能。機器人必須確定聲音的來源。智慧眼鏡必須區分使用者的聲音和周圍的對話。語音代理必須在多人同時說話時保持上下文關聯。智慧設備不僅要理解說了什麼，還要理解是誰說的以及聲音的來源。
在每種情況下，根本挑戰都是一樣的：機器必須在聲音遵循物理定律的物理環境中運行。遺憾的是，許多AI系統仍然使用僅部分反映實際情況的資料進行訓練和評估。這導致系統開發方式與最終實際應用性能之間的差距日益擴大。
傳統開發方法為何接近極限？
大多數語音辨識系統都使用相對乾淨的錄音進行訓練和評估，這些錄音是在麥克風附近採集的。即使進行遠場測試，也通常僅限於少數幾個物理房間或實驗室環境。
當語音應用相對受限時，這種方法尚可接受。但它難以滿足當今的需求。
試想一下，要全面評估一個現代ASR系統需要什麼？需要不同大小、形狀和材質的房間，需要無數種傢俱擺放方式、不同的麥克風位置、不同的說話者位置、不同的噪音源、不同數量的說話者、不同的移動模式。
然後，你需要所有這些條件的各種變體，成千上萬甚至數百萬種排列組合。
現實情況是，沒有任何機構能夠建構足夠多的物理測試環境來代表現實世界中遇到的各種聲學條件。因此，許多系統在受限條件下表現出色，但在家庭、辦公室、車輛、餐廳、公共場所或其他聲學環境複雜的場所部署時卻表現不佳。這導致基準性能與使用者體驗之間日益脫節。
基於物理的聲學建模
由於無法大規模記錄所有真實世界的場景，開發人員越來越需要一種類似實體AI和機器人領域中常見的數位孿生(digital twin)的聲學模型。
與依賴簡化近似的傳統方法不同，基於物理的聲學模擬能夠捕捉衍射、散射、反射、混響、聲源指向性、設備特性和動態運動等關鍵聲學現象。這使得開發人員能夠虛擬地創建逼真的聲學環境，而無需嘗試在實際環境中進行搭建。
我們越來越傾向於將其視為實體AI的音訊層。透過創建住宅、辦公室、車輛、設備、工廠和公共空間的聲學精確數位孿生，開發人員可以將模型暴露於極其多樣化的真實世界聆聽條件中，而這些條件在其他情況下是難以或無法捕捉。
我們的研究說明，與使用傳統模擬方法訓練的模型相比，使用高保真模擬聲學資料訓練相同的語音增強模型可以將詞錯誤率降低高達38%。模型架構保持不變。區別在於訓練資料本身的聲學真實性。
超越理想化的基準
隨著AI系統越來越多地從雲端遷移到實體環境中，業界需要能夠反映真實部署條件的評估方法。正如機器人基準測試衡量物理性能，電腦視覺基準測試衡量感知能力一樣，語音AI也需要能夠捕捉真實聲學特性的基準測試。
Hugging Face的遠場ASR (FFASR)排行榜是業界首個提供開放、社群驅動的基準測試平台，用於在真實的聲學條件下評估語音辨識模型。該基準測試採用基於物理的模擬技術，納入了混響、干擾語音、環境雜訊、不同的房間聲學特性，以及其他顯著影響實際性能的因素。
該基準測試不再詢問模型在安靜的錄音棚中表現如何，而是提出了一個更重要的問題：它在人們實際使用環境中表現如何？
隨著語音介面擴展到智慧眼鏡、機器人、汽車系統、AI代理和下一代運算平台等領域，瞭解真實世界的行為變得越來越重要。開發者需要一些工具，以便在產品觸及消費者之前評估其穩健性、可靠性和易用性。FFASR排行榜旨在幫助開發者瞭解這些評估結果。
