Hugging Face rozszerzył Open ASR Leaderboard, otwarty ranking systemów rozpoznawania mowy, o pierwszy język Globalnego Południa — hindi, którym posługuje się ponad pół miliarda osób. Do zestawienia trafiły też nagrania w indyjskiej odmianie angielskiego. To istotna zmiana, bo publiczne benchmarki rozpoznawania mowy przez lata skupiały się niemal wyłącznie na angielszczyźnie z USA i Wielkiej Brytanii.
Nowe zbiory, nazwane Monsoon, przygotowały Voice Arena i Hugging Face, a nad metrykami dla języków indyjskich pracowało AI4Bharat. Ich konstrukcja jest nietypowa: krótkie w godzinach, ale bardzo szerokie pod względem liczby mówców. W sumie nagrania obejmują 4888 osób, 428 okręgów administracyjnych i 556 modeli telefonów, a ponad połowa mówców pojawia się tylko raz. Każdy fragment opisano kilkunastoma atrybutami: płcią, wiekiem, regionem i urządzeniem. Ranking oceniał między innymi modele openai/whisper-large-v3-turbo, ibm-granite/granite-speech-3.3-2b, microsoft/VibeVoice-ASR-HF oraz mistralai/Voxtral-Mini-3B.
Jedna liczba potrafi ukryć duże różnice
Najważniejszy wniosek dotyczy tego, jak czytamy wyniki. Na indyjskim angielskim osiem modeli uzyskało niemal identyczny wynik WER w przedziale 4,81–4,99. Po pogrupowaniu nagrań według regionu obraz się zmienił: jeden z modeli różnił się o 0,46 punktu między strefami, a Voxtral-Mini-3B aż o 1,68 punktu, od 4,38 w centrum kraju do 6,06 na wschodzie. Na poziomie pojedynczych okręgów błąd wahał się od 4 do 44%. Innymi słowy dwa systemy nie do odróżnienia w rankingu potrafiły różnić się nawet czterokrotnie tym, jak bardzo ich skuteczność zależy od tego, kto mówi.
Twórcy dodali też metrykę OIWER, która uwzględnia, że w hindi jedno wyrażenie bywa poprawnie zapisywane na kilkanaście sposobów. Kod tej metryki udostępniono jako otwarty pakiet voi-oiwer. Po jej zastosowaniu część modeli zamienia się w rankingu miejscami.
Co to znaczy dla polskich firm
Dla organizacji, które wdrażają transkrypcję spotkań, boty głosowe czy analizę rozmów w call center, płynie z tego praktyczny wniosek: pojedyncza liczba z benchmarku nie wystarczy. Polski jest językiem nieangielskim, a jakość rozpoznawania mowy potrafi się załamać przy regionalnym akcencie, słabym mikrofonie czy hałasie w tle. Zanim wybierzemy dostawcę, warto przetestować model na własnych nagraniach, takich, jakie faktycznie występują w naszym procesie, i patrzeć nie tylko na średnią, ale też na rozrzut wyników. Otwarte rankingi i otwarte zbiory testowe ułatwiają taką weryfikację, bo pozwalają porównać systemy niezależnie od marketingu producentów.
Źródło: Hugging Face Blog — The Open ASR Leaderboard Adds Its First Global South Language (EN), 28 sierpnia 2026.
