IBM Research razem z Hugging Face uruchomili Open Agent Leaderboard — pierwszy otwarty benchmark, który porównuje nie same modele AI, ale całe systemy agentowe. Ocenie podlegają agenty wraz z narzędziami, planowaniem, pamięcią, obsługą błędów i kosztami operacji. Autorzy zaznaczają, że jakość pracy agenta zależy bardziej od jego architektury niż od modelu, który siedzi w środku.
Leaderboard łączy sześć ustalonych benchmarków. SWE-Bench Verified mierzy poprawianie błędów w prawdziwych repozytoriach kodu. BrowseComp+ sprawdza badanie złożonych pytań w sieci. AppWorld testuje zadania osobiste w setkach aplikacji. Trzy zestawy tau2-Bench dotyczą obsługi klienta w lotnictwie, retailu i telekomunikacji. Wszystko działa w jednym protokole, więc agenty nie muszą uczyć się specyficznego języka każdego testu. Na starcie pojawiło się pięć systemów agentowych w połączeniu z pięcioma modelami, w tym z otwartymi wagami DeepSeek V3.2 i Kimi K2.5.
Co pokazują wyniki
Pierwszy wniosek rozbija intuicję, że pod konkretne zadanie potrzebny jest dedykowany pipeline. Agenty ogólne dorównują lub przewyższają wyspecjalizowane systemy w większości testów. Drugi wniosek dotyczy kosztu: nieudany run kosztuje 20–54% więcej niż udany, bo agent zużywa tokeny zanim się podda lub utknie w pętli. Trzeci wniosek to skuteczność prostej techniki tool shortlisting, czyli wstępnego ograniczania listy narzędzi widocznych dla agenta. Poprawiała ona wynik w każdym testowanym modelu i niejednokrotnie zamieniała konfiguracje nieprzechodzące w działające.
Modele z otwartymi wagami pozostają w tyle za wiodącymi modelami zamkniętymi o 18–29 punktów procentowych średnio. Trzy najwyżej oceniane konfiguracje używają tego samego modelu, ale różnią się punktacją i kosztem przez różne implementacje warstwy agentowej.
Co to znaczy dla polskich firm
Dla zespołu, który ocenia agenta AI do wdrożenia produkcyjnego, leaderboard daje to, czego brakowało: porównanie nie tylko jakości, ale kosztu operacyjnego i wzorca awarii. Wybór modelu to za mało. Architektura agenta wokół niego, czyli jak planuje, jakie narzędzia widzi i jak obsługuje błędy, potrafi przesunąć wynik o kilka punktów i koszty o kilkadziesiąt procent. Autorzy publikują też framework Exgentic na GitHubie, więc własne agenty można testować w tym samym protokole.
System, który radzi sobie ze wszystkim, ale kosztuje fortunę, nie jest ogólny w żadnym sensie, który by się liczył.
Wniosek dla firmy: wybierając agenta, koszt operacyjny i zachowanie przy awarii powinny stać obok skuteczności, nie pod nią.
Źródło: Hugging Face Blog — The Open Agent Leaderboard (IBM Research, 18 maja 2026). Sam leaderboard dostępny jest pod adresem huggingface.co/spaces/open-agent-leaderboard/leaderboard.
