Sprawni Cyfrowo
Allen Institute for AI (Ai2) opublikował StateBench, czyli benchmark sprawdzający, czy modele językowe nadążają za zmianami opisanymi w długich dokumentach. Wynik jest niewygodny dla całej branży. Gemini 3.8 Flash, Claude Opus 5.5 oraz GPT-6 Sol i Luna dobrze radzą sobie z prostymi zadaniami, ale przy dłuższych i bardziej splątanych sekwencjach zmian ich skuteczność wyraźnie spada. Na najdłuższych zadaniach z najtrudniejszego poziomu trafność wynosi 13% lub mniej.
Chodzi o tzw. śledzenie stanu. Model czyta ciąg operacji i ma podać, jaką wartość każda zmienna ma na końcu. Twórcy porównują to do kodu, ale też do codziennych sytuacji. Data urodzenia się nie zmienia, termostat pokazuje ostatnie ustawienie, wynik meczu rośnie z każdym punktem, a w sztuczce z kubkami trzeba śledzić każdą zamianę miejsc.
Cztery poziomy trudności w StateBench
StateBench dzieli zadania na cztery poziomy. Na pierwszym wartość ustawia się raz i już się nie zmienia. Na drugim wystarczy znaleźć ostatnią zmianę. Trzeci wymaga przenoszenia zmian krok po kroku (typu „dodaj 5 do obecnej wartości”). Czwarty dodaje przypisania przez odwołanie i zamiany, więc jedna przeoczona operacja psuje wynik końcowy.
Ciekawy jest też wątek formatu. Te same problemy podano m.in. jako kod i jako edycje komórek arkusza. Część małych modeli wypadała świetnie w jednej postaci zadania i niemal losowo w drugiej. Badacze z Ai2 sprawdzili także architektury: po treningu bezpośrednio na tych zadaniach modele rekurencyjne i hybrydowe (z warstwami Gated DeltaNet) uogólniały się na dużo dłuższe sekwencje, a klasyczne transformery nie opanowały najtrudniejszego poziomu w ogóle. Zbiór danych i kod (licencja Apache-2.0) są publicznie dostępne.
Co to znaczy dla firm w Polsce
To badanie dotyczy bardzo praktycznych zastosowań. Umowa z kilkoma aneksami, historia zmian w zamówieniu, arkusz z korektami wprowadzanymi przez kilka osób: wszędzie tam liczy się aktualny stan po serii zmian, a nie pojedynczy fakt. Wyniki StateBench pokazują, że właśnie ten typ zadań sprawia czołowym modelom największy kłopot, i to tym większy, im dłuższy dokument.
Wniosek nie brzmi „nie używaj AI do dokumentów”. Raczej: nie zakładaj, że model sam poprawnie złoży wszystkie zmiany. Lepiej działa podawanie mu aktualnej, skonsolidowanej wersji, dzielenie długich materiałów na części i proszenie o listę zmian krok po kroku, którą łatwo zweryfikować. Przy wyliczeniach warto, by model korzystał z arkusza lub kodu zamiast liczyć „w głowie”. Wyniki z jednego formatu testu nie przenoszą się też automatycznie na inny, więc własne próby na realnych dokumentach firmy są ważniejsze niż ogólne rankingi.
Źródło: Ai2 na blogu Hugging Face: StateBench (EN), 3 listopada 2026. Szczegóły metodologii opisuje też Unite.AI (EN).
