Sprawni Cyfrowo
Nowy benchmark XYBench od Allen Institute for AI (Ai2) sprawdza, czy asystent AI zauważy, że użytkownik pyta o niewłaściwą rzecz. Pięć przetestowanych modeli wypadło podobnie: częściej odpowiadały na pytanie dosłownie, niż pomagały rozwiązać prawdziwy problem. Praca dostała nagrodę Best Resource Paper na konferencji EMNLP 2026.
Nazwa pochodzi od tzw. problemu XY, znanego z forów programistycznych. Ktoś chce osiągnąć cel X, zakłada, że droga Y zadziała, i prosi o pomoc tylko z Y. Przykład autorów: pytanie, jak zagęścić lukier spływający z babeczek, gdy prawdziwą przyczyną jest to, że babeczki są jeszcze za ciepłe. Dobry doradca powie „poczekaj, aż ostygną”. Model AI często podpowie przepis na gęstszy lukier.
Co pokazał XYBench
Zbiór liczy 8115 pytań. Ponad 1,5 tys. pochodzi ze Stack Overflow, część z innych forów Stack Exchange, 102 przygotowano ręcznie, a ponad 6 tys. wygenerowano na podstawie poradników WikiHow (gotowanie, naprawy w domu). Benchmark powstał we współpracy z Carnegie Mellon, NVIDIA i Johns Hopkins. Odpowiedzi oceniał Claude Sonnet 4.5, a jego werdykty sprawdziły dwie osoby na próbce 500 odpowiedzi.
Przetestowano Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B i DeepSeek-V4 Pro. Na pytaniach ze Stack Overflow modele podawały rozwiązanie dosłownej prośby w 75–86% odpowiedzi, a rozwiązanie rzeczywistego celu w 59–71%. Na prawdziwym celu skupiały się tylko w 35–41% przypadków. Żaden model nie dorównał odpowiedziom ludzi w wychwytywaniu błędnego założenia.
Ciekawsze są dwa eksperymenty dodatkowe. Gdy modelom podano wprost, jaki jest cel użytkownika, Sonnet 4.6 częściej proponował trafne rozwiązanie (wzrost z 59 do 67%), ale rzadziej mówił otwarcie, że pierwotne podejście jest chybione (spadek z 47 do 34%). Z kolei w teście wyboru między dwiema gotowymi odpowiedziami modele w 71–84% przypadków wskazywały tę lepszą, skupioną na celu. Potrafią więc rozpoznać dobrą radę, ale same rzadko ją piszą.
Co to znaczy dla firm w Polsce
Warto pamiętać, że badanie dotyczy poprzednich generacji modeli i wyłącznie pytań po angielsku. Nie wiemy, jak wypadłyby najnowsze wersje ani zapytania po polsku. Sam mechanizm jest jednak znajomy każdemu, kto wdraża czat AI w zespole. Pracownik pyta, jak zrobić skomplikowaną formułę w arkuszu, a model cierpliwie ją buduje, zamiast zauważyć, że problem rozwiązałaby zwykła tabela przestawna.
Praktyczny wniosek dla użytkowników jest prosty. Opisuj cel, a nie tylko wybraną metodę, i proś model wprost: „sprawdź, czy to w ogóle dobre podejście”. Wyniki XYBench sugerują, że samo podanie celu nie wystarczy, bo model może wtedy rzadziej mówić, że wybrana droga jest chybiona. Wyraźna prośba o krytykę założeń to najtańszy sposób na lepsze odpowiedzi.
Źródło: Ai2 na blogu Hugging Face, „XYBench: Helping with the problem behind the question” (EN), 13 listopada 2026. Publikacja naukowa: arXiv 2609.06842 (EN), dane: zbiór XYBench na Hugging Face.
