Sprawni Cyfrowo

OpenAI, Google, Microsoft i Anthropic: jeden wpis w robots.txt zablokuje trening AI

OpenAI, Google, Microsoft i Anthropic: jeden wpis w robots.txt zablokuje trening AI

OpenAI, Google, Microsoft i Anthropic zapowiedziały, że będą respektować wspólny sygnał w pliku robots.txt, którym strona może odmówić trenowania AI na swoich treściach. Zamiast ustawiać osobne reguły dla crawlera każdej firmy, wydawca dopisze jeden token: __usage_ai-training. Sygnał dotyczy wyłącznie treningu modeli, a nie widoczności strony w wyszukiwarce.

Propozycja trafiła do IETF, organizacji opracowującej standardy internetu, jako szkic „Machine-Readable Training Preference Signal”. Jego autorem jest Kevin Kelley, odpowiedzialny za standardy w Anthropic. Terminy wdrożenia są różne. Anthropic już honoruje sygnał, OpenAI obiecuje wsparcie w najbliższych miesiącach, Microsoft podaje 1 lutego 2027 r., a Google mówi ogólnie o 2027 roku. Meta poparła pomysł, ale według The Verge nie zadeklarowała, czy sama będzie go przestrzegać.

Co dokładnie blokuje nowy token

Token obejmuje tylko wykorzystanie treści do trenowania AI. Nie wyłącza indeksowania w wyszukiwarce ani pobierania stron na bieżąco, gdy asystent szuka odpowiedzi na pytanie. Microsoft zapowiada osobne ustawienia dla treningu i dla tzw. groundingu, czyli opierania odpowiedzi modelu na konkretnym źródle. Firma podkreśla, że strona zostanie w wynikach Binga niezależnie od wybranych preferencji.

Są też zastrzeżenia. Sygnał wyraża preferencję i działa tylko wtedy, gdy operator crawlera dobrowolnie go respektuje. Sam w sobie niczego nie egzekwuje. OpenAI zaznacza, że nowy token nie zastąpi dotychczasowych ustawień w robots.txt i nie gwarantuje wyłączenia z treningu. Na rynku działają też inne rozwiązania: standard RSL pozwala pobierać od crawlerów opłaty, a Cloudflare domyślnie blokuje boty AI.

Co to znaczy dla polskich firm

Dla firm prowadzących strony, blogi i sklepy internetowe to prostsza decyzja. Do tej pory trzeba było znać nazwy botów każdego dostawcy i dopisywać je osobno. Jeden wpis ma objąć czterech największych graczy, choć w pełni dopiero w 2027 roku. Warto jednak najpierw ustalić, czego chcemy. Blokada trenowania AI nie powinna odebrać widoczności w wyszukiwarce. Blokada wszystkich botów AI może natomiast sprawić, że asystenci przestaną korzystać z naszej strony przy odpowiedziach. Dla wielu małych firm obecność w odpowiedziach ChatGPT czy Gemini staje się kolejnym sposobem docierania do klientów, więc te dwie sprawy dobrze rozdzielić.

Praktyczny krok na teraz: sprawdźcie, co zawiera robots.txt waszej strony i kto nim zarządza (agencja, firma hostingowa, wtyczka w WordPressie). Zanotujcie, które boty są dziś blokowane. Gdy dostawcy wdrożą nowy token, sama zmiana zajmie kilka minut.

Źródło: The Verge (EN), 30 października 2026. Komunikat firmy: OpenAI (EN). Szczegóły szkicu IETF i terminy wdrożeń: DEV Community (EN).

Pomożemy Ci wdrożyć sztuczną inteligencję w Twojej firmie.

Konsultacje i wdrożenia AI

Powiązane artykuły