Robots.txt: co to jest i jak go ustawić w WordPressie
Plik robots.txt to krótki plik tekstowy w głównym katalogu strony, w którym mówisz robotom wyszukiwarek i botom AI, których części witryny mają nie odwiedzać. Google zawsze szuka go pod adresem twojadomena.pl/robots.txt. Robots.txt blokuje pobieranie stron, ale nie usuwa ich z wyników: do tego służy tag noindex. Jedna błędna linijka, np. „Disallow: /”, potrafi wyłączyć z Google całą stronę.
Poniżej wyjaśniamy, jak zbudowany jest plik, jak wygląda poprawny robots.txt dla WordPressa, jak sprawdzić go w Search Console i jak blokować boty AI, nie tracąc widoczności w Google.
Co to jest robots.txt i do czego służy
Robots.txt to zbiór reguł dla automatów, które odwiedzają stronę. Dobrze wychowane roboty, w tym Googlebot i Bingbot, czytają go przed pobraniem czegokolwiek innego i stosują się do zakazów. Plik nie jest zabezpieczeniem: złośliwe boty mogą go zignorować, a każdy może go odczytać w przeglądarce, więc nie wpisuj w nim adresów, które chcesz ukryć.
Robots.txt przydaje się do trzech rzeczy. Po pierwsze, zamyka przed robotami obszary bez wartości dla wyszukiwarki, np. panel administracyjny, wyniki wewnętrznej wyszukiwarki czy koszyk. Po drugie, w dużych sklepach oszczędza czas robota, żeby nie marnował go na tysiące wariantów filtrów. Po trzecie, wskazuje adres mapy witryny.
Google przestrzega limitu 500 KiB rozmiaru pliku. Ignoruje też część dyrektyw spotykanych w starych poradnikach, np. „Crawl-delay” i „Noindex”.
Jak zbudowany jest plik robots.txt
Plik składa się z grup reguł. Każda grupa zaczyna się od wskazania robota, a pod nim są zakazy i pozwolenia:
- User-agent wskazuje robota, którego dotyczą reguły. Gwiazdka
*oznacza wszystkie roboty. - Disallow zakazuje pobierania adresów zaczynających się od podanej ścieżki.
- Allow robi wyjątek od zakazu, np. pozwala pobrać jeden plik z zablokowanego katalogu.
- Sitemap podaje pełny adres mapy witryny. Ta linijka nie należy do żadnej grupy.
Przykład pliku, który blokuje wszystkim robotom katalog z wynikami wyszukiwania i wskazuje mapę witryny:
User-agent: *
Disallow: /?s=
Disallow: /szukaj/
Sitemap: https://twojadomena.pl/sitemap_index.xmlWielkość liter w ścieżkach ma znaczenie, a znak * zastępuje dowolny ciąg znaków. Pusta reguła „Disallow:” oznacza zgodę na wszystko.
Poprawny robots.txt dla WordPressa
WordPress generuje plik robots.txt automatycznie, jeśli w katalogu strony nie ma fizycznego pliku. Domyślna wersja wygląda tak:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://twojadomena.pl/wp-sitemap.xmlDla większości firmowych stron to wystarczy. Z Rank Math adres mapy witryny zmienia się na /sitemap_index.xml, a plik edytujesz w ustawieniach ogólnych wtyczki, w sekcji Edytuj robots.txt. Edycja w Rank Math działa tylko wtedy, gdy na serwerze nie ma osobnego pliku robots.txt.
Nie blokuj katalogów /wp-content/ ani /wp-includes/. Są w nich style, skrypty i obrazy, a Google potrzebuje ich, żeby zobaczyć stronę tak jak użytkownik. Zablokowane pliki CSS i JavaScript to częsty powód, dla którego Google źle ocenia wersję mobilną strony.
Robots.txt a noindex: częsty błąd
Reguła Disallow zabrania robotowi pobrania strony, ale nie zabrania jej indeksowania. Jeśli do zablokowanego adresu prowadzą linki, Google może go pokazać w wynikach bez opisu. Search Console oznacza takie adresy komunikatem o stronie zindeksowanej mimo blokady w robots.txt.
Żeby usunąć stronę z wyników, użyj tagu noindex i pozwól robotowi stronę pobrać. Blokada w robots.txt i noindex jednocześnie nie działają razem: robot nie wejdzie na stronę, więc nie zobaczy noindex. Najczęściej spotykamy to w sklepach, gdzie ktoś blokuje w robots.txt strony, które już są w indeksie, i dziwi się, że nie znikają.
Jak blokować boty AI w robots.txt
Firmy AI mają własne roboty i większość z nich respektuje robots.txt. Warto rozróżnić boty, które zbierają dane do trenowania modeli, od tych, które pobierają strony do odpowiedzi w wyszukiwarkach AI:
| User-agent | Firma | Do czego służy |
|---|---|---|
| GPTBot | OpenAI | Zbieranie danych do trenowania modeli |
| OAI-SearchBot | OpenAI | Pokazywanie stron w wyszukiwarce ChatGPT |
| Google-Extended | Wykorzystanie treści przez Gemini poza wyszukiwarką | |
| ClaudeBot | Anthropic | Zbieranie danych do trenowania modeli |
| PerplexityBot | Perplexity | Pokazywanie stron w wynikach Perplexity |
Przykład: zgoda na wyszukiwarkę ChatGPT przy zakazie trenowania modeli OpenAI na treściach strony:
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /Ważna uwaga dla Google: zablokowanie Google-Extended nie wyłącza strony z AI Overviews ani z Trybu AI. Te funkcje korzystają ze zwykłego Googlebota. Do wyłączenia treści z funkcji AI w wyszukiwarce służy przełącznik w Search Console, a nie robots.txt. Firmom, które chcą być polecane przez AI, nie zalecamy blokowania botów wyszukiwarek AI, bo strona znika wtedy z ich odpowiedzi.
Jak sprawdzić robots.txt w Search Console
W Google Search Console wejdź w Ustawienia i otwórz raport robots.txt. Zobaczysz, kiedy Google ostatnio pobrał plik, jaką wersję zna i czy znalazł w niej błędy. Po poprawce możesz poprosić o ponowne pobranie pliku, żeby Google szybciej zauważył zmianę.
Czy konkretna podstrona jest zablokowana, sprawdzisz narzędziem Sprawdzanie adresu URL: przy zablokowanym adresie pokaże informację o blokadzie przez robots.txt. Po każdej przebudowie strony albo przeniesieniu jej z wersji testowej sprawdź plik w przeglądarce. Reguła „Disallow: /” z wersji testowej to jeden z najczęstszych powodów, dla których nowa strona nie pojawia się w Google.
Najczęstsze pytania
Czy każda strona musi mieć plik robots.txt?
Nie. Bez pliku roboty uznają, że mogą pobierać wszystko. Plik warto mieć choćby po to, żeby wskazać mapę witryny i zamknąć obszary bez wartości dla wyszukiwarki.
Gdzie jest plik robots.txt w WordPressie?
Domyślnie nie ma go na serwerze. WordPress generuje go w locie pod adresem /robots.txt. Gdy wgrasz własny plik do głównego katalogu strony, WordPress przestaje generować swoją wersję.
Czy robots.txt chroni dane przed dostępem?
Nie. To prośba do robotów, a nie zabezpieczenie. Plik może odczytać każdy, a złośliwe boty go ignorują. Prywatne zasoby chroni się hasłem albo konfiguracją serwera.
Jak szybko Google zauważy zmianę w robots.txt?
Google zwykle pobiera plik ponownie w ciągu doby. Możesz to przyspieszyć w raporcie robots.txt w Search Console, prosząc o ponowne pobranie.
Konfigurację robots.txt, map witryny i ustawień wtyczek SEO bierzemy na siebie w ramach obsługi stron internetowych. Gdy podejrzewasz, że strona blokuje Google albo boty AI, sprawdzimy to w ramach audytu SEO, widoczność w wynikach budujemy w ramach pozycjonowania stron, a o obecność w odpowiedziach ChatGPT i Trybu AI zadbamy w ramach pozycjonowania w AI.
Skontaktuj się z nami
Sprawdzimy, czy Twoja strona nie blokuje Google
Przejrzymy robots.txt, tagi noindex, mapy witryny i raporty Search Console oraz ustawimy dostęp dla wyszukiwarek i botów AI tak, żeby strona była widoczna tam, gdzie szukają jej Klienci. Napisz, jakiej strony dotyczy sprawa.
Tel: 603 338 970
E-mail: kontakt@emm8.pl
Dlaczego warto zacząć z EMM8
- Łączymy pozycjonowanie, widoczność w AI i reklamę w jedną strategię, dzięki czemu cały budżet pracuje na ten sam cel: nowych Klientów.
- Od 2012 roku pomagamy firmom z różnych branż rosnąć w internecie, więc nie uczymy się na Państwa budżecie.
- Projekt prowadzi jedna osoba, która zna Państwa firmę, wyniki i cele, bez przekazywania sprawy między działami.
Zapytanie ofertowe
Wystarczy kilka zdań o firmie i potrzebach. Szczegóły doprecyzujemy na dalszym etapie.
