Narzędzia / 06
Generator i tester robots.txt
Buduj reguły crawlowania, dodaj mapę strony i sprawdź dostęp do wybranej ścieżki.
Przejdź do narzędzia ↓Ładowanie interaktywnej części…
Jak z tego korzystać
- 01
Wybierz crawler, dodaj wyłącznie ścieżki, których nie powinien pobierać, i przetestuj przykładowe adresy.
- 02
Nie blokuj publicznego CSS i JavaScriptu potrzebnego do renderowania strony.
- 03
Jeśli treść ma nie trafić do wyszukiwarki, użyj noindex lub kontroli dostępu; sam robots.txt nie wystarczy.
Czy robots.txt usunie adres z Google?
Nie. Zablokowany adres może nadal zostać zindeksowany na podstawie innych sygnałów. Użyj noindex albo zabezpiecz prywatną treść.
Gdzie umieścić plik?
W katalogu głównym hosta, na przykład https://example.com/robots.txt.