Перевірка robots.txt онлайн
Безкоштовно знайдемо помилки в robots.txt вашого сайту: некоректні правила, заблоковані важливі сторінки, відсутність директиви Sitemap, проблеми доступу для Googlebot.
Що ми перевіряємо
- ✓ Наявність файлу robots.txt
- ✓ Коректність синтаксису директив
- ✓ Доступ Googlebot до головної сторінки
- ✓ Наявність директиви Sitemap
- ✓ Повноту блокувань для важливих ботів
Що це таке
robots.txt — текстовий файл, який лежить у корені сайту і вказує пошуковим ботам, які сторінки можна обходити, а які ні. Помилки в ньому можуть заблокувати індексацію критичних сторінок або, навпаки, відкрити чутливі URL для ботів. Файл повинен бути доступним за адресою <your-site>/robots.txt.
Цей інструмент — лише 1 з 60 перевірок
Перевірив robots.txt? Подивись цілу картину.
Безкоштовний повний аудит за 90 секунд: безпека, швидкість, SEO, симуляції атак — у єдиному звіті.