Як надати доступ SEOAuditAI-Bot у robots.txt
2-хвилинна інструкція, якщо ваш сайт зараз блокує сторонні crawler-боти і ми не можемо провести аудит.
Що таке robots.txt
Це текстовий файл на корені вашого сайту, який каже пошуковим і crawler-ботам, що можна сканувати, а що ні. Файл доступний за адресою https://вашсайт.com/robots.txt.
Як перевірити що сайт нас блокує
Відкрийте https://вашсайт.com/robots.txt у браузері. Якщо бачите рядок:
User-agent: * Disallow: /або явну заборону для нашого бота:
User-agent: SEOAuditAI-Bot Disallow: /значить сайт нас не пускає.
Як дозволити нашого бота
Додайте у файл robots.txt такі рядки:
User-agent: SEOAuditAI-Bot Allow: /Збережіть. Зміни вступлять у силу одразу.
Якщо немає прямого доступу до robots.txt
Це часто буває коли сайт на хостинг-платформі. Варіанти:
- WordPress - встановіть плагін Yoast SEO або Rank Math, в налаштуваннях знайдіть розділ «robots.txt» і додайте правила
- Tilda - Налаштування проєкту → SEO → robots.txt
- Shopify, Wix, Squarespace - доступу немає, дивіться альтернативу нижче
- Власний сервер - попросіть розробника або хостинг-провайдера додати правила
Альтернатива: аудит однієї сторінки
Якщо не вдається змінити robots.txt - запустіть аудит однієї конкретної сторінки замість усього сайту. У формі створення аудиту виберіть «одна сторінка» і наш бот пройде за прямим посиланням без сканування robots.txt.