Генератор robots.txt
Составляйте robots.txt с Allow, Disallow и sitemap.
Как пользоваться инструментом
Составляйте robots.txt с Allow, Disallow и sitemap. Локальная обработка в браузере. Файлы не отправляются.
Что важно знать
Локальная обработка в браузере. Файлы не отправляются.