Настройка robots.txt
Файл robots.txt — файл, расположенный в файловой системе сайта и содержащий список ограничений для поисковых роботов. Поисковые роботы сперва анализируют инструкции в robots.txt и только потом сканируют информацию на страницах сайта.
Начиная с версии 14.0.0 модуля Поисковая оптимизация файл создается при помощи специального генератора, который доступен на Маркетинг > Поисковая оптимизация > Настройка robots.txt.
Для того, чтобы отредактировать файл вручную, согласно техническому заданию от Seo-оптимизатора нужно перейти на вкладку “редактировать”.