Файл robots.txt сообщает поисковым системам, какие страницы вашего сайта обрабатывать и добавлять в результатах поиска, а какие убрать. Он поможет убрать дубликаты, которые плохо влияют на позицию вашего сайта в результатах поиска. Этот файл лежит в корне вашего сайта.
Чтобы посмотреть или отредактировать файл robots.txt перейдите в Продвижение => SEO => Инструменты => Robots.
Ссылку на карту сайта и хост указывать не надо, они автоматически добавятся.