В файле robots.txt указываются правила индексирования страниц сайта для роботов разных поисковых систем. Файл robots.txt в Тильде генерируется автоматически. Он доступен по следующему адресу:
https://mysite.com/robots.txt (где mysite.com – ваш домен, http/https и www/без www зависит от ваших настроек)
Вручную внести изменения в файл нет возможности. Это можно сделать только через Настройки сайта или через Настройки страницы.
Навигация по статье:
https://mysite.com/robots.txt (где mysite.com – ваш домен, http/https и www/без www зависит от ваших настроек)
Вручную внести изменения в файл нет возможности. Это можно сделать только через Настройки сайта или через Настройки страницы.
Навигация по статье:
Структура файла robots.txt
По умолчанию файл формируется сразу для всех поисковых роботов, поэтому правила прописываются для «User-Agent: *». Если вы указали значения для директивы Clean-param, то в файле ещё будут отдельные правила для роботов Яндекса – «User-Agent: Yandex».
В директиве «Disallow» прописывается, какие страницы не должны индексироваться поисковиками. Некоторые страницы по умолчанию закрыты от индексации, другие вы можете закрыть самостоятельно. Подробнее об этом будет далее в этой статье. В конце всегда будет пустой «Disallow», это корректно, он не мешает индексации сайта.
Если добавлена директива «Clean-param», она будет в «User-Agent: Yandex» после всех директив «Disallow».
Далее указываются ссылки на файлы Sitemap (в них содержатся все ссылки на страницы, которые должны быть проиндексированы). В зависимости от того, включены модули Каталог и Потоки или нет, в robots.txt могут быть указаны от одной до трёх ссылок:
В конце идёт строка с директивой «Host». В ней указывается основной URL сайта (с учётом http/https и www), по которому должен индексироваться сайт. Изменить наличие http/https и www в каноническом адресе можно в Настройках сайта → SEO → Определение основного адреса сайта в мета-файлах.
Если добавлена директива «Clean-param», она будет в «User-Agent: Yandex» после всех директив «Disallow».
Далее указываются ссылки на файлы Sitemap (в них содержатся все ссылки на страницы, которые должны быть проиндексированы). В зависимости от того, включены модули Каталог и Потоки или нет, в robots.txt могут быть указаны от одной до трёх ссылок:
- https://mysite.com/sitemap.xml (файл с основными страницами сайта);
- https://mysite.com/sitemap-store.xml (файл со страницами товаров из модуля Каталог);
- https://mysite.com/sitemap-feeds.xml (файл со страницами постов из модуля Потоки),
В конце идёт строка с директивой «Host». В ней указывается основной URL сайта (с учётом http/https и www), по которому должен индексироваться сайт. Изменить наличие http/https и www в каноническом адресе можно в Настройках сайта → SEO → Определение основного адреса сайта в мета-файлах.
Как в Тильде закрыть страницу от индексации
Как было указано ранее, некоторые страницы по умолчанию закрыты от индексации:
Автоматически закрываются от индексации установленные Header (шапка) и Footer (подвал) сайта, а также страница 404.
Чтобы закрыть от индексации страницу, перейдите в Настройки страницы → SEO → установите галочку возле опции «Запретить поисковикам индексировать эту страницу». Запрет пропишется как для указанного вами адреса страницы, так и для системного адреса (вида /page999999.html).
- адреса с /tilda/ – это ссылки на виртуальные страницы для настройки целей в системах аналитики;
- /*_escaped_fragment_* – такой фрагмент использовался когда-то в модуле Каталог;
- адреса с /members/ – это ссылки на страницы из личного кабинета на вашем сайте (эти ссылки появляются в файле, когда вы активируете личный кабинет на сайте).
Автоматически закрываются от индексации установленные Header (шапка) и Footer (подвал) сайта, а также страница 404.
Чтобы закрыть от индексации страницу, перейдите в Настройки страницы → SEO → установите галочку возле опции «Запретить поисковикам индексировать эту страницу». Запрет пропишется как для указанного вами адреса страницы, так и для системного адреса (вида /page999999.html).
Обращаем ваше внимание, что если вы закроете от индексации, например, страницу /contacts, то от индексации будут закрыты и все другие страницы, адрес которых начинается с /contacts (например, /contacts-msk или /contacts-spb).
В некоторых случаях поисковики могут игнорировать канонический адрес и индексировать системный адрес (вида /page999999.html). В этом случае можно попробовать поступить следующим образом. Создайте новую страницу на сайте, укажите ей адрес /page и закройте от индексации. В таком случае будут закрыты от индексации все системные адреса, поскольку они начинаются с /page. Но тогда проверьте, чтобы у вас у всех страниц были указаны свои адреса (а не системные).
Чтобы закрыть от индексации отдельный пост в модуле Потоки, в админке потока перейдите в карточку нужного поста → Соц. сети и SEO → установите галочку возле опции «Запретить поисковикам индексировать эту страницу». В файле robots.txt запрета не будет, но в коде страницы поста в метатеге «robots» будет указано «noindex». Это покажет поисковым роботам, что пост не следует индексировать.
В некоторых случаях поисковики могут игнорировать канонический адрес и индексировать системный адрес (вида /page999999.html). В этом случае можно попробовать поступить следующим образом. Создайте новую страницу на сайте, укажите ей адрес /page и закройте от индексации. В таком случае будут закрыты от индексации все системные адреса, поскольку они начинаются с /page. Но тогда проверьте, чтобы у вас у всех страниц были указаны свои адреса (а не системные).
Чтобы закрыть от индексации отдельный пост в модуле Потоки, в админке потока перейдите в карточку нужного поста → Соц. сети и SEO → установите галочку возле опции «Запретить поисковикам индексировать эту страницу». В файле robots.txt запрета не будет, но в коде страницы поста в метатеге «robots» будет указано «noindex». Это покажет поисковым роботам, что пост не следует индексировать.
Отдельные страницы товаров из модуля Каталог закрыть от индексации, к сожалению, нет возможности (как это реализовано для постов из модуля Потоки). В настройках каталога можно отключить генерацию файла Sitemap для каталога, но это не запретит поисковикам проиндексировать товары, если страницы всё же будут найдены. Единственный вариант – закрыть от индексации страницу, к которой привязаны товары. Например, все товары каталога выведены на странице /catalog, тогда в адресе всех страниц товаров будет фрагмент /catalog. Можно закрыть от индексации страницу /catalog, тогда будут закрыты от индексации и все страницы товаров, в адресе которых есть фрагмент /catalog.
Как в Тильде закрыть от индексации весь сайт
Если вы хотите закрыть весь сайт от индексации, перейдите в Настройки сайта → SEO → Запрет индексации → установите галочку возле опции «Запретить поисковикам индексировать этот сайт». В файле robots.txt для всех User-Agent пропишется «Disallow: /».
Такое же правило автоматически прописывается для системных адресов с tilda.ws, когда вы подключаете к сайту свой домен, чтобы сайт индексировался именно по вашему домену.
Ещё один вариант убрать все страницы сайта из поиска – установить логин и пароль для входа на сайт. Настройки сайта → Ограничить доступ → Ограничить доступ к опубликованным страницам → Логин/Пароль. Поисковые роботы не смогут попасть на страницы сайта, и поэтому не смогут их проиндексировать.
Ещё один вариант убрать все страницы сайта из поиска – установить логин и пароль для входа на сайт. Настройки сайта → Ограничить доступ → Ограничить доступ к опубликованным страницам → Логин/Пароль. Поисковые роботы не смогут попасть на страницы сайта, и поэтому не смогут их проиндексировать.
Возникли вопросы, или хотите обсудить эту статью? Напишите комментарий к соответствующему посту в нашем Telegram-канале!
