Запишитесь на консультацию
Заполните форму, и мы свяжемся с вами, проведём бесплатную консультацию и ответим на все вопросы
Проводим консультации
Если вы дизайнер-фрилансер, и при выполнении проекта у вас возникли сложности, например при сборке сайта на Тильде, вы можете записаться к нам на платную консультацию, в рамках которой ответим на ваши вопросы, всё подробно объясним и поможем решить проблему. Стоимость консультации – 3000 р/час.
Будем рады новым партнёрствам
Если вы агентство, веб-студия или команда, занимающаяся разработкой сайтов, будем рады сотрудничеству, в котором вы сможете доверить нам свои задачи и проекты. Если вы маркетинговое агентство, специалист по SEO или рекламе, дизайнер, иллюстратор, копирайтер, мы можем выстроить двухстороннее сотрудничество, делегируя как отдельные задачи, так и услуги полностью.
Полезные статьи от команды Seven Flares

Как отредактировать файл robots.txt в Тильде

файл robots.txt в Тильде
В файле robots.txt указываются правила индексирования страниц сайта для роботов разных поисковых систем. Файл robots.txt в Тильде генерируется автоматически. Он доступен по следующему адресу:
https://mysite.com/robots.txt (где mysite.com – ваш домен, http/https и www/без www зависит от ваших настроек)

Вручную внести изменения в файл нет возможности. Это можно сделать только через Настройки сайта или через Настройки страницы.


Навигация по статье:

Структура файла robots.txt

По умолчанию файл формируется сразу для всех поисковых роботов, поэтому правила прописываются для «User-Agent: *». Если вы указали значения для директивы Clean-param, то в файле ещё будут отдельные правила для роботов Яндекса – «User-Agent: Yandex».
В директиве «Disallow» прописывается, какие страницы не должны индексироваться поисковиками. Некоторые страницы по умолчанию закрыты от индексации, другие вы можете закрыть самостоятельно. Подробнее об этом будет далее в этой статье. В конце всегда будет пустой «Disallow», это корректно, он не мешает индексации сайта.

Если добавлена директива «Clean-param», она будет в «User-Agent: Yandex» после всех директив «Disallow».

Далее указываются ссылки на файлы Sitemap (в них содержатся все ссылки на страницы, которые должны быть проиндексированы). В зависимости от того, включены модули Каталог и Потоки или нет, в robots.txt могут быть указаны от одной до трёх ссылок:
  • https://mysite.com/sitemap.xml (файл с основными страницами сайта);
  • https://mysite.com/sitemap-store.xml (файл со страницами товаров из модуля Каталог);
  • https://mysite.com/sitemap-feeds.xml (файл со страницами постов из модуля Потоки),
где mysite.com – ваш домен, http/https и www/без www зависит от ваших настроек.

В конце идёт строка с директивой «Host». В ней указывается основной URL сайта (с учётом http/https и www), по которому должен индексироваться сайт. Изменить наличие http/https и www в каноническом адресе можно в Настройках сайта → SEO → Определение основного адреса сайта в мета-файлах.

Как в Тильде закрыть страницу от индексации

Как было указано ранее, некоторые страницы по умолчанию закрыты от индексации:
  • адреса с /tilda/ – это ссылки на виртуальные страницы для настройки целей в системах аналитики;
  • /*_escaped_fragment_* – такой фрагмент использовался когда-то в модуле Каталог;
  • адреса с /members/ – это ссылки на страницы из личного кабинета на вашем сайте (эти ссылки появляются в файле, когда вы активируете личный кабинет на сайте).

Автоматически закрываются от индексации установленные Header (шапка) и Footer (подвал) сайта, а также страница 404.

Чтобы закрыть от индексации страницу, перейдите в Настройки страницы → SEO → установите галочку возле опции «Запретить поисковикам индексировать эту страницу». Запрет пропишется как для указанного вами адреса страницы, так и для системного адреса (вида /page999999.html).
Обращаем ваше внимание, что если вы закроете от индексации, например, страницу /contacts, то от индексации будут закрыты и все другие страницы, адрес которых начинается с /contacts (например, /contacts-msk или /contacts-spb).

В некоторых случаях поисковики могут игнорировать канонический адрес и индексировать системный адрес (вида /page999999.html). В этом случае можно попробовать поступить следующим образом. Создайте новую страницу на сайте, укажите ей адрес /page и закройте от индексации. В таком случае будут закрыты от индексации все системные адреса, поскольку они начинаются с /page. Но тогда проверьте, чтобы у вас у всех страниц были указаны свои адреса (а не системные).

Чтобы закрыть от индексации отдельный пост в модуле Потоки, в админке потока перейдите в карточку нужного поста → Соц. сети и SEO → установите галочку возле опции «Запретить поисковикам индексировать эту страницу». В файле robots.txt запрета не будет, но в коде страницы поста в метатеге «robots» будет указано «noindex». Это покажет поисковым роботам, что пост не следует индексировать.
Отдельные страницы товаров из модуля Каталог закрыть от индексации, к сожалению, нет возможности (как это реализовано для постов из модуля Потоки). В настройках каталога можно отключить генерацию файла Sitemap для каталога, но это не запретит поисковикам проиндексировать товары, если страницы всё же будут найдены. Единственный вариант – закрыть от индексации страницу, к которой привязаны товары. Например, все товары каталога выведены на странице /catalog, тогда в адресе всех страниц товаров будет фрагмент /catalog. Можно закрыть от индексации страницу /catalog, тогда будут закрыты от индексации и все страницы товаров, в адресе которых есть фрагмент /catalog.

Как в Тильде закрыть от индексации весь сайт

Если вы хотите закрыть весь сайт от индексации, перейдите в Настройки сайта → SEO → Запрет индексации → установите галочку возле опции «Запретить поисковикам индексировать этот сайт». В файле robots.txt для всех User-Agent пропишется «Disallow: /».
Такое же правило автоматически прописывается для системных адресов с tilda.ws, когда вы подключаете к сайту свой домен, чтобы сайт индексировался именно по вашему домену.

Ещё один вариант убрать все страницы сайта из поиска – установить логин и пароль для входа на сайт. Настройки сайта → Ограничить доступ → Ограничить доступ к опубликованным страницам → Логин/Пароль. Поисковые роботы не смогут попасть на страницы сайта, и поэтому не смогут их проиндексировать.
Возникли вопросы, или хотите обсудить эту статью? Напишите комментарий к соответствующему посту в нашем Telegram-канале!
Статьи по Тильде
Made on
Tilda