robots.txt.
, который должен находиться в корне веб-ресурса. Например, https://example.com/robots.txt
В этом файле указывается набор директив, которые влияют на поведение поисковой системы. Например, можно запретить индексирование страниц, содержащих конфиденциальные данные. robots.txt
можно указывать его уникальный идентификатор – User-аgent
. robots.txt
с использованием вашего доменного имени, например, https://example.com/robots.txt
, ответ будет содержать файл robots.txt
, загруженный с сервера оригинации. https://12345.cdn.ngenix.net/robots.txt
, то Платформа предоставит собственный файл robots.txt
, который запрещает индексацию страниц веб-ресурса на сервисных доменах NGENIX популярным поисковым роботам: Google, Yandex, Bing, Yahoo и Baidu.robots.txt
настроен корректно. Если файл составлен с ошибками, то поисковый робот будет считать, что доступ ко всему содержимому веб-ресурса открыт.