Как скрыть карту сайта от общественности без получения 404 ошибки в Яндекс, Bing и Google вебмастере?

[NZT48]

Здравствуйте

Спасибо и поздравляю вас за это обновление форума, которое является потрясающим

При установке флажка: Только ботам в https://example.com/admin-secret/codes, боты Yandex, Bing и Google имеют доступ к файлу robots.txt, НО они возвращают 404 ошибку для sitemap :

Спойлер: Конфигурация:

​

Спойлер: Проверено "Только ботам": Тест пройден для robots.txt:

Спойлер: Yandex

​

Спойлер: Bing

​

Спойлер: Проверено "Только ботам": Тест не прошел для карты сайта

Я пробовал с: https://www.example2.cx/sitemap, https://www.example2.cx/sitemap.xml, https://axi.example1.com/sitemap и https://axi. example1.com/sitemap.xml, но боты всегда выдают ошибку 404.

Спойлер: Yandex

​

Спойлер: Bing

​

Боты не имеют доступа к карте сайта, когда установлен флажок Только ботам.

Единственный способ для ботов посетить карту сайта - установить флажок Разрешить всем. Однако если вы установите флажок Разрешить всем, любой может увидеть Домен для ботов, поскольку ссылки появляются в карте сайта.

Я хотел бы иметь возможность скрыть файл sitemap от общественности. Есть ли решение, как устранить эту проблему конфиденциальности карты сайта?

С уважением

 

[NZT48]

Наконец я нашел альтернативу, как скрыть robots.txt и карту сайта от общественности. Просто добавьте 2 правила брандмауэра в Cloudflare, чтобы только известные боты могли видеть эти файлы:

Спойлер: Скрыть robots.txt от общественности:

1) Security > WAF > create firewall rule:

​

2) Заполните следующим образом:

​

или нажмите на "Edit expression" (синим цветом) и вставьте это: (http.request.uri.path contains "robots.txt" and not cf.client.bot)

3) Нажмите на save.

Спойлер: Скрыть карту сайта от общественности:

(имя моей карты сайта в следующем примере: sitemap.xml)

1) Security > WAF > create firewall rule:

​

2) Если имя карты сайта вашего сайта: sitemap.xml, заполните так, иначе измените имя карты сайта на ваше:

​

или нажмите на "Edit expression" (синим цветом) и вставьте это: (http.request.uri.path contains "sitemap.xml" and not cf.client.bot)
не забудьте заменить sitemap.xml на название вашей карты сайта.

3) Нажмите на save.

Проверьте, имеют ли боты доступ к robots.txt и sitemap с помощью Yandex webmaster, Bing webmaster и т.д.:

Спойлер

​

Вот что увидит публика на страницах robots.txt и sitemap.xml:

Спойлер

​

С уважением

Редактировать:

Для того чтобы вы могли получить доступ к публично заблокированным страницам, исключите свой IP-адрес из правил брандмауэра для файла robots.txt и/или карты сайта следующим образом:

Спойлер

​

Замените 192.0.2.0 своим IP-адресом

Нажмите на кнопку "Save".