Владельцы сайтов должны избегать появления ошибки 5xx. Об этом на днях рассказал представитель Google Джон Мюллер, отвечая на вопрос о том, как обходиться с недействительными URL на сайте.
Недействительные URL должны возвращать ошибку 404, чтобы Google понимал, что они больше не существуют. Ошибка 5xx такой сигнал не передает.
In general, you should aim to avoid having URLs that trigger server errors (5xx result codes) -- regardless of where they come from. If URLs are invalid for your site, you should return 404 so that it's clear that they're not valid for your site.
— John (@JohnMu) 17 марта 2019 г.
Также Мюллер отметил, что пока в сети существуют сигналы для 404 страниц, Google будет пытаться периодически их просканировать.
Напомним, Google советует не бояться 404 ошибок на сайте.
Источник: Search Engine Journal