WordPress изменит подход к запрету индексации сайтов поисковыми системами. В новой версии 5.3 вместо файла robots.txt будет использоваться метатег Robots, выглядящий следующим образом:
meta name=’robots’ content=’noindex,nofollow’ /
Нововведение связано с тем, что с 1 сентября Google прекратил поддержку директивы noindex в robots.txt.
Источник: Search Engine Journal