Протокол для поисковых систем сообщает ПС, какие страницы ей нужно индексировать, а какие нет. Данный протокол представляет собой систему, схожую с усовершенствованной системой robots.txt . Идея создания АСАР появилась у крупных европейских изданий еще в сентябре 2006 года для защиты от роботов-краулеров Google, использование которого вело к нарушению прав хозяев закрытого контента. Но релиз АСАР вышел только 30 ноября.
Другой широко используемый протокол Robots.txt практически не совершенствовался с момента его появления в 1994 году. Хотя в том же релизе новый протокол называют разновидностью системы robots.txt 2.0. Несмотря на то, что с момента появления нового протокола такие поисковики как Google и Ask.com проводили довольно активные переговоры с разработчиками, он до сих пор не используется ни одним поисковиком.