robots.txt, noindex и canonical: в чём разница и как не потерять страницы в поиске

Одна строка в robots.txt может спрятать от поисковика ваш noindex. И страница, которую вы хотели убрать из выдачи, в ней останется. robots.txt, noindex и canonical путают даже опытные команды. Все три влияют на то, как сайт попадает в поиск, но отвечают за разное: за обход, за индексацию и за выбор …