Советы эксперта: скрыть сайт из выдачи Google возможно тремя способами

1. Использование пароля для блокировки является самым лучшим методом обеспечения конфиденциальности сайта, находящегося в разработке. Пароль дает гарантии того, что никто не сможет просматривать контент, будь то пользователи или поисковые боты. Именно этот способ рекомендует Джон Мюллер в качестве самого оптимального в случае с конфиденциальным контентом.
2. Блокировка сканирования в robots.txt. При блокировке сканирования Googlebot при помощи файла robots.txt пользователи имеют возможность получить доступ к сайту по прямой ссылке, а вот боты не будут иметь доступа к ресурсу. Эксперт акцентирует внимание на том, что поисковые системы иногда могут индексировать сайт без доступа к контенту, но это скорее исключение, чем правило.
3. Блокировка индексирования. Для установки запрета поисковым системам на индексирование сайта необходимо добавить метатег noindex на страницы. Этот тег блокирует работу роботов Google, пытающихся проанализировать контент на странице и вывести его в поисковую выдачу. Боты получат сообщение, что страница не должна индексироваться, а пользователи по-прежнему могут ее видеть.

Блокировка сканирования и индексирования подойдет в случае, когда требуется скрыть только определённые части сайта.

Рекомендации Мюллера можно посмотреть в коротком видео: