Здравствуйте! Сегодня пост о наболевшем для большинства из начинающих сайтостроителей. Мне приходилось очень часто в комментариях отвечать на один и тот же вопрос — как удалить страницы из поиска , которые были проиндексированы ранее, но в силу сложившихся обстоятельств были удалены и больше не существуют, но по-прежнему находятся в индексе поисковых систем. Или же в поиске находятся страницы запрещенные к индексации.
В комментариях особо не развернешься, поэтому после очередного вопроса решил уделить данной теме отдельное внимание. Для начала давайте разберемся, каким образом такие страницы могли оказаться в поиске. Примеры буду приводить исходя из собственного опыта, так что если я что-то забуду, то прошу дополнить.
Почему закрытые и удаленные страницы есть в поиске
Причин может быть несколько и некоторые из них я постараюсь выделить в виде небольшого списка с пояснениями. Перед началом дам пояснение что подразумеваю под «лишними» (закрытыми) страницами: служебные или иные страницы, запрещенные к индексации правилами или мета-тегом.
Несуществующие страницы находятся в поиске по следующим причинам:
- Самое банальное — страница удалена и больше не существует.
- Ручное редактирование адреса web-страницы, вследствие чего документ который уже находится в поиске становится не доступным для просмотра. Особое внимание этому моменту нужно уделить новичкам, которые в силу своих небольших знаний пренебрежительно относятся к функционированию ресурса.
- Продолжая мысль о структуре напомню, что по-умолчанию после установки WordPress на хостинг она не удовлетворяет требованиям внутренней оптимизации и состоит из буквенно-цифровых идентификаторов. Приходится на ЧПУ, при этом появляется масса нерабочих адресов, которые еще долго будут оставаться в индексе поисковых систем. Поэтому применяйте основное правило: надумали менять структуру — используйте 301 редирект со старых адресов на новые. Идеальный вариант — выполнить все настройки сайта ДО его открытия, в этом может пригодиться локальный сервер.
- Не правильно настроена работа сервера. Несуществующая страница должна отдавать код ошибки 404 или с кодом 3хх.
Лишние страницы появляются в индексе при следующих условиях:
- Страницы, как Вам кажется, закрыты, но на самом деле они открыты для поисковых роботов и находятся в поиске без ограничений (или не правильно написан robots.txt). Для проверки прав доступа ПС к страницам воспользуйтесь соответствующими инструментами для .
- Они были проиндексированы до того как были закрыты доступными способа.
- На данные страницы ссылаются другие сайты или внутренние страницы в пределах одного домена.
Итак, с причинами разобрались. Стоит отметить, что после устранения причины несуществующие или лишние страницы еще долгое время могут оставаться в поисковой базе — все зависит от или частоты посещения сайта роботом.
Как удалить страницу из поисковой системы Яндекс
Для удаления URL из Яндекс достаточно пройти по ссылке и в текстовое поле формы вставить адрес страницы, которую нужно удалить из поисковой выдачи.
Главное условие успешного запроса на удаление:
- страница должна быть закрыта от индексации правилами robots или мета-тегом noindex на данной странице — в том случае если страница существует, но не должна участвовать в выдаче;
- при попытке обращения к странице сервер должен возвращать ошибку 404 — если страница удалена и более не существует.
При следующем обходе сайта роботом запросы на удаление будут выполнены, а страницы исчезнут из результатов поиска.
Как удалить страницу из поисковой системы Google
Для удаления страниц из поступаем аналогичным образом. Открываем инструменты для веб-мастеров и находим в раскрывающемся списке Оптимизация пункт Удалить URL-адреса и переходим по ссылке.
Перед нами специальная форма с помощью которой создаем новый запрос на удаление:
Нажимаем продолжить и следуя дальнейшим указаниям выбираем причину удаления. По-моему мнению слово «причина» не совсем подходит для этого, но это не суть…
Из представленных вариантов нам доступно:
- удаление страницы страницы из результатов поиска Google и из кэша поисковой системы;
- удаление только страницы из кэша;
- удаление каталога со всеми входящими в него адресами.
Очень удобная функция удаления целого каталога, когда приходится удалять по несколько страниц, например из одной рубрики. Следить за статусом запроса на удаление можно на этой же странице инструментов с возможностью отмены. Для успешного удаления страниц из Google необходимы те же условия, что и для . Запрос обычно выполняется в кратчайшие сроки и страница тут же исчезает из результатов поиска.
Как удалить страницу из индекса поисковых систем и вообще зачем это нужно? В этой статье мы рассмотрим все варианты и ответим на часто задаваемые вопросы.
Зачем удалять страницу(ы) из индекса?Причин удалить страницу или страницы из индекса может быть много. Самыми распространенными являются:
- Страница является дублем (например, страницы site.ru/cat/stranica.html и site.ru/cat/stranica могут быть дублями). А как известно всем - дубли в индексе это зло, которое вредит сайту в целом.
- Страница перестала существовать (например, информация больше не актуальна).
Скорость удаления от нас не зависит. Максимальный срок где-то 60..90 дней. Средний срок удаления по моему опыту лежит в районе 25..35 дней. Если мы будем указывать в ручную через панель Яндекс Вебмастера или Google Вебмастера, что страницу нужно удалить, то процесс будет быстрее. Здесь самое главное, чтобы поисковый робот зашел на запрещенную страницу сайта, а далее он уже при обновлении индекса исключит ее из выдачи.
Способы удалить страницу из индекса
В рассмотренных ниже вариантах страница будет существовать (будет открываться для пользователей), но в индексе поисковиков мы ее запретим (удалим).
1. Через мета тег
Закрывать страницы от индексации с помощью robots.txt удобно тем, что можно сразу массово указать весь раздел или же запретить к индексации группу однотипных страниц. Однако поисковые системы четко говорят, что для них файл роботс не является обязательным в плане выполнения. Т.е. поисковая система в теории может оставить в индексе документ, который закрыт в роботс. Правда я таких примеров не знаю.
3. Через панель вебмастера поисковых систем
И в Яндексе и Google в панели вебмастера есть такая возможность. Однако если вы удаляете страницу подобным образом, то нужно понимать, что страница предварительно должна быть закрыта одним из выше описанных способов, иначе ничего не произойдет. Подобным удалением мы лишь намекаем поисковым роботам, что нужно обязательно зайти на эти страницы в ближайшем обходе.
3.1. Панель Яндекс Вебмастер
Адрес страницы - http://webmaster.yandex.ru/delurl.xml . Зайдя на эту страницу нужно просто указать в форме адрес страницы, которую вы хотите удалить из индекса.
3.2. Панель Google Вебмастер
Адрес страницы - https://www.google.com/webmasters/tools/ . Чтобы попасть на нужную форму выберите сайт из списка (если у вас несколько сайтов) и далее выберите вкладку "Индекс Google" -> "Удалить URL-адреса".
В гугле можно прописать сразу каталог URL-адресов (так же как в robots.txt).
4. Заголовки X-Robots-Tag
Этот способ используется только в Google. Запись о запрете должна находиться в http-заголовках:
X-Robots-Tag : noindex, nofollow
5. Через редирект или 404 ошибку
Удалить из индекса страницу можно также с помощью редиректа или возвращать со страницы 404 ошибку . В таком случае поисковые системы также удалять страницы из индекса.
Мы рассмотрели основные способы по удаление страницы из индекса. Как я уже писал выше скорость удаления в каждом случае разная. Но одно можно сказать точно - это не быстро. В любом случае это займет дней 5-7 минимум.
Статьи в этой же категории
О х уж эти ошибки роста…
В моей практике был случай. Писал статьи, старался изо всех сил, написано на тот момент было статей шестьдесят и вдруг!
Нахожу такую деталь, мои настроены на блоге не совсем корректно, вы можете посмотреть как нужно в этой статье.
Ну а сами понимаете, блог в индексе и посетители приходят по запросам из выдачи поисковиками. Некоторые статьи в ТОПе на вторых –пятых позициях держатся и приводят кучу народа на блог.
И вот, засада, значит надо переделывать все ссылки? Обратился к опытным СЕОшникам, говорят этот вопрос все время в дискуссиях, а структура, как не крути, нарушена. Как бы вроде и так работает…
Но знакомый блогер сказал, что у него за 170 статей было, и стало колбасить, и он переделывал.
А всего лишь в конце URLа каждой статьи не слэш [ / ] должен быть, а [ .html ] !!!
Подумал-подумал и взялся. И переделал. Конечно, посещаемость упала, потом постепенно начала расти, но вот проблема.
Страницы со слэшем в индексе остаются и посетители из поисковиков естественно идут ко мне и натыкаются на 404 страницу. Нет мол тут такой статьи, бля… Какого хера…
Вот мы и пришли к сути статьи, надо убрать из индекса эти УРЛы.
Удаление страниц из индекса поисковых систем
Изучив этот вопрос, принялся за дело. Оказывается, что несуществующие страницы могут оказаться по многим причинам.
Почему же закрытые и удаленные страницы остаются в поиске
Причин несколько. Поясню, под закрытыми страницами подразумеваются служебные и другие страницы, запрещенные к индексации правилами robot.txt или метатэгами.
Несуществующие страницы существуют в поиске по причинам:
— Удаленные, а значит не существующие
— по причине ручного редактирования адреса вэб-страницы. Этого делать нельзя категорически, он сразу становится недоступным.
— не правильно настроена работа сервера, в связи с этим несуществующая страница будет выдавать 404 ошибку.
Лишние страницы образуются в индексе при условии:
— Страницы закрыты, но на самом деле они находятся в поиске и открыты для поисковых роботов (не правильно настроен robots.txt)
— были проиндексированы ранее, чем они были закрыты
— на эти страницы ссылаются другие сайты или на них ссылаются внутренние страницы.
Ну коли причины нам известны, диагнос поставлен, можно и приступить к лечению.
Не лишним стоит упомянуть, что сделав работу по устранению всех косяков, они еще какое-то время будут существовать в поиске. Все зависит от частоты прохода роботов по вашему сайту.
Как удалить страницу из поиска в Яндексе
Отправили и при следующем заходе робота запрос на удаление будет выполнен.
Как удалить из индекса в поисковой системе Google
В Гугле открываем инструменты вэбмастера в списке Оптимизация Удалить URL адреса по ссылке https://www.google.com/webmasters/tools/url-removal?hl=ru&siteUrl=http://www.сайт/
Или наберите в поиске Гугла «Инструмент для вебмастеров» и в верхней кликните по верхней строчке.
Откроется окно Search Console, где кликните на URL вашего сайта, если он там есть. Если нет, добавьте свой ресурс (слева кнопка).
Затем слева будет меню, на нем путь Индекс Google —> Удалить URL-адреса.
Жмите на кнопку Временно скрыть, и внесите адрес для удаления в окно. Кнопка Продолжить.
Затем выберите причину и Отправьте запрос. Запрос о статусе отобразится.
И через какое-то время страница уйдет из индекса.
Ну вот и вся история)))
Все браузеры используют для хранения файлов и информации специально выделенную память кэш. В данном разделе памяти хранятся все введенные ранее поисковые запросы пользователя, это создано для удобства использования, при повторном наборе данного запроса браузер предложит варианты автоматической вставки этой фразы.
Также данные о запросах могут храниться на серверах поисковых систем, для отмены этого следует запретить серверам хранить информацию. Как очистить данные из поисковой строки мы рассмотрим в данной статье.
Инструкция
Google Chrome
Для того, чтобы в данном браузере установить запрет на автоматические внесения информации в строку поиска, а также для очистки информации находящейся в разделе кэш нужно выполнить нижеописанные действия:
Opera
Откройте вкладку с настройками этого веб-обозревателя, для этого нажмите соответствующую иконку на панели инструментов или нажмите комбинацию кнопок на клавиатуре Ctrl+F12. Просмотрите вкладку «Поиск» и уберите флажок возле строки «Включить подсказки для поиска». Сохраните изменения нажатием на кнопку ОК и откройте раздел «Расширенные». Выберите опцию «История» и в группе «Дисковый кэш» выберите пункт «Очистить». Кликните ОК и закройте вкладку настроек.
Mozilla Firefox( с нашего портала)
В рабочем окне обозревателя перейдите в раздел «Настройки» и укажите категорию «Приватность». Выполните команду «Очистить вашу недавнюю историю». В загрузившемся окне нужно указать временной интервал, за который нужно стереть историю и поставить отметки возле строк «Кэш» и «Журнал форм поиска». Выполните команду «Очистить сейчас» и закройте настройки нажав на кнопку ОК.
Случаются ситуации когда владельцу бизнеса необходимо удалить страницу из поиска Google или Яндекса. Иногда ресурс попадает в выдачу по ошибке или информация на нем теряет свою актуальность. Но хуже всего, когда поисковики выдают служебные страницы с конфиденциальными данными клиентов.
Чтобы избежать подобных ситуаций, необходимо знать, как удалить страницу или раздел сайта из индекса.
Существует несколько способов для этого в зависимости от поисковой системы. Давайте рассмотрим все плюсы и минусы каждого из вариантов.
Перед выбором метода определитесь:
- нужно удалить доступ к странице только из поисковиков;
- нужно удалить доступ абсолютно для всех.
Ошибка 404
Важно! Это самый простой метод в исполнении, однако время удаления информации из поисковой выдачи может занять до 1 месяца. Удаляет страницу как из поисковой системы так и с сайта в целом.
Периодически при поиске определенной информации пользователь сталкивается с сообщением об ошибке 404 - «Страница не найдена». Именно к такому результату ведет фактическое удаление страницы сайта.
Делается это путем удаления страницы в административной панели сайта. На языке поисковых машин происходит настройка сервера, которая обеспечивает http-статус с кодом 404 not found для определенного URL. При очередном посещении поискового робота, сервер сообщает ему об отсутствии документа.
После этого поисковая система понимает что страница более не доступна и удаляет ее из поисковой выдачи, чтобы пользователи не попадали из поиска на страницу ошибки 404.
У такого метода есть свои особенности:
- Простота: настройки проводятся всего в несколько кликов.
- Страница полностью исчезает из сайта, поэтому если необходимо просто скрыть от выдачи конфиденциальную информацию, то лучше обратиться к другим методам.
- Если на страницу, которую нужно скрыть, имеются входящие ссылки то эффективнее будет настроить 301 редирект.
- Непосредственно к выпадению страницы из поиска приводит не ее удаление из сайта, а последующая за этим индексация. В среднем необходимо от 1–2 дня до месяца, чтобы робот посетил ресурс и отпинговал страницу.
Если для вебмастера этот вариант - один из самых простых и удобных, то посетителю сайта сообщение об ошибке 404 редко доставляет удовольствие. В некоторых случаях оно может привести к тому, что клиент больше не вернется на этот ресурс.
Чтобы избежать подобных последствий, сегодня все чаще вебмастера стараются креативно оформить страницу с ошибкой 404 или разместить там информацию, предложения, что могут заинтересовать пользователя. Такая политика делает сайт более дружелюбным для клиента, способствуя росту его популярности.
Robots.txt
Важно! Данный метод не удаляет страницу из поиска, а только скрывает ее из результатов. Страница остается доступной для просмотра из других каналов трафика.
Довольно распространенный способ избавиться от отдельных объектов и целых разделов. Через robot.txt предоставляется как разрешение, так и запрет на индексацию, поэтому неудивительно, что на тему алгоритмов удаления страниц таким образом создано много полезных инструкций в Интернете, например у Devaka . Но в их основе один принцип: использование директивы Disallow.
Чтобы запретить сканирование страницы поисковыми системами, нужно иметь доступ к корневой папке домена. В противном случае придется использовать мета-теги.
- User-agent: сюда вносится название робота, к которому требуется применить запрет (наименование можно брать из Базы данных сканеров, но в случае, но если вы хотите в будущем закрывать страницу от всех, то просто используйте «User-agent: *»);
- Disallow: в этой директиве указывается непосредственно адрес, о котором идет речь.
Именно эта пара формирует собой команду по отношению к определенному URL. При необходимости в одном файле можно запретить несколько объектов одного сайта, что будут абсолютно независимы друг от друга.
После закрытия страницы или раздела через robots.txt необходимо дождаться очередной индексации.
Здесь стоит отметить, что для поисковых систем действие в robots.txt лишь рекомендация, которых они не всегда придерживаются. Даже в случае выполнения этого указания ресурс по-прежнему будет появляться в выдаче, но уже с надписью о закрытии через robots.txt.
Лишь со временем, если статус объекта в файле не поменяется, то поисковики уберут его из своей базы.
В любом случае доступными для просмотра удаленные объекты останутся при переходе по внешним ссылкам, если таковые имеются.
Мета-тег robots
Важно! Данный метод удаляет страницу из поисковых систем, но страница остается доступной для просмотра из других каналов трафика.
В какой-то мере этот вариант называют альтернативой предыдущего, только здесь работа ведется в html-коде среди тегов head:
<meta name = "robots" content = "noindex, nofollow" / >
После введения команды необходимо дождаться очередной индексации ресурса, после которой изменения вступят в силу.
Чем хорош этот метод?
Через мета-теги можно удалить url из Google или Яндекс как для одной страницы, так и сразу для целого перечня. При этом файл robots.txt останется простым. Этот вариант рекомендуется для начинающих специалистов, что работают шаг за шагом, создавая новые страницы сайта.
Интересный факт! С помощью данного метода можно удалить страницу из одной поисковой системы и оставив в остальных.
Закрыть страницу через мега-теги - лучший способ удалить страницу из индекса Google, оставив ее активной в Яндекс при необходимости. Также рекомендуется использовать этот метод в ситуациях, когда нужно убрать страницу из индекса, сохранив при этом ее информацию на сайте для внутреннего пользования.
Пример
Закрывает страницу только для ПС Google
Закрывает страницу только для ПС Яндекс
Неоспоримым преимуществом мета-тегов перед robots.txt выступает возможность закрыть страницу от индексации даже при наличии внешних ссылок. Для этого достаточно применять мега-тег noindex.
Из недостатков применения мета-тегов - если у вас не Wordpress, то могут возникнуть проблемы с внедрением. В Wordpress вопрос решается установкой плагина Yoast SEO , где каждую страницу можно будет закрыть с помощью мета-тега.
301 редирект
Важно! Внедрение приведет к тому, что контент страницы перестанет быть доступен абсолютно для всех посетителей, в том числе и владельцев сайта.
Суть этого метода заключается в том, что когда пользователь ищет страницу, которой больше не существует, сайт автоматически перенаправляет его на другой URL.
Данный вариант не самый удобный и простой для вебмастера, поскольку в зависимости от CMS отличается и алгоритм работы. Однако с точки зрения пользователя это самый комфортный выход, намного удобнее и приятнее сообщения об ошибке 404.
При желании редирект можно подчинить маркетинговым ухищрениям и перевести пользователя не просто на главную страницу сайта, а на конкретный раздел, в продвижении или активных продажах которого заинтересована администрация.
Такой метод часто применяют при необходимости обработать большое количество устаревших страниц или при полной смене структуры ресурса. Ведь редирект позволяет сохранить позиции в рейтингах поисковиков, благодаря чему усилия по продвижению сайта не пропадают зря.
На переиндексацию в поисковых системах понадобится в среднем 1–3 дня в зависимости от сайта, но только после посещения робота изменения вступят в силу для посетителей ресурса.
Подробнее о настройке 301 редиректа на сайте Devaka .
Удаление вручную через панель вебмастера
Важно! Метод работает для ускорения удаления информации из поисковой системы.
Быстрый (занимает от 8 до 48 часов) способ удалить сайт или страницу из Яндекса или другого поисковика. У каждой системы свой алгоритм в данном случае, но объединяет их одно - необходимость использовать дополнительные методы для закрытия страницы. Это может быть 404-ая ошибка, robots.txt, мега-тег на выбор, но без подобной подготовки не обойтись.
Удалить сайт из поиска google можно через Google Search Console:
- Авторизуйтесь на панели инструментов.
- Выберите нужный ресурс.
- Затем найдите в «Индекс Google» подраздел «Удалить URL-адреса».
- Здесь создаем новый запрос на удаление, а после вводим в открывшееся окошко нужную ссылку и нажимаем «Отправить».
В отдельном списке можно следить за статусом запроса. Обычно на удаление из гугловского индекса уходит от 2–3 часов до суток. При желании на деактивацию можно отправить неограниченное количество страниц таким способом.
Своим пользователям система предлагает также и функцию временного (до 90 дней) замораживания страницы.
Аналогичным путём идем и в Яндексе Вебмастре. Инструкция данного поисковика сразу предупреждает о необходимости предварительного запрета на индексирование через robots.txt или мета-теги.
После этого система еще долго будет проверять объект на смену его статуса, и если страница по-прежнему останется недоступной, то робот вычеркнет ее из своей базы.
Чтобы ускорить этот процесс, сразу после внесения изменений в robots.txt или мега-тегах зайдите в свой кабинет на Яндекс. Вебмастере.
Здесь в разделе «Удалить URL» вводите адрес страницы и подтверждаете ее удаление. За день допускается деактивация не более 500 объектов.
Чтобы удалить url из Яндекса понадобится больше времени, чем в случае с Google: от нескольких часов до нескольких дней.
Инструмент удаления URL отлично подходит для ситуаций, когда срочно необходимо убрать страницы с конфиденциальной информацией или удалить информацию добавленную при взломе сайта.
Удаление всего сайта
Иногда случаются ситуации, когда необходимо убрать не просто несколько страниц из поисковой выдачи, но и полностью весь ресурс.
Сделать это можно при помощи всех вышеуказанных методов + панель вебмастера Google или Яндекса, только необходимо внести изменения в деталях. При удалении всего ресурса на место URL-адреса вносится доменное имя.
Закрыть при помощи логина и пароля на сервере. Это лучший выход для сайтов на стадии разработки и для тестовых версий. Алгоритм действий в данном случае зависит от CMS, на базе которой создавался ресурс.
Для того чтобы данный метод заработал, передайте разработчикам чтобы настроили доступ к сайту только по логину и паролю.
Итого
Удалить страницу или даже целый сайт не составит труда для его владельца или администратора. Среди существующих методов каждый может выбрать наиболее удобный вариант для себя. Но если есть необходимость достичь результата в кратчайшие сроки, то лучше использовать несколько способов одновременно.
Остались вопросы? Наша команда поможет в решении вашего вопроса. Оставьте ваш вопрос в .