Сервисы и трюки, с которыми найдётся ВСЁ.
Зачем это нужно: с утра мельком прочитали статью, решили вечером ознакомиться внимательнее, а ее на сайте нет? Несколько лет назад ходили на полезный сайт, сегодня вспомнили, а на этом же домене ничего не осталось? Это бывало с каждым из нас. Но есть выход.
Всё, что попадает в интернет, сохраняется там навсегда. Если какая-то информация размещена в интернете хотя бы пару дней, велика вероятность, что она перешла в собственность коллективного разума. И вы сможете до неё достучаться.
Поговорим о простых и общедоступных способах найти сайты и страницы, которые по каким-то причинам были удалены.
1. Кэш Google, который всё помнит
Google специально сохраняет тексты всех веб-страниц, чтобы люди могли их просмотреть в случае недоступности сайта. Для просмотра версии страницы из кэша Google надо в адресной строке набрать:
http://webcache.googleusercontent.com/search?q=cache:http://www.сайт/
Где http://www.сайт/ надо заменить на адрес искомого сайта.
2. Web-archive, в котором вся история интернета
6. Archive.is, для собственного кэша
Если вам нужно сохранить какую-то веб-страницу, то это можно сделать на archive.is без регистрации и смс. Еще там есть глобальный поиск по всем версиям страниц, когда-либо сохраненных пользователями сервиса..
7. Кэши других поисковиков, мало ли
Если Google, Baidu и Yandeх не успели сохранить ничего толкового, но копия страницы очень нужна, то идем на seacrhenginelist.com , перебираем поисковики и надеемся на лучшее (чтобы какой-нибудь бот посетил сайт в нужное время).
8. Кэш браузера, когда ничего не помогает
Страницу целиком таким образом не посмотришь, но картинки и скрипты с некоторых сайтов определенное время хранятся на вашем компьютере. Их можно использовать для поиска информации. К примеру, по картинке из инструкции можно найти аналогичную на другом сайте. Кратко о подходе к просмотру файлов кэша в разных браузерах:
Safari
Ищем файлы в папке ~/Library/Caches/Safari .
Google Chrome
В адресной строке набираем chrome://cache
Opera
В адресной строке набираем opera://cache
Mozilla Firefox
Набираем в адресной строке about:cache и находим на ней путь к каталогу с файлами кеша.
9. Пробуем скачать файл страницы напрямую с сервера
Идем на whoishostingthis.com и узнаем адрес сервера, на котором располагается или располагался сайт:
После этого открываем терминал и с помощью команды curl пытаемся скачать нужную страницу:
Что делать, если вообще ничего не помогло
Если ни один из способов не дал результатов, а найти удаленную страницу вам позарез как надо, то остается только выйти на владельца сайта и вытрясти из него заветную инфу. Для начала можно пробить контакты, связанные с сайтом на emailhunter.com :
А о сборе информации про людей читайте в статьях и .
Что значит «Отсутствует сохранённая копия в Яндексе!» и как это влияет на сайт в целом. Во-первых, если вы продаете ссылки со своего сайта, то отсутствие страниц в кэше Яндекса негативно отразится на доходе веб-мастера.
Например, в Сеопульте есть параметр, контролирующий наличие страницы в кэше поисковой системы.
Называется он nic (no index cache) - это означает что у страницы нет «сохраненной копии».
На сегодняшний день в Сеопульте проверяется индекс Яндекса. В перспективе планируют добавить и проверку в Гугле.
Вот как это выглядит на графике. Долгое время траст был равен девяти, но потом резкое падение.
Я стал искать причину отсутствия сохраненной копии сайта в поисковом индексе. И даже написал в службу поддержки TrustLink.
Добрый день. Скажите, пожалуйста с чем может быть связано падение траста у моего блога. Параметр XT за последние два апа Яндекса снизился с 9 до 7. Одновременно и снизился доход в Трастлинк.
Здравствуйте! Этот показатель не является официальным представлением Яндекса, потому причины его паденя нам не известны
То есть уменьшение количества расставленых ссылок сеопультом с этим не связано. А по какой причине наблюдается уменьшение дохода?
При проверке часть страниц, на которых были куплены ссылки, отсутствовала в кэше Яндекса. Ссылки были сняты, потому просел доход.
А не подскажите почему страницы отсутствуют в кэше Яндекса? В индексе есть, а в кэше нет? Как-то можно повлиять на то, чтобы они оказались в кэше?
Это уже вопрос к техподдержке Яндекса, часто апдейт кэша происходит немного позже апдейта выдачи/индекса, отсюда выходит такая проблема
Да, именно так. Для достижения максимальной эффективности ссылки необходимо наличие страницы в кэше.
Потом я задал вопрос в техподдержку Яндекса.
Добрый день.
Сейчас отсутствует сохранённая копия в Яндексе. Подскажите, пожалуйста в чем причина. Блог работает на Вордпрессе.
Кроме того мой блог имел траст xt = 9. За последние два апдейта траст упал до 7. Я стараюсь улучшать свой блог, а тут два таких негативных момента. С чем это может быть связано и как можно исправить ситуацию?
Адрес сайта: //www.сайт
С уважением, Илья.
И продолжал искать причину.
Статья по теме: Как найти обратные ссылки
Оказывется, после обновления плагинов, флажок напротив значения noarchive был включен. В результате чего на каждой странице моего блога появилась строка, запрещающая кэширование страницы. Возможно по этой причине я потерял две единицы траста.
Убрав этот тег, выключив флажок в плагине Robots Meta , я убедился в его отсутвии на страницах своего блога.
Add noarchive meta tag
Prevents archive.org and Google from putting copies of your pages into their archive/cache.to put copies of your pages into their archive/cache.
Будьте внимательны при настройке плагина Robots Meta для Вордпресс!
Узнав о наличии тега, запрещающега кэширование, я написал в суппорт Трастлинка.
Здоравствуйте. Я уже выяснил причину падения траста и отсутствия копии блога в кэше Яндекса. Видимо при обновлении плагинов Вордпресса на страницах присутствовал тег noarchive. Обнаружив это я немедленно убрав его и сегодня уже траст опять стал 9, поднявшись сразу на 2 единицы Зря оптимизаторы поснимали свои ссылочки.
Здравствуйте! Ожидайте восстановление закупки в ближайшее время.
И тут мне приходит ответ из службы поддержки Яндекса.
Здравствуйте!
Дело в том, что на момент последней индексации страниц, в их коде содержался мета-тег noarchive. Это явный запрет на показ сохраненной копии в результатах поиска. Сейчас тег убран, но сохраненная копия не появится пока робот не обновит документы в нашей поисковой базе.
В некоторых случаях, робот может посчитать изменения внесенные на странице незначительными, например, если текст на странице практически не поменялся или изменения касаются только html-разметки. Такие документы не обновляются в нашей поисковой базе, так как внесенные изменения на поиск никак не влияют.
С уважением, Платон Щукин
Служба поддержки Яндекса
//help.yandex.ru/
На следующий день я опять проверил свой блог в сервисе //xtool.ru/ . И о чудо! Моментальный подъем на 2 единицы!
Всякий раз, когда мы разглядываем результаты любого запроса, на странице выводятся ссылки "Сохраненная копия" и "Еще с сайта". Разберем сначала первую из них.
Индексация , всех сайтов, информацию на которых ищет Яндекс, сопровождается созданием копии этих сайтов, которые размещаются на серверах Яндекса. Да, грубо говоря, Яндекс хранит на своих серверах весь Рунет и значительную часть Интернета. Конечно, на серверах, в кэше, размещаются не все страницы сайтов, а также не все элементы сайтов - чаще всего хранится лишь текстовое содержимое. Также не нужно представлять себе Яндекс в качестве некоего суперархива, в который попадают все странички, которые когда-либо были в сети 1Для таких задач есть другие сервисы, например, http://www.archive.org . Кэш Яндекса динамический, его содержимое постоянно обновляется по мере изменения основных сайтов.
Как это использовать? Для чего нужна ссылка "Сохраненная копия". Представим себе, что некоторая газета опубликовала скандальную статью. Поисковый бот Яндекса невозмутимо прошелся по сайту этой газеты и проиндексировал ее, сохранив копию на свой сервер . Тем временем широкая общественность, возмущенная статьей, потребовала удалить ее с сайта, а журналиста, который написал статью - уволить. Главный редактор газеты, посыпая голову пеплом, выполняет эти требования. Статьи на сайте газеты больше нет. Драматические события развиваются чрезвычайно быстро, буквально в течении утра.
Тем временем, некоторый читатель, который проснулся к обеду, заходит в сеть и видит, что форумы и блоги кипят от обсуждений этой статьи. Он набирает в Яндексе ее название, переходит по ссылке на сайт редакции и получает ошибку 404. Статьи, конечно, больше нет, но есть ссылка "Сохраненная копия", перейдя по которой читатель получает удовольствие от шокирующих подробностей копии статьи.
Когда эта ужасная статья исчезнет из кэша Яндекса? Когда поисковый бот, скажем, после обеда еще раз пройдется по сайту газеты и проиндексирует его. Статьи там больше нет, значит содержимое кэша тоже обновится и наступит полная гармония в сети.
Нам, пользователям, остается ловить промежутки времени между переиндексацией Яндекса после удаления некоторых материалов. Можно сказать, что если где-то исчезли материалы, то в течении нескольких часов их еще можно будет вытащить из кэша Яндекса по ссылке "Сохраненная копия".
Конечно, не все столь драматично и интересно. Чаще всего ссылка "Сохраненная копия" помогает, когда материалы основного сайта недоступны по причине банального падения сервера.
"Сохраненная копия" - это возможность увидеть материалы, которые были перемещены, удалены или недоступны. Работает в течение определенного промежутка времени.
Персональный поиск
Терабайтный жесткий диск - это уже не фантастика, а самая обыденная вещь. Фантастикой становится найти документ на таком жестком диске, особенно когда не очень хорошо помнится, когда он был создан, кем он был создан и вообще где он лежит.
Операционная система Windows Vista содержит средства поиска "на лету". Достаточно ввести в проводнике название файла как в окне результатов, тут же будут выведены соответствующие документы.
Яндекс предлагает Персональный поиск http://desktop.yandex.ru/ , который обеспечивает возможность находить файлы и документы на локальном компьютере. Для начала работы скачиваем программу (размером около 4,4 МБ) и устанавливаем ее. Персональный поиск должен вначале проиндексировать все документы, которые находятся на нашем жестком диске. По умолчанию, процесс полной индексации запускается автоматически, когда мы не трогаем центрального процессора не превышает 35%. Однако лучше всего сразу после установки выполнить принудительную индексацию - чтобы получить работающий локальный поиск . Для этого в системном трее (возле часов) щелкаем по иконке установленной программы и в контекстном меню выбираем пункт "Индексация \ Принудительная" ( рис. 1.32 2):
Рис.
1.32.
Скорость завершение процесса зависит от мощности компьютера, размера жесткого диска и количества документов. На двухядерном процессоре с двумя гигабайтами оперативной памяти, набитый под завязку 250 гигабайтный винчестер проиндексировался за пару часов. При этом какого-либо замедления в работе не замечалось - параллельно использовался браузер с множеством открытых вкладок, Microsoft Word , Excel , почта и т.д. Словом, индексация требует определенных затрат машинных ресурсов, но она выполняется гораздо легче, чем, скажем, антивирусное сканирование. В течении индексации иконка Персонального поиска переливается, а как только она становится статичной - значит, можно использовать поиск . Для запуска поиска дважды щелкаем по иконке - открывается браузер , в котором есть строка поиска. Но это только интерфейс - персональный поиск работает без подключения к Интернету. Вводим название файла и результаты отображаются моментально ( рис. 1.33):
Все найденные результаты группируются по вкладкам (табам), расположенным в правой части страницы. На странице помощи Персонального поиска
Здравствуйте! Сегодня пост о наболевшем для большинства из начинающих сайтостроителей. Мне приходилось очень часто в комментариях отвечать на один и тот же вопрос — как удалить страницы из поиска , которые были проиндексированы ранее, но в силу сложившихся обстоятельств были удалены и больше не существуют, но по-прежнему находятся в индексе поисковых систем. Или же в поиске находятся страницы запрещенные к индексации.
В комментариях особо не развернешься, поэтому после очередного вопроса решил уделить данной теме отдельное внимание. Для начала давайте разберемся, каким образом такие страницы могли оказаться в поиске. Примеры буду приводить исходя из собственного опыта, так что если я что-то забуду, то прошу дополнить.
Почему закрытые и удаленные страницы есть в поиске
Причин может быть несколько и некоторые из них я постараюсь выделить в виде небольшого списка с пояснениями. Перед началом дам пояснение что подразумеваю под «лишними» (закрытыми) страницами: служебные или иные страницы, запрещенные к индексации правилами или мета-тегом.
Несуществующие страницы находятся в поиске по следующим причинам:
- Самое банальное — страница удалена и больше не существует.
- Ручное редактирование адреса web-страницы, вследствие чего документ который уже находится в поиске становится не доступным для просмотра. Особое внимание этому моменту нужно уделить новичкам, которые в силу своих небольших знаний пренебрежительно относятся к функционированию ресурса.
- Продолжая мысль о структуре напомню, что по-умолчанию после установки WordPress на хостинг она не удовлетворяет требованиям внутренней оптимизации и состоит из буквенно-цифровых идентификаторов. Приходится на ЧПУ, при этом появляется масса нерабочих адресов, которые еще долго будут оставаться в индексе поисковых систем. Поэтому применяйте основное правило: надумали менять структуру — используйте 301 редирект со старых адресов на новые. Идеальный вариант — выполнить все настройки сайта ДО его открытия, в этом может пригодиться локальный сервер.
- Не правильно настроена работа сервера. Несуществующая страница должна отдавать код ошибки 404 или с кодом 3хх.
Лишние страницы появляются в индексе при следующих условиях:
- Страницы, как Вам кажется, закрыты, но на самом деле они открыты для поисковых роботов и находятся в поиске без ограничений (или не правильно написан robots.txt). Для проверки прав доступа ПС к страницам воспользуйтесь соответствующими инструментами для .
- Они были проиндексированы до того как были закрыты доступными способа.
- На данные страницы ссылаются другие сайты или внутренние страницы в пределах одного домена.
Итак, с причинами разобрались. Стоит отметить, что после устранения причины несуществующие или лишние страницы еще долгое время могут оставаться в поисковой базе — все зависит от или частоты посещения сайта роботом.
Как удалить страницу из поисковой системы Яндекс
Для удаления URL из Яндекс достаточно пройти по ссылке и в текстовое поле формы вставить адрес страницы, которую нужно удалить из поисковой выдачи.
Главное условие успешного запроса на удаление:
- страница должна быть закрыта от индексации правилами robots или мета-тегом noindex на данной странице — в том случае если страница существует, но не должна участвовать в выдаче;
- при попытке обращения к странице сервер должен возвращать ошибку 404 — если страница удалена и более не существует.
При следующем обходе сайта роботом запросы на удаление будут выполнены, а страницы исчезнут из результатов поиска.
Как удалить страницу из поисковой системы Google
Для удаления страниц из поступаем аналогичным образом. Открываем инструменты для веб-мастеров и находим в раскрывающемся списке Оптимизация пункт Удалить URL-адреса и переходим по ссылке.
Перед нами специальная форма с помощью которой создаем новый запрос на удаление:
Нажимаем продолжить и следуя дальнейшим указаниям выбираем причину удаления. По-моему мнению слово «причина» не совсем подходит для этого, но это не суть…
Из представленных вариантов нам доступно:
- удаление страницы страницы из результатов поиска Google и из кэша поисковой системы;
- удаление только страницы из кэша;
- удаление каталога со всеми входящими в него адресами.
Очень удобная функция удаления целого каталога, когда приходится удалять по несколько страниц, например из одной рубрики. Следить за статусом запроса на удаление можно на этой же странице инструментов с возможностью отмены. Для успешного удаления страниц из Google необходимы те же условия, что и для . Запрос обычно выполняется в кратчайшие сроки и страница тут же исчезает из результатов поиска.
Если кто-то сейчас подумал, что в данном случае речь пойдет о резервной копии сайта, то он ошибается. Сохраненная копия сайта и резервная копия сайта далеко не одно и то же. Восстановить сайт из сохраненной копии сайта вы не сможете.
В интернете есть веб-архив, где находятся сохраненные копии сайтов. Если у вас сайт еще совсем молодой и ему всего несколько месяцев, то скорее всего сохраненная копия сайта в веб-архиве отсутствует. Если же ваш сайт представлен в интернете уже достаточно продолжительное время, то сохраненная копия сайта там должна быть.
Находится этот веб-архив по адресу http://archive.org/web/ и там можно посмотреть как выглядел ваш сайт в определенный промежуток времени. Сразу оговорюсь, что сохраняются копии сайтов далеко не каждый день, а порою даже не каждый месяц. Хотя конечно восстановить сайт из сохраненной копии сайта нельзя, но если повезет, то можно восстановить первоисточники.
Бывают иногда ситуации, что произошел на сайте какой-то сбой, или сайт взломали и какая-то информация оказалась утерянной. В этом случае хотя и не всегда, но может помочь сохраненная копия сайта. Я, например вытащила из сохраненной копии сайта некоторые свои статьи, которые уже считала безнадежно утерянными.
Делается это очень просто. Заходите на сайт http://archive.org/web/ В поле для ввода вводите адрес сайта, сохраненную копию которого вы хотите посмотреть и нажимаете на кнопку "Browse History". Сейчас на изображении в поле для ввода вы можете видеть адрес моего сайта.Попадаете на другую страницу и видите за какой год можно посмотреть сохраненную копию сайта. Там, где сайт сохранялся есть черные пометки.
Выбираете год, за который вы хотите посмотреть сохраненную копию сайта. Дни, когда сайт сохранялся находятся в светло-голубом круге. При нажатии на дату в голубом круге откроется сохраненная копия сайта. Другие даты не активны.
Загружается сохраненная копия сайта достаточно медленно. Сайтов в веб-архиве много.