Как найти снимки сайта

Find the Wayback Machine useful?
DONATE

Как найти информацию в Интернете, которую не отображают такие продвинутые поисковые системы как Google или Яндекс? Можно ли найти сайты, которые когда-то существовали в сети, но уже не работают, удалены или же заменены новыми? На эти вопросы мы постараемся дать ответ в этой статье.

Всемирный Веб архив сайтов интернета

Хранилище интернет-архив конечно не содержит всех страниц, которые когда-либо были созданы. Но шанс найти интересующий вас сайт и его архивную копию достаточно велик.

Самый мощный архив веб-сайтов доступен на Archive.org по адресу www.archive.org. Он индексирует  веб, виде-, аудио и текстовые материалы, которые доступны в интернете.

Запустите ваш любимый веб-браузер и введите www.archive.org в адресной строке . Через некоторое время вы увидите главную страницу сайта  интернет-архива. Она разделена на несколько частей. Каждая часть позволяет искать различный тип контента.

Раздел видео, содержит на момент написания статьи более 830 тысяч фильмов.

Раздел аудио, включает в себя более 2 миллионов записей, при это доступен еще раздел живой музыки, который насчитывает около 200 тысяч прямых трансляций с концертов в Интернет.

Однако наиболее интересным и значимым разделом сайта  Archive.org является  раздел  web-страницы. На сегодняшний день он позволяет получить доступ к более чем 349 миллиардам архивных веб-сайтов. Для данного раздела даже выделен отдельный поддомен web.

Как пользоваться веб архивом

Если вы хотите выполнить поиск в архиве веб-страниц, введите в адресную строку вашего браузера адрес web.archive.org.ru, после чего в поле поиска укажите адрес интересуемого сайта. Например, введите адрес домашней страницы  Яндекса http://yandex.ru и нажмите клавишу «Enter».

Зелеными кружочками обозначены даты когда была проиндексирована страница, нажав на него вы перейдете на архивную копию сайта. Для того чтобы выбрать архивную дату, достаточно кликнуть по временной диаграмме по разделу с годом и выбрать доступные в этом году месяц и число. Так же если вы нажмете на ссылку «Summary of yandex.ru» то увидите, какой контент был проиндексирован и сохранен в архиве для конкретного сайта с 1 января 1996 года ( это дата начала работы веб архива).

Нажав на выбранную дату, вам откроется архивная копия страницы, такая  как она выглядела на веб-сайте в прошлом. Давайте посмотрим на Яндекс в молодости, ниже приведен снимок главной страницы Яндекса на 8 февраля 1999 года.

Вполне возможно, что в архивном варианте страниц, хранящемся на веб-сайте Archive.org, будут отсутствовать некоторые иллюстрации, и возможны ошибки форматирования текста. Это результатом того, что механизм архивирования  веб-сайтов, пытается, прежде всего, сохранить текстовый контент web-сайтов. Помните об еще одном ограничении онлайн-архива. При поиске конкретного контента, размещенного на определенной архивной странице, лучше всего вводить ее точный адрес, а не главный адрес данного веб-сайта.

Возвращаясь к нашему примеру: вы получили доступ к архивному контенту, размещенному на главной странице Яндекса, при нажатии на ссылки в архивной версии могут как загружаться так и не загружаться другие страницы сайта. Так в нашем варианте страница «последние 20 запросов» была найдена, а вот страница «Реклама на yandex.ru» не нашлась.

Подводя итоги можно сказать, что web.archive.org поистине уникальный и грандиозный  проект. Он  действительно является машиной времени для интернета, позволяя найти удаленные сайты и их архивные версии . Как использовать предоставляемые возможности решать только вам, но использовать их можно и нужно обязательно !

Как скачать сайт из веб архива

Если вы желаете восстановить сайт из веб-архива, то вам в этом поможет программа Web Archive Downloader 6.0

У 9 из 10 наших читателей есть свой сайт или интернет-магазин на 1C-UMI. Кто-то создал его недавно, а кому-то уже можно праздновать юбилей. За годы развития веб-ресурсы претерпевают множество изменений во внешнем виде и функционале. Иногда хочется вспомнить, каким же был ваш проект раньше, когда всё только начиналось. Или поднять какую-то утерянную информацию, которая была на сайте ранее. Сделать это легко при помощи чудо-сервиса Wayback Machine.

Как пользоваться веб-архивом

Откройте сервис, вбейте в строку поиска домен или полный адрес своего сайта. Сервис автоматически начнет поиск и через пару секунд покажет вам результаты в виде временной шкалы и календаря с датами, когда были сделаны снимки ресурса.

Чтобы перейти к конкретному году, кликните по соответствующему блоку на шкале. Затем в календаре ниже нажмите на одну из дат, выделенных голубым цветом. Если в тот день было сделано несколько снимков, при нажатии на дату вы увидите окно для выбора нужного вам времени. Если снимок был один, вы сразу попадете на сохраненную версию.

Вот так выглядел наш сайт 1C-UMI летом 2012 года:

Чем дольше ресурс работает, тем больше его снимков будет в WebArhive. Для путешествия в прошлое используйте временную шкалу и блок переключения месяцев и чисел справа от нее.

Самое классное — что данный сервис не делает скриншоты сайтов, а сохраняет их целиком. Таким образом, вы увидите версию 10-летней давности и, все разделы, формы, почитаете тексты, полистаете изображения и многое другое.

Какие сайты попадают в веб-архив

Оказаться в Wayback Machine может любой сайт. Особенно это касается тех веб-ресурсов, которые находятся в каталоге DMOZ. Но так как сейчас туда свое «детище» уже не добавить, будет достаточно того, что на вашу площадку ссылаются сайты, снимки которых уже присутствуют в веб-архиве. А даже если таких ссылок нет, ваш ресурс все равно может попасть в базу сервиса. Главное, чтобы в его файле Robots.txt не было запрета.

Как проверить? Для сайтов на 1С-UMI откройте раздел «Реклама/SEO → Управление robots.txt» в панели управления сайтом и проверьте, нет ли в нем следующей записи:

User-agent: ia_archiver

Disallow: /

По окончании процесса окно загрузки закроется, и вы сможете просмотреть сохраненный снимок, побродить по всем разделам сайта и т. д.

Чем будет полезен веб-архив для вас

Данный сервис годится не только для того, чтобы смотреть, в каком состоянии была ваша страничка или любой другой ресурс некоторое время назад. С его помощью вы можете восстановить свой сайт, его страницу, какой-то текст или элемент, если вдруг по какой-то причине данные были стерты. Чтобы этого не произошло, не забывайте почаще выполнять резервное копирование вашего сайта, ну, а на экстренный случай имейте в виду WebArchive. Но имейте в виду также, что WebArchive делает снимки по своему усмотрению с непредсказуемой частотой, поэтому нужной вам версии сайта в нем может и не оказаться.

Вручную восстанавливать ресурс из веб-архива очень долго и для этого нужно неплохо разбираться в сайтостроении и верстке. Однако при желании восстановление можно автоматизировать при помощи онлайн-инструмента ARCHIVARIX.

До 200 файлов сервис восстанавливает бесплатно, а при большем количестве взимает небольшую плату.

Веб-архив может быть вам полезен и тем, что он содержит колоссальное количество уникальных текстов, которые опубликованы на канувших в небытие ресурсах. Как это можно использовать с выгодой для своего бизнеса? Допустим, вы запускаете сайт. Сами писать тексты не можете из-за отсутствия времени, а на оплату услуг копирайтера денег нет. Чтобы не откладывать запуск проекта, попробуйте найти уникальный контент в Wayback Machine.

Найдите любой сайт, близкий вашему по тематике, откройте его содержимое, скопируйте тексты и прогоните их через софт или сервис проверки на плагиат. Статьи, которые окажутся уникальными (от 90% и выше), вы можете без зазрения совести опубликовать на своем сайте. Это не будет считаться хищением, так как тексты после удаления ресурсов стали ничейными.

Для поиска таких сайтов можно использовать базы хостинговых компаний. Обычно они публикуют список тех доменов, срок действия которых истек или вот-вот истечет. Существуют и специальные программы, которые ищут освободившиеся домены по нужным параметрам.

Несколько фактов о веб-архиве

Первый запуск сервиса WebArchive состоялся в 1996 году. С тех пор этот инструмент сумел накопить в своей базе более 338 миллиардов сайтов. Представьте, сколько это! А дисковое пространство, которое занято информацией в архиве, составляет 1015 Терабайт. Если перевести на математический язык, то это квадриллион.

На следующий год после основания сервиса WebArchive добавил в свою базу сам себя. Хотите посмотреть, как он выглядел на тот момент? Тогда взгляните на изображение ниже.

Это самый первый его снимок от 26 января 1997 года.

На данный момент веб-архив считается наилучшим способом из бесплатных для создания снимков интернет-ресурсов. Возьмите его на вооружение.

Раньше история человечества фиксировалась на картинах, в книгах, письмах и газетах. Эти носители хранятся в картинных галереях, крупных библиотеках и исторических архивах. Сейчас значимые события обязательно появляются на сайтах, видеохостингах и в социальных сетях. Но сайты, как и книги, не вечны. Их удаляют, как только они становятся не нужны. Для сохранения этих данных есть веб-архив. Он доступен всем пользователям в любое время.

Что такое веб-архив и как им пользоваться

Веб-архив (web archive) – это бесплатная электронная библиотека, где вместо книг хранятся сайты. Сервис периодически делает снимки (снэпшоты) веб-ресурсов и сохраняет их. То есть вы всегда сможете увидеть, как выглядел сайт в момент, когда была сделана копия.

Как работает веб-архив? У каждого сайта могут быть сотни сохраненных копий. Частота снимков зависит от популярности веб-ресурса: у страниц с многотысячным трафиком копии могут делаться ежедневно или даже пару раз в день.

Есть несколько веб-архивов, например, archive.md (также он размещен на адресах archive.ph и archive.today), но самым популярным и удобным считается Wayback Machine. Сервис был создан в 1996 году Брюстером Кейлом. И создавался с целью сохранить историю развития интернета. А с 1999 года Wayback Machine стал фиксировать также аудио, видео, иллюстрации и ПО. За почти 30 лет он успел собрать 737 миллиардов страниц, поэтому далее мы будем рассматривать именно этот веб-архив.

Для чего нужен архив сайтов

1. Для восстановления своего сайта. Никто не застрахован от поломки веб-ресурса. Конечно, лучше настраивать автоматическое резервное копирование. Но если его у вас его всё-таки нет, не беда. Найдите ближайшую версию сайта в веб-архиве и восстановите ее. Восстановить можно как вручную, так и с помощью дополнительных программ.
2. Для анализа конкурентов. Ваши конкуренты могут тестировать лучшее расположение кнопок и баннеров, менять меню и цветовую гамму сайта. Всю историю изменений вы можете проследить в веб-архиве и сделать выводы для развития своего проекта.
3. Поиск информации с удаленного веб-ресурса. Некоторые проекты закрываются, сайты удаляются и, возможно, ценная информация теряется. Поисковик может долго давать вам ссылку на уже нерабочий сайт. Но как узнать, что там было? Просто зайдите в веб-архив.
4. Проанализировать историю домена перед покупкой. Покупая дроп-домен, вы рискуете приобрести веб-адрес с плохой историей: сайт на этом домене мог в лучшем случае быть непопулярным, а в худшем на нем распространялся недобросовестный контент, вследствие чего веб-адрес попал в черный список. Если у домена плохая история, проекту его нового владельца не поздоровится.
5. Для проведения интересного расследования или погружения в приятную ностальгию. Веб-архив ― это современный кладезь знаний. В нем можно найти много интересного, проследить, как развивались крупные компании и какие интересные проекты реализовывались, на заре эры интернета.
6. Поиск интересного контента для рерайта. Если сайт не выглядел современно, как сейчас, это не значит, что над его контентом не работали талантливые люди. Вы можете вдохновиться или даже взять информацию со старых страниц и опубликовать её на своем сайте. Но об этом мы поговорим позже.

Как посмотреть страницу в веб-архиве

Чтобы проследить историю конкретного сайта, вам нужно знать только его домен.

1. Перейдите на сайт Wayback Machine.
2. Введите адрес сайта или конкретной страницы.

3. Нажмите BROWSE HISTORY:

   

4. Перед вами появится временная шкала и календарь. Вы можете заметить, что разные даты имеют разный цвет:
   ✅ голубой ― при архивации не возникло проблем,
   ✅ зелёный ― был настроен редирект,
   ✅ оранжевый ― при архивации произошла ошибка на стороне клиента,
   ✅ красный ― проблемы на стороне сервера.

   Чаще всего нужны даты, которые находятся в голубых или зеленых кружках.
   

5. Выберите необходимый год, месяц и дату. Теперь вы можете увидеть прошлые версии сайта. Вперед к изучению!

Вот так выглядел наш сайт в марте 2016 года

Если вы не знаете конкретный URL сайта, в поиск можно вбить ключевое слово, название компании или бренда. Архив выдаст вам все подходящие варианты, которые найдет у себя в хранилище.

С чем вы можете столкнуться

Во-первых, в некоторых версиях сайта может не быть картинок и элементов дизайна. К сожалению, тут ничего не поделаешь. В этой ситуации можно попробовать посмотреть другой снимок.

Во-вторых, сайт может вообще отсутствовать. Это происходит в случае, если:

1. владелец веб-ресурса потребовал удалить копии его контента,
2. снимки сайта удалили, так как проект нарушал закон о защите интеллектуальной собственности,
3. создатели сайта ограничили доступ роботам веб-архива.

Как самостоятельно добавить версию сайта

Хотите, чтобы ваш сайт точно сохранился в архиве и копий было много?Возьмите дело в свои руки и добавьте копию сайта самостоятельно.

Для этого:

1. В правом нижнем углу найдите поле Save Page Now.
2. Введите в поле домен сайта и нажмите Save page:

Это актуально для небольших сайтов с маленьким трафиком, так как копии таких ресурсов делаются редко.

Как удалить копии сайта и запретить дальнейшее сохранение в веб-архив

Может случиться и обратная ситуация, когда владелец сайта не хочет, чтобы его сайт попал в веб-архив. Такое сделать тоже нетрудно. Для этого вам нужно ограничить веб-архиву доступ в robots.txt. Файл находится в корневой папке сайта. В robots.txt нужно добавить код:

User-agent: ia_archiverDisallow: /User-agent: ia_archiver-web.archive.orgDisallow: /

После вписанных в файл настроек существующие версии сайта удалятся из архива, а новые перестанут создаваться до тех пор, пока домен зарегистрирован и в robots.txt указаны настройки. Если регистрация домена закончится и он не будет продлен, старые версии сайта вернутся в веб-архив. То есть удалить историю сайта одним движением навсегда не получится.

Как восстановить сайт из веб-архива

Восстановление сайта можно сделать двумя способами:

1. с использованием программ-помощников.
2. вручную.

Хотим предостеречь! Веб-архив действительно может помочь в критической ситуации, но он ни в коем случае не заменит бэкапы. С какими проблемами вы можете столкнуться:

1. Не все страницы сохраняются. Веб-архив не делает полную копию сайта. В основном 50-70%. Самые непопулярные страницы, скорее всего, будут потеряны. Однако, если никакой альтернативы нет, это лучше, чем ничего.
2. Код может быть замусорен. Часто веб-архив добавляет свои строки кода, что влияет на чистоту написанного сайта. После восстановления код, скорее всего, придется чистить.
3. Могут измениться URL страниц.

Способ 1. С использованием программ

Сейчас уже есть много программ, которые помогут скачать сайт из веб-архива. Вам останется только поместить файлы веб-сервиса на хостинг. Примеры программ:

✅ Archivarix,

✅ Wayback machine downloader,

✅ Rush Analytics,

✅ RoboTools.

Несмотря на то что сервисы платные, стоят они недорого. Также они могут почистить код и привести скачанные данные в приемлемый вид. Учитывая стоимость работ программиста, это действительно дешевле.

Способ 2. Вручную

1. Перейдите на сервер или компьютер, куда нужно скачать копию сайта. Установите Ruby (если нет): sudo apt install ruby
2. Теперь установим утилиту для скачивания сайта: sudo gem install wayback_machine_downloader

Дальнейшие действия зависят от того, какая версия сайта вам нужна. Если вам нужна самая последняя версия сайта, введите команду:

wayback_machine_downloader http://site.com

Где http://site.com ― URL нужного сайта.

Если вас интересует конкретная версия сайта:

1. Перейдите в веб-архив и выберите нужную версию сайта.
2. Скопируйте из URL, который появится при загрузке выбранной версии, только цифры, которые идут после web/:

   
   https://web.archive.org/web/20220322041638/https://2domains.ru/

3. Вернитесь на сервер/компьютер, куда хотите скачать копию сайта, и введите:

wayback_machine_downloader http://example.com —from 20220322041638

или

wayback_machine_downloader http://example.com —to 20220322041638

Где 20220322041638 ― номер версии, который вы скопировали из веб-архива.

Чем отличаются команды:

✅ —from ― скачивает файлы только с указанной даты или более поздней версии;

✅ —to ― скачивает файлы только с указанной даты или более ранней версии.

Другие параметры для скачивания можно прочитать здесь. Например, при вводе параметра —exclude можно скачать файлы конкретного типа (pdf, .jpg, .txt).

Теперь ждите, когда скачаются все файлы сайта, и можете переносить их на хостинг. Скачивание файлов может занять как несколько часов, так и несколько дней. Время скачивания зависит от размера сайта.

Теперь нужно просмотреть файлы и привести все в порядок. Как мы уже говорили, у полученного из веб-архива HTML-кода может быть много ненужных строк.

Можно ли использовать уникальный контент из старых материалов

Люди работают над продвижением сайтов. Наполняют их контентом: ведут блоги, делятся советами и лайфхаками, делают расследования и создают продающие тексты. Однако проекты заканчиваются, нередко компании удаляют свои сайты, блогеры перестают вести странички и т. д. Можно ли пользоваться всем этим полезным контентом в своих целях? Конечно, да. Мы не будем рассуждать об этической составляющей этого действия. С точки зрения закона и со стороны поисковых систем никаких претензий не будет.

Через некоторое время удаленные сайты перестают индексироваться поисковыми системами, то есть, если вы перезальете текст с нерабочей страницы к себе на веб-ресурс, система будет считать его уникальным.

Главное, чтобы кто-то другой не сделал также с выбранной вами статьей. Вполне возможно, что вы ни один такой умный искатель контента. Поэтому, как только вы нашли подходящий текст, обязательно проверьте его на уникальность. Сделать это можно, например, на text.ru или content-watch.ru.

Проверить, свободен ли домен, можно в Whois или посмотреть среди освободившихся доменов.

Где хранится история интернета? Теперь вы знаете ответ. Вперед за удивительными и интересными открытиями!

Была ли эта статья полезной?