История интернета и первых поисковых систем

Arpanet internet

Считаете, первой поисковой системой был Гугл? Эн нет, все произошло значительно раньше. Развитие первых компьютерных поисковых систем началось в начале 60-х годов XX века, когда в 1962 году профессор Массачусетского технологического института Джозеф Ликлайдер сформулировал концепцию глобальной компьютерной сети под названием «Galactic Network».

Идея начала воплощаться в жизнь сотрудником Министерства обороны США Ларри Робертсом (Larry Robberts), который предложил объединить отдельные компьютеры министерства в сеть, описанную Ликлайдером. Так появилась на свет легендарная сеть «ARPANET», которая потом превратилась в то, что сегодня называют Интернетом.

Arpanet

Первый узел ARPANET появился в 1969 году, и следующие несколько лет к нему подключались университеты и различные контрагенты, работавшие по заказам военного ведомства США. В 1973-м американское Министерство обороны инициировало новую программу, которая предусматривала обеспечивать надежную связь компьютеров между собой с помощью большого количества различных соединений. Целью такого решения было повышение устойчивости системы к попыткам массированно нарушить электронные средства коммуникации. Поскольку все это происходило во времена «холодной войны», речь шла об устойчивости к последствиям, которым грозило стратегическое ядерное противостояние.

Поскольку «ARPANET» представлял собой одну-единственную сеть, что на системном уровне снижало его способность сопротивляться различным взломам и атакам, возникла идея создания «сети из сетей», которая теоретически могла бы быть бесконечно большой. Этот проект и назвали «Internetting», а саму сеть «Internet».

Arpanet Network

По мере того, как количество присоединенных к Интернету компьютеров увеличивалось, объективно назрел вопрос о необходимости инструментов, позволяющих легко находить текст и другие файлы на удаленном компьютере, в идеале — на любом, где бы он не находился в Сети.

Доступ к файлам на ранних этапах развития Интернета осуществлялся в два этапа, каждый из которых выполнялся вручную — специальные команды терминала вводились с клавиатуры. Кстати, тогда компьютеры могли управляться только специально обученными операторами. Графического интерфейса, позволявшего комфортно работать с машиной неподготовленному человеку, тогда еще не изобрели. Так вот, с помощью сетевой службы Telnet устанавливалось прямое соединение с компьютером, на котором находился нужный файл. На данном этапе лишь налаживалась связь, ничего и никуда в этот момент еще не отправлялось. И только впоследствии с помощью специальной программы — FTP — можно было этот конкретный файл переслать/скачать.

История интернета и первых поисковых систем

Очевидно, что на поиски нужного документа уходила масса времени: нужно было знать точный адрес компьютера, на котором он находится. Тем временем файлов становилось все больше, интерес к ним постоянно рос, и для того, чтобы найти адрес одного из них, приходилось обращаться в дискуссионные группы компьютерщиков (так называемые сети по интересам, одна из них FIDONET) с просьбой о помощи, в надежде на то, что кто-нибудь из собеседников подскажет заветный адрес, по которому хранится нужная информация. В результате стали появляться специальные FTP-серверы, которые представляли собой хранилище файлов, организованных в директории, по принципу хранения информации на персональном компьютере. Такие серверы существуют и по сей день.

Первый работоспособный, общедоступный инструмент поиска файлов, хранящихся на FTP-серверах, назывался «Арчи» (Archie) и был создан в 1990 году группой системных администраторов и студентов старших курсов Университета Мак Джил (McGill) в Монреале. «Арчи» был прототипом сегодняшних поисковых машин, но значительно более примитивным и ограниченным в своих возможностях. Он «бродил по Интернету», разыскивал файлы на разных FTP-серверах и загружал список директорий каждого найденного сервера на собственный, формируя общий каталог. Этот каталог затем обрабатывался и хранился в центральной базе данных, внутри которой можно было организовать поиск. Поиск на собственном компьютере к тому моменту существовал уже издавна и, несмотря на то, что тоже требовал ввода команд, трудностей в работе не создавал. Однако без специальной подготовки использовать компьютер полноценно человек не мог. База данных находилась в Университете Мак Джил и обновлялась ежемесячно.

Archie

В 1991 году команда Марка Мак Кахилла (Mark McCahill) из Университета Миннесоты создала программу «Golden Gopher» (в переводе с английского «золотоискатель»), которая совмещала в себе оба протокола — Telnet и FTP. Все, что нужно было сделать пользователю для получения доступа к нужной информации — кликнуть по ссылке в меню. Таким образом, впервые в истории вводить команды уже не было нужно, так что отныне по ресурсам Интернета могли «бродить» и люди без специальной подготовки.

Golden gopher

Однако проблемы все же оставались. Одна из них, и достаточно серьезная, была связана с тем, что компьютеры были построены на разных платформах, которые порой не понимали друг друга. Здесь можно провести аналогию с людьми, которые говорят на совершенно разных языках и поэтому не могут построить более или менее осмысленную беседу. В те времена между собой конкурировали не операционные системы, как сейчас, а производители компьютерного «железа». Сегодня менее важно, кто производитель компьютера. Гораздо существеннее, что на нем установлено: Windows, Linux, Mac OS или какая-то другая операционная система. А тогда именно производители «железа» определяли лицо Интернета.

Объективно назревало решение, которое бы предоставило компьютерам разных платформ возможность работать в одном протоколе, что позволило бы просматривать страницы независимо от того, на какой конкретно машине они созданы. Необходимо было придумать такой универсальный протокол и сделать его удобным для пользователей. Первым, кто догадался объединить известную к тому времени простую форму гипертекста с универсальными коммуникационными протоколами, был Тим Бернерс-Ли (Tim Berners-Lee).

Тим Бернерс-Ли

Чтобы пользователь получил в руки совместимый с различными платформами и при этом простой инструмент, Бернерс-Ли создал HTML (HyperText Markup Language, то есть язык гипертекстовой разметки). Все Web-документы, отформатированные с помощью HTML-тегов, читаются и отображаются компьютерными устройствами абсолютно одинаково по всему миру, независимо от типа компьютера, на котором человек открыл веб-страницу. Поэтому и сегодня при открытии файла в формате HTML, например, на машине, работающей под управлением операционной системы MacOS, можно быть уверенным в том, что этот файл будет выглядеть точно так же и на компьютере под управлением Windows.

Тим Бернерс Ли

Впоследствии Бернерс-Ли придумал Universal Resource Identifier — метод стандартизации адресов, при котором компьютерам в Интернете присваиваются уникальные адреса (сегодня мы их называем URL, это то, что в привычном для пользователя виде обычно начинается с «www»). Наконец, изобретатель собрал вместе все эти элементы, создав систему в форме Web-серверов, которые хранят HTML-документы и предоставляют их другим компьютерам, создавая HTML-запросы по определенным URL.

Viola Browser

Но Бернерс-Ли хотел видеть Интернет как информационное пространство, в котором можно получить свободный доступ к данным любых типов. На ранних этапах развития глобальной Сети преобладали простые текстовые документы HTML. В то время существовали системы поиска информации на локальных машинах, поэтому появилось несколько серверов, которые пытались проиндексировать какую-то часть страниц Web и прежде, чем отправляться за чем-то в интернет, предлагали поискать необходимые сведения на этих серверах.

При этом основная проблема заключалась в том, чтобы отыскать страницы, которые в принципе можно индексировать. Поскольку Интернет лишен централизованной структуры и общего содержания, единственный способ, позволявший добиться этого, заключался в поиске ссылки на страницу и переходе по этой ссылке, с последующим добавлением найденного ресурса к индексу.

Однако вскоре возникла еще одна проблема. Наиболее популярные страницы интернета посещались поисковыми краулерами («пауками») чаще других, так как на них указывала максимальное количество обратных ссылок. Пауки, количество и возможности которых были ограничены, «зависали» на таких страницах и впустую тратили ресурсы, оставляя непосещаемыми множество других URL-адресов, менее популярных. Для решения этой проблемы нужно было создать программу, которая позволила бы игнорировать уже проиндексированные страницы и сосредоточиться на поиске новых. Иначе это грозило проблемой с ресурсами.

В 1993 году студент-физик Массачусетского технологического института Мэтью Грей (Mathew Gray) создал первый широко известный Web-робот, названный «World Wide Web Wanderer» или просто «Wanderer», что в переводе с английского означает «скиталец» или «странник». Дело в том, что Грей заинтересовался статистикой. Результатом такого увлечения стало появление «путешественника»: изобретение было призвано помочь студенту проанализировать размеры интернета и скорость его роста. «Вандерер» просто приходил на страницу и определял сам факт ее существования, не занося в базу содержимого найденного адреса. Несмотря на то, что создатель поискового бота не преследовал никаких других целей, его детище, фактически дебютировало в «забеге» прогрессивных интернет-технологий и легло в основу более сложных программ, которые к умению «скитаться» по Сети добавили способность сохранять содержимое страниц в базе данных после их посещения.

Wanderer

Случилось так, что 1994-й год стал переломным в истории создания поисковых машин. Студент выпускного курса Вашингтонского университета Брайан Пинкертон (Brian Pinkerton) устал от бесконечной череды электронных писем, которые посылали ему друзья, с информацией о добрые сайты, найденные ими в Интернете. Безусловно, сайты были ему нужны, однако шквал ссылок с их адресами раздражал, а посещение всех страниц отбирало немало времени. Однако Пинкертон нашел решение проблемы — он создал бота, которого назвал WebCrawler (что-то вроде «вездеход для Интернета»). «ВебКраулер», как и «Вандерер», «ползал» со страницы на страницу, запоминая при этом весь текст Web-документа и сохраняя его в базе данных, которая была доступна поисковым словам. Изобретатель представил свое детище публике в апреле 1994 года, причем сделал это виртуально — через Web-интерфейс. База данных в тот момент содержала информацию с 6000 самых разнообразных серверов. Уже через неделю она начала расширяться, причем ежедневный прирост составлял более 100 новых серверов. Так родилась первая поисковая машина.

Тогда же был введен в обиход интернет-пользователей термин «краулер» или «паук», который применяется по отношению к сканерам и интернет-ботам до сегодняшнего дня.

WebCrawler

Ну а дальше ситуация развивалась, как говорится, «по накатанной». Хронологию возникновения и развития современных поисковых машин интернета можно представить так:

Оценка:
( 1 оценка, среднее 5 из 5 )
Подписка на KRASHENININ.TECH

Получайте регулярные обновления на почту!


Author
Виталий Крашенинин/ автор статьи
Digital-жрец блога Krasheninin.tech, публицист, исследователь веб-технологий. С 2011 года в IT. Сфокусирован на кибербезопасности, системном администрировании, создании сайтов и SEO. Подробнее>>
Не забудьте поделиться материалом в соцсетях:
KRASHENININ.TECH - блог о веб-технологиях, и не только
Подписаться
Уведомление о
guest
0 Комментарий
Встроенные отзывы
Просмотреть все комментарии
0
Есть мысли? Прокомментируй!x
()
x
Читайте ранее:
6 пунктов SEO аудита
На что я обращаю внимание, когда провожу SEO аудит?

Отвечаю на вопрос читателя: "Виталий, на что ты обращаешь внимание, когда проводишь SEO аудит?". Вот мои 6 основных пунктов, которые...

Закрыть