20 лет эволюции Интернет, а какой Вы помните сеть 20 лет назад ?
Я хорошо помню то время, когда в 2001 году, спустя десятилетие после начала эры www, первый раз вышел в Интернет-сеть. Это было то волшебное чувство, когда перед тобою открывается неограниченный мир информации, который, в сравнении с теперешним, был весьма ограничен. И речь даже не о том, что не было ни социальных сетей, ни Инстаграмов, ни Youtube, большинство из этих соц. сетей лишь убивают время в наши дни, хотя некоторые и позволяют получить долю полезной информации, чем народ в них сидящий, занят далеко не всегда. Что говорить, фотографий в нормальном разрешении почти не было, про стримминг видео говорить и не приходилось, вэб был довольно простым и сайты старались писать на голом html, делая их как можно проще и легче для ускорения загрузки при использовании низкоскоростных соединений и уменьшения потребления ресурсов на стороне сервера. Но какое же хорошее это было время :)
В это же время в США уже вполне себе были распространены выделенные линии среди домашних абонентов со скоростью подключения до 768 Кбит / с и более. Ещё в 1998 году можно было обзавестись корпоративной линией c подобной скоростью в крупных городах США по цене порядка $400 / месяц, а для домашних пользователей были доступны варианты высокоскоростного Интернет-доступа от $99 за 128К канал, годом позднее уже можно было получить 384К за $40, цены постоянно снижались. В Украине, как в прочем и в РФ, был доступен в основном только дорогой и медленный Dial-Up. Выделенные линии были чем-то невероятным и позволить себе канал в 1 Мбит / с или 2 Мбит / с мог разве что Интернет-провайдер, который предоставлял доступ в сеть для абонентов посредством модемного подключения для сотен и даже тысяч абонентов. Провайдер, обладавший подключением в 1 Мбит / с в Украине или РФ, реально мог обеспечивать доступом в Интернет город с населением в 100 000+ человек. Услуга не была ещё столь массовой и % пользователей был небольшой, особенно в регионах.
В США же первый Dial-Up стал доступным для домашних пользователей с 1991 года, когда цена доступа в сеть составляла порядка $4 в час за доступ на скорости 14 Кбит / с и пик количества абонентов этой услуги пришелся на 1996-1998 годы, когда стоимость доступа в Интернет снизилась до $20 / месяц за 35 часов доступа на скорости до 56 Кбит / с или, порой, даже до варианта тарифа без учёта времени. Ситуация в Англии была примерно аналогичной. Стоимость доступа на скорости от 14 до 56 Кбит / с (а в реальности качество телефонной линии давало возможность работать на скоростях не более 52 Кбит / с) в 1996-1998 годах варьировалась от 1 пенса в минуту до предложений бесплатного подключения ближе к 1998 году от Yahoo, который предоставлял доступ в обмен на просмотр его ресурсов, чем раздражал Интернет-провайдеров, предлагающих коммутируемый доступ в Интернет за деньги. В Австралии из-за большой удаленности региона dial-up был намного более дорогим и хорошая скорость появилась позднее, к примеру доступ на скорости около 14 Кбит / с стоил 30 AUD в месяц в 1995 году. В регионах c большим количеством нефти, в таких богатых странах, как Саудовская Аравия, количество абонентов к началу двухтысячных стремительно росло и составило почти миллион человек, что составило более 5% населения и значительно превышает показатели в Украине и РФ для этого времени.
Но вернемся к нашим регионам — Украине и РФ.
Так в РФ в 2001 году насчитывалось всего лишь 3,8 млн пользователей Интернет-сети, которые выходили в сеть по меньшей мере раз в месяц, что составляет лишь 2,6% населения, а в Украине ещё меньше — 250 000 клиентов на около 400 провайдеров. В 1999 году в столице, для сравнения, насчитывалось только 10 000 абонентов, доступ к которым обеспечивало 50 провайдеров.
Двухтысячные стали периодом, когда небольшие Интернет-провайдеры зарабатывали сотни и тысячи долларов в час, с модемного пула с сотнями мигающих лампочек, предоставляя доступ в Интернет по телефонной линии на скоростях часто близких к 14 Кбит / с, а в лучших случаях — 33 Кбит / с. Модемный пул физически представлял собой стандартный каркас, где размещалось определённое количество безкорпусных модемов. Максимальная скорость подключения в 56 Кбит / с зачастую была недостижима из-за качества телефонной линии или отсутствия хороших модемов, как на стороне провайдера, так и пользователей.
Да, скачивание файла размером в 2 МБ было целым событием! Не сложно посчитать, что при скорости 33 Кбит / с это занимало около 2*1024*8/33/60 = 8,27 минут. Потому в то время web содержал изображения с низким разрешением на веб-сайтах, максимум до 400-500 пикселей по большей из сторон и размером 20-80 КБ, на самой же странице располагалась миниатюра размером до 70-100 пикселей, при нажатии на которую можно было просмотреть «полноразмерную» картинку, часто в отдельном окне, никакие технологии типа AJAX и прочего ещё не поддерживались. Нередко приходилось ожидать загрузки веб-страницы несколько минут и изображения «выползали» постепенно, особенно, когда их было много на странице. Иногда модемное соединение «подвисало» и картинка выползала недогрузившейся, в таком случае приходилось кликать на изображение правой кнопкой мыши, чтоб выполнить команду «обновить».
Ну и не будем забывать про такие неудобства, как «занятый» телефон, во время использования модема или обрыв Интернета при входящем звонке, особенно не повезло владельцам «спаренных» телефонов, когда нужно было делить телефонную линию с соседями и порой часами ожидать, пока соседская бабушка завершит день звонков и общения. Проблема была решена лишь позднее, как только появились умные модемы и цифровые телефонные линии. Что в прочем, добавило других проблем. Телефонисты, научившись учитывать минуты, решили резко сделать звонки внутри города платными, тем самым цена на Интернет-подключение возросла в разы.
До сих пор помню свой первый внешний модем, сейчас такое в продаже можно найти за сумму порядка $4 :) и в основном использовать для передачи факсимильных сообщений:
Предложения серьезно появляются в сети в наше время, хотя и крайне редко :)
История развития Интернета в Украине
Хотелось бы отдельно остановиться на истории развития Интернета в нашем регионе. С целью установления понимания того, насколько вообще подешевела передача данных и какие уникальные возможности мы имеем с Вами в наше время, в сравнении с начальной эпохой. Так как раздел вышел довольно объемным, я решил вынести его на Geektimes в отдельную публикацию — 20 лет эволюции Интернет в Украине, а какой Вы помните сеть 20 или 10 лет назад?. Там же заодно и проводим опрос в комментариях и просим рассказать, как Вы впервые вышли в Интернет-сеть, с использованием какой технологии доступа и какая была скорость подключения.
Распространение Интернет и повышение скорости доступа, а значит и доступности информации, приводит к стремительному развитию IT-сектора в области серверного оборудования и построения дата-центров, но перед тем, как его рассматривать, всё же стоит отдельно остановиться на развитии Web.
Развитие Web
Как мы помним из истории, Интернет берёт свое начало в 1969 году, когда первая попытка передать данные — слово LOGIN, между Калифорнийским университетом Лос-Анджелеса и Стэнфордским научно-исследовательским институтом, окончилась провалом — система «зависла» на третьей букве. Такое неудачное начало было у ARPANET — первой сети по обмену данными между научными учреждениями, которая к 1974 году охватила множество научных центров:
Однако Web, как такового, все ещё не существовало. Не существовало даже единого протокола передачи данных — TCP/IP, который помог решить множество проблем, а основную — проблему с потерей данных на маршутре из-за качества линии. Он появился в начале 80-х и 1 января 1983 года сеть ARPANET перешла на него. Хоть эта дата и считается рождением Интернета, но никакого Web в то время ещё не существовало.
В 1980 году сотрудник Европейской лаборатории ядерных исследований (CERN), Тим Бернерс-Ли, выдвинул идею создания единой гипертекстовой сети, которая позволила бы связать тексты воедино, посредством перекрестных ссылок. Идея выглядела на бумаге примерно так:
За 10 лет работы был создан HTML-протокол, который позволил обмениваться графическими файлами, а также URL-идентификатор, благодаря которому каждой веб-странице можно было присвоить адрес. В 1989 году ARPANET прекращает своё существование, а в ноябре 1991 года, написав собственноручно первый «веб-сервер» и «веб-браузер» в среде NeXTStep Тим Бернерс-Ли публикует в сети первый Интернет-сайт, который являлся сетевым каталогом научной документации CERN:
До сегодняшнего дня дошли лишь скриншоты того времени, сам сайт уже давно неактивен. Но есть сайт, который открылся в том же году и сохранился до нашего времени. ACME Laboratories — Graphics * Unix * Networks * Fun.
В 1993 году мировой Интернет насчитывал уже 623 сайта, начинают открываться сайты развлекательного плана, типа Doctor Fun, где Дэвид Фарли еженедельно рисовал комиксы для Интернет-пользователей на протяжении более, чем 10 лет.
В этом же году берёт своё начало знаменитая база кинофильмов — IMDB (Internet Movie Database), хостинг которой предоставил университет в Кардиффе (Уэльс) и которая впоследствии стала одним из 50 самых посещаемых сайтов мирового Интернета. Поначалу этот проект вёлся на общественных началах и его создатели занимались им в свободное от основной работы время, позднее база переехала на собственные северы в США и Англии, уже в 1996 году потребовалось около 9 выделенных серверов. Проект несколько раз предлагали купить, но добро было предоставлено лишь Amazon в 1998 году, когда в обмен на инвестиции компания получила право продавать кинопродукцию, через сайт IMDB. Пожалуй, это самое удачное соглашение между коммерсантами и энтузиастами, которое привело лишь к дальнейшему развитию ресурса и не причинило какого-либо вреда.
Также в 1993 году благодаря инициативе студентов из Калифорнийского университета открывается первый музыкальный архив — Internet Underground Music Archive, цель которого в том, чтоб начинающие музыканты имели возможность поделиться собственными творениями с более широкой аудиторией, нежели друзья и соседи. Сам сайт уже недоступен, но контент можно найти в Интернет-архиве.
В марте 1993 года, как только браузеры научились отображать изображения, в компьютерной лаборатории Кембриджского университета была установлена первая в мире веб-камера, которая транслировала в разрешении 128*128 пикселей «жизнь» кофеварки, благодаря чему каждый мог узнать свободна ли кофемашина и не наматывать лишние сотни метров по коридорам. Трансляция была завершена в 2001 году, а сама кофе-машина была продана с аукциона eBay за 3 350 фунтов стерлингов. На втором снимке ниже запечатлён момент отключения веб-камеры от сети Интернет.
Первые поисковые системы — WebCrawler и Yahoo! появляются в 1994 году, тогда же появляются и первые рекламные баннеры. Нынешний портал Wired разместил баннер-рекламу AT&T.
В рунете первый сайт появляется в 1994 году, он был доступен по адресу www.ru, однако до сегодня сохранились лишь его репродукции.
К 1996 году рунет насчитывает уже аж 30-50 сайтов, появляются первые поисковые системы — Rambler, а примерно через год Yandex, который обошёл конкурента за счёт лучшего морфологического анализа, а также «вирусной» рекламы на ТВ, уже в начале 2000-х:
Примечательно, что в начале поисковые системы напрочь не воспринимали кириллицу. А по всему Интернету было индексировано порядка 100 000 документов. Очень интересен проект EvolutionWeb, который отображает то, как развивались web-технологии с течением времени. Это развитие проходило, как благодаря увеличению скорости подключения, так и благодаря увеличению мощности компьютеров, серверов и развитию мобильных устройств для доступа к сети Интернет.
Примечательно, что если в начальную эпоху Интернет использовался пользователями преимущественно для обмена файлами и web как такового не существовало, то с приходом в РФ в 2004 году дешевого ADSL, обмен файлами обрёл взрывную популярность. В РФ был создан первый торрент-трэкер torrents.ru:
Уже к 2008 году суммарная скорость раздач превысила значение в 172 Гбит / с, что составило 1/4 всего трафика Московской точки обмена трафиком MSK-IX. Около 3 тыс запросов от клиентов в секунду — 10 миллионов в час, 240 миллионов в сутки. 40 000 тыс пакетов в сек на сетевом интерфейсе. 15 000 прерываний в секунду. 1200 процессов примерно в top-е. Загрузка на 8 ядерной машине — 10-12 в часы пик. И всё равно часть запросов дропалась. Не успевали обслуживать. К сожалению, найти современное значение peer-to-peer трафика не удалось, кто знает — поделитесь в комментариях для сравнения.
В Украине в августе 2005 года появился региональный трэкер — torrents.net.ua, необходимость создания ресурса была обусловлена отсутствием у большинства пользователей на Украине скоростного и безлимитного доступа к мировому трафику.
До сентября 2008 года трекер был закрыт для пользователей не из зоны UA-IX, поэтому количество пользователей росло невысокими темпами.
Первые хостинг-провайдеры
А что с размещением сайтов? По началу хостинг-провайдеров, как таковых, не существовало. Веб-сайты размещались на серверах университетов и организаций, имеющих постоянное подключение к сети Интернет. Отследить, что происходило в период 1991-1995 сейчас довольно проблематично, В 1995 сервис Angelfire предлагал бесплатно аж 35 КБ места под странички пользователей, а GeoCities — целый 1 МБ. Более подробно о первых шагах хостинга читайте в одноимённой статье «Первые шаги хостинга», которая публиковалась в нашем блоге ранее и является на сегодняшний день, пожалуй, одной из самых полноценных.
Интересно, что хостинг в США, в 2000 году стоил довольно дорого:
$200 / месяц за 200 МБ квоты на сервере и 3000 МБ исходящего трафика (500 МБ для минимального тарифного плана), а трафик свыше лимита оплачивался из расчёта от $55 до $27 за GB). Можно было подключить и «выделенную линию» для своего сайта, тарифы были следующие: 128К — $395 / месяц, 384К — $799 / месяц, 1М — $1200 / месяц. Подключение «канала» и активация хостинга также предусматривали установочную плату в размере около одной абонплаты. В конце 2000 года этот же провайдер предложил неограниченное дисковое пространство с оплатой только за трафик и снизил стоимость трафика до $40 за 20 GB. А уже в 2002 снизил тарифы до $20, сделал трафик «безлимитным» и вновь ввёл ограничения по квоте.
Сервер с 8 ГБ HDD выглядит в сегодняшнее время настоящим «ископаемым». Но что говорить, я лично использовал до 2004 ПК с HDD, где полезной квоты было около 7 ГБ. И конечно же плата в $5000+ / месяц за 6 Мбит / с к серверу выглядит сейчас жутко. Позднее цена была снижена до $300 / Мбит, но все же это было не мало.
Само собой, что снижение цен на коннективность и стоимость доступа в Интернет проходило за счёт увеличения количества абонентов и построения новых каналов связи, в том числе подводных оптических магистралей. Когда сталкиваешься со всей сложностью прокладки кабелей по дну океана и узнаёшь примерную стоимость проекта, становится понятным почему 1 Мбит / с через Атлантику мог стоить $300 / месяц и даже дороже.
В Украине и РФ процесс размещения собственных сайтов, начался, пожалуй, с бесплатного хостинга narod ru от «Яндекса», в 2000 году:
Был ещё подобный проект от mail.ru — boom.ru, но этот бесплатный хостинг не получил такого распространения, как Народ. Впоследствии бесплатный хостинг «Яндекса» был поглощён самым успешным бесплатным конструктором сайтов и хостингом 2008-2010 года — «uCoz» и по домену narod ru теперь доступна возможность построить веб-сайт с применением инструментов «uCoz». «Яндекс» отказался от «Народа» по причине развития социальных сетей и снижению интереса к услуге построения собственных сайтов.
До 2002 года в Украине размещать собственные серверы было выгодно разве, что у провайдеров домашних сетей, хотя большинство держало свои серверы в офисах и даже дома из-за очень дорогого трафика для услуги collocation, хотя это и нарушало условия предоставления услуг для домашних абонентов. Много кто просто предпочитал использовать для этих целей обычные стационарные компьютеры и не тратить деньги на «серверное» железо. Такие аксакалы встречаются и в наши дни. Но если тогда понять почему хочется сделать себе «хостинг» дома было можно, то сейчас это понять сложно. И речь не о людях, которые любят заниматься тестами чего-либо и для этого нуждаются в сервере дома.
Ситуация за рубежом была получше, ведь там Интернет стал доступным для населения раньше и процесс развития был начат раньше. Нидерланды постепенно становятся «меккой» для размещения серверов, так как предлагают хорошее географическое положение, а значит связность со множеством операторов, низкие цены на электричество, лояльное законодательство, способствующее росту IT-cектора.
Так в 1997 году два пилота коммерческих авиалиний решили основать компанию, которая помогала другим компаниям быть представленными в Интернете, создав Интернет-каталог, а также оказывала услуги по созданию и размещению веб-сайтов и подключению к сети Интернет. В Интернет-архиве сохранилась версия веб-сайта 1998 года, которая впрочем не содержала ничего, кроме контакта.
Интересно, что первые 4 сервера компания приобрела в 2000 году с общей полосой пропускания в 512 Кбит / с. Помимо прочего, в «Википедии» не написано, но основной заработок заключался в предоставлении доступа к сети Интернет и услуги доставки трафика (IP-транзит). Сегодня мы знаем эту компанию, как LeaseWeb, одного из самых популярных операторов дата-центров, с которым мы активно сотрудничаем, потому и решил рассмотреть развитие хостинг-индустрии в Нидерландах, на её примере.
В это же время в Украине один из крупнейших кабельных провайдеров Интернет и телевидения — «Воля», осознал, что строительство собственного дата-центра является огромной необходимостью. Так как абоненты домашнего Интернет в основном «качают» трафик, при этом исходящий канал остаётся практически свободным и неиспользованным. А это сотни мегабит, которые вполне можно было бы продать, разместив выделенные серверы абонентов. Плюс, возможно неслабо секономить, так как масса абонентов могла бы использовать ресурсы, размещаемые в дата-центре, вместо закачки с дорогих зарубежных серверов.
Фактически предложив украинский трафик без учёта, с оплатой за потреблённый зарубежный трафик. Примечательно, что входящий зарубежный трафик стоил на порядок дороже исходящего, оно и понятно, ведь он использовался абонентами домашнего Интернет. Плюс, как правило для серверов, которые генерируют трафик, запросный трафик небольшой и составляет от 2 до 30% от исходящего, в зависимости от типа ресурсов, которые размещаются на сервере.
Так, если это веб-страницы с большим количеством элементов, то количество запросного трафика выше, так как происходит подтверждение успешной загрузки каждого из элементов, что приводит к увеличению роста входящего к серверу трафика. Также входящий трафик может генерироваться абонентами в случаях, когда они загружают что-либо на сервер. При скачивании файлов % входящего трафика незначителен и составляет менее 5% от исходящего в большинстве случаев.
Интересен также момент, что размещение собственного сервера в дата-центре «Воля» является просто невыгодным, так как стоимость такая же, как и при аренде. По сути дата-центр «Воля» предлагает серверы разного класса в аренду бесплатно, в зависимости от выбранного тарифного плана.
Почему серверы могут быть бесплатными? Ответ очень прост. Оборудование стандартизировано, закупается большими партиями. По сути в таком варианте это всё легче обслуживать, проще администрировать, автоматизировать, меньше человекочасов требуется. При размещении же серверов абонентов на «colo» появляется ряд проблем, начиная от того, что сервер может быть не стандартным и не поместиться в стойке, придётся выделять больше юнитов для размещения, чем планировалось изначально или же отказывать абоненту, ссылаясь на нестандартный корпус, заканчивая тем, что нужно допускать абонента на площадку, предоставлять возможность проводить физические работы с сервером, хранить запасные комплектующие на площадке и допускать инженеров в случае необходимости замены.
В конце 2006 в РФ появляются первые сайты с фильмами онлайн, файлообменники и прочие подобные ресурсы, а для того, чтоб уменьшить расходы на зарубежный трафик, так как украинский трафик может быть внушительным и не укладываться в прописанные той же Агавой соотношения, часть серверов крупные проекты стараются разместить в дата-центрах с подключением к UA-IX либо создают дополнительный российский трафик искусственно, применяя torrent'ы, которые раздавались исключительно российским пользователям, а в некоторых случаях файлообменники, которые были доступны исключительно для российских IP-адресов. В результате, если в Украине хотелось качать полноценно и на хорошей скорости, многие из пользователей покупали российский VPN, так как скорость на тот же ifolder.ru была выше всегда из РФ:
Файлообменники, несмотря на популярность torrent, приобретают взрывную популярность, так как скорость скачивания с них оказывается зачастую гораздо выше, нежели при использовании torrent, при этом не нужно проводить раздачи и поддерживать рейтинг (когда ты отдаёшь больше, чем качаешь, или хотя бы не более, чем в 3 раза меньше). Всему виной ассиметричный DSL канал, когда скорость на отдачу была значительно ниже скорости на приём (в 10 раз и более), ну и нужно не забывать, что не каждый пользователь желал «сидировать» и хранить множество файлов у себя на компьютере.
Именно потому тот же rapidshare.com, который берёт начало еще в 2004 году, когда был открыт подобный проект в домене rapidshare.de, оказался настолько популярным, что уже в 2005 году ёмкость хранилища превысила 1000 ТБ, а суммарный объем планируемого генерируемого трафика стал 80 Гбит / с:
Разумеется, что такую коннективность нужно было как-то окупать, схема монетизации была в основном за счёт премиум-аккаунтов, которые позволяли скачивать с файлообменника без каптчи и ожидания от 100 до 300 секунд сразу несколько файлов и с большой скоростью. Стоимость премиум-аккаунта начиналась от 4,5 евро за 2 дня доступа и доходила до 79 евро за год.
Впоследствии премиум-аккаунт позволял загружать файлы размером в несколько сот мегабайт, что было удобным, так как тот же фильм не приходилось делить на 10-30 частей в зависимости от объема, количество архивов было меньше. В то время популярным архиватором становится WinRAR, который позволял добавлять в файлы дополнителью чётность (информацию для восстановления до 5% от реального объема файла), которая позволяла избежать «битости» архива и восстановить файл из ряда архивов полноценно.
Источник: https://habrahabr.ru/company/ua-hosting/blog/342140/
