Стоит также отметить, что многие провайдеры в то время имели подключение к разным магистральным провайдерам и потому скорость загрузки могла очень зависеть от того, через какие магистральные сети проходил трафик. Потому на том же rapidshare существовала возможность выбора между Cogent, Telia и Level(3). Ситуация со скоростью улучшилась после роста количества провайдеров, подключенных к немецкой точке обмена трафиком DE-CIX, к которой, к слову, получили прямое подключение даже провайдеры из Украины, такие, как Wnet.
Так, «Wnet» оплачивал абоненту украинский трафик из расчёта $1 за ГБ, при этом зарубежный трафик стоил абоненту $10 за ГБ при условии, что соотношение исходящего трафика ко входящему — 4/1. Безусловно — это было всё еще значительной платой, ведь трафик оказывался бесплатным только при наличии в 10 раз большего украинского трафика. Таким образом, чтоб генерировать бесплатно 9 Мбит / с в зарубеж, нужно было генерировать 90 Мбит / с в Украину. Что совсем было непохожим на предложение Агавы, где достаточно было, чтоб зарубежный трафик не превышал российский.
Потому ранее рассмотренное предложение от дата-центра «Воля» было куда более выгодным, нежели предложение от «Wnet», который к тому же, 1 октября 2006 года принял решение о выходе из украинской точке обмена трафиком UA-IX, так как UA-IX отказывалась продавать больше портов, которые были необходимы «Wnet», возможно в следствии «пиринговой войны», а именно лоббирования интересов других провайдеров, которым «Wnet» начал составлять конкуренцию, а может быть и в следствии отсутствия тех. возможности предоставления дополнительных портов, а может быть потому, что «Wnet» нарушал соглашение и строил пиринговые включения с другими участниками точки обмена (особенность правил обмена)
Благодаря чему в 2008 году «Воля» уже обладала 20 Гбит / с подключением в UA-IX и 4 Гбит / с в мир от нескольких магистральных операторов.
Стоит отметить, что за последние 10 лет рынок претерпел огромных изменений, и причина этого не только в значительном снижении стоимости магистральных каналов, сколько в перераспределении аудитории среди множества проектов, за счёт закрытия некогда популярных проектов. Такие успешные ресурсы, как файлоообменники, которые занимали топовые места по посещаемости в рейтинге Alexa, отошли в небытие, по многим причинам, но в основном — из-за непрекращающейся войны с правообладателями.
Так в Украине знаменитый некогда ex.ua, генерирующий свыше 15% всего трафика украинской точки обмена UA-IX (по сути точки обмена трафиком в Киеве, так как региональные операторы редко когда были представлены, особенно с появлением точки обмена Giganet и DTEL-IX) был закрыт после закрытия не менее знаменитого fs.to, который покупал в своё время 100 Гбит / с в Нидерландах у нас. А дело с некогда знаменитым megauload было ещё более резонансным, когда из дата-центра в Нидерландах, где мы размещаемся, было изъято свыше 600 серверов этого файлообменника. Rutracker был заблокирован на территории РФ Роскомнадзором, а torrents.net.ua в Украине прекратил своё существование из-за боязни репрессий.
Аудитория ушла в Youtube, Инстаграм и в другие соц. сети. Сайты для взрослой аудитории, пожалуй, не потеряли популярности, только теперь заработок на тизерной рекламе для наших веб-мастеров из РФ и Украины потерял всякий смысл из-за цен на рекламу и оплачивать зарубежные каналы, цена на которые, к слову, снизилась в разы в сравнении даже с 2012 годом, когда казалось, что дешевле уже быть не может, стало довольно проблематично.
Ситуация на рынке магистральных каналов, из чего зависит относительная стоимость доставки трафика
Как мы могли понять, ознакомившись с информацией, представленной выше, цена на трафик в Интернет зависит от того в какую точку необходимо доставить трафик, насколько популярно это направление, с какой скоростью на поток необходимо передать данные и с какой задержкой. А также цена будет зависеть от того по каким каналам связи трафик будет проходить, что определяет то, насколько прямой маршрут и какой приоритет трафика будет в том или ином случае, который в свою очередь определит конечное значение latency (пинга) из одной точки в другую.
К примеру, 10 Гбит / с из Нового Уренгоя в Норильск будут стоить явно не $2000 / месяц и даже не $6000 / месяц, так как в построение ВОЛС было инвестировано свыше $40 млн. Проект предлагается окупить за 15 лет, таким образом ежемесячная стоимость канала в 40 Гбит / с составляет 40/15/12 = $0,22 млн или $55 000 / месяц за 10 Гбит / с и это ещё не канал в Интернет, а только стоимость доставки трафика по качественной ВОЛС между двумя удалёнными населёнными пунктами. И эти деньги нужно брать сейчас с населения Норильска, которое будет смотреть тот же Youtube (трафик к которому будет стоить ещё дороже, так как нужно будет оплатить магистралам за доставку вплоть до сетей Youtube), а значит трафик с него будет довольно дорогим и активность населения там будет сдерживаться этой ценой. Существует вариант, когда Youtube может захотеть быть к своим пользователям «ближе» и захочет оплатить часть расходов на канал к ним вместо них, в таком случае стоимость доступа к ресурсу Youtube для населения Норильска может стать ниже. Этот пример наглядно демонстрирует то из чего может состоять цена на доступ к конкретным ресурсам сети Интернет. Всегда кто-то платит за Ваш трафик и если это не Вы — то либо рекламодатели и ресурсы которые генерируют этот трафик, либо же магистральный провайдер или просто Интернет-провайдер, которому выгоден трафик из этого направления (скажем для того, чтоб получить скидки на другие направления или какие-либо налоговые льготы, что может быть выгодно в случае с Норильском или просто потому, что куплен довольно широкий канал для получения скидки на доставку трафика и он простаивает).
Магистральные операторы I уровня, такие, как Cogent, Telia, Level 3, Tata и другие отличаются тем, что берут деньги за доставку трафика со всех, кто к ним подключен, потому трафикогенераторы страются обмениваться трафиком с провайдерами, где находится их аудитория напрямую. Таким образом, возникают ситуации, когда порождаются так называемые пиринговые войны, в том числе и между магистральными операторами первого уровня и крупными генераторами, когда приоритет отдаётся конкретным потребителям, в то время как для других может искусственно завышаться цена сотрудничества, с целью задавить конкурента, либо же просто с целью обогащения, так как других вариантов у генератора трафика попросту нет. Потому очень часто возникали споры, в том числе судебные, так как некоторые компании не сохраняли сетевой нейтралитет и пытались сделать это очень завуалированно.
Так до сих пор не разрешен спор между Cogent и Google касательно трафика по IPv6 протоколу, из-за чего по-просту невозможно сделать пиринг между компаниями для прямого обмена. Cogent требует денег с Google за трафик в их сети, Google же хочет пириться бесплатно, так как масса абонентов Cogent (дата-центры, провайдеры домашнего Интернет) являются активными потребителями трафика из сетей Google, хотя к слову, IPv4, а не IPv6, что уменьшило бы задержку и снизило стоимость трафика для этих абонентов, при условии роста % IPv6 трафика. Но Cogent это видимо невыгодно, так как он магистральный провайдер I уровня, и внешний трафик из его сетей оплачивается магистральными провайдерами второго (платят магистральным провайдерам I уровня и получают прибыль с провайдеров третьего уровня) и даже третьего уровня (платят провайдерам второго уровня и получают деньги с конечных клиентов).
Для того, чтоб понимать из чего складывается конечная цена трафика для ресурса, рассмотрим ситуацию на примере популярного сервиса Cloudflare, суть которого в том, чтоб сделать веб-сайты «ближе» к своей аудитории, помочь снизить нагрузку на инфраструктуру, закешировав статическую информацию и отфильтровать возможные DDOS-атаки.
Разумеется, что Cloudflare размещает серверы во всех регионах, где есть спрос на трафик, то есть практически по всему миру. А для того, чтоб сэкономить на трафике, старается заключать пиринговые соглашения с региональными провайдерами, которые способны доставить трафик от Cloudflare к пользователям бесплатно, в обход дорогих магистральных операторов Tier I уровня, которые взимают плату за трафик в любых случаях. Почему местным провайдерам это выгодно? При значительных объемах трафика им нужно платить также, как и Cloudflare, операторам Tier I уровня значительные средства за доставку трафика, куда выгоднее подключить свой канал «напрямую» (вложиться раз в строительство) и получать трафик бесплатно, нежели платить ежемесячно большие деньги магистральному оператору. Даже в случаях, когда прямой пиринг невозможен, бывает выгоднее подключиться через сети других транзитных провайдеров, где стоимость трафика будет гораздо ниже стоимости трафика при передачи через Tier I. Да, маршрут становится не очень прямым, возможно растёт незначительно пинг, возможно немного падает скорость передачи на поток, но качество может оставаться всё еще приемлемым для осуществления такой экономии.
Но не всегда есть возможность заключать пиринговые соглашения, всё же в некоторых регионах Cloudflare вынужден покупать довольно большой % коннективности у магистральных провайдеров, причём цена трафика весьма варьируется, в зависимости от региона. В отличие от некоторых облачных сервисов, таких как Amazon Web Services (AWS) или традиционных CDN, которые оплачивают трафик зачастую чуть ли не потерабайтно, Cloudflare платит за максимальное использование канала в течении определённого периода времени (так называемый «поток трафика»), на основе максимального количества мегабит в секунду, которые используются в течении месяца у любого из магистральных провайдеров. Такой метод учёта называется burstable, а частный случай — 95th percentile. 95 перцентиль — это метод, используемый для обеспечения гибкости и пакетного использования ширины канала. Это позволяет потребителю услуг превышать установленную тарифом полосу пропускания на 5% от всего времени пользования каналом, без увеличения стоимости. Например, если Ваш тариф предполагает использование полосы пропускания в 5 Мбит/с, то планка предельно допустимой ширины канала может быть превышена на 36 часов каждый месяц (5% от 30 дней). Используемая полоса пропускания измеряется и записывается каждые 5 минут в течении месяца, как усреднённое значение за этот малый пятиминутный промежуток времени. Замер используемой полосы пропускания в каждом временном интервале происходит путём деления количества переданных данных за интервал на 300 секунд (продолжительность указанного интервала). В конце месяца убирается 5% максимальных значений, а далее из оставшихся 95% выбирается максимальное число и именно это значение используется для расчёта оплаты за ширину канала.
Существует легенда, что в ранние дни своего существования Google использовал контракты с 95 перцентилем, чтоб проводить индексацию с очень высокой пропускной способностью в течении одного 24-часового периода, а в остальное время интенсивность потребления трафика была значительно ниже, тем самым обеспечивалась значительная экономия на оплате потребляемых каналов. Умная, но несомненно не очень долговечная стратегия, так как впоследствии всё же пришлось строить собственные дата-центры и даже каналы, чтоб индексировать ресурсы более часто и меньше платить за межконтинентальный транспортный трафик.
Ещё одна «тонкость» заключается в том, что обычно Вы платите магистральным провайдерам за преобладающий трафик (входящий или исходящий), что в случае с CloudFlare позволяет полностью неоплачивать входящий трафик. Ведь CloudFlare является кеширующим прокси-сервисом, в следствии чего исход (out) обычно превышает вход (in) примерно в 4-5 раз. Поэтому тарификация полосы пропускания происходит исключительно по значениям исходящего трафика, что позволяет полностью не платить за вход. По этой же причине сервис не взимает дополнительную плату, когда сайт попадает под DDOS-атаку. Атака безусловно увеличивает потребление входящего трафика, но если атака не очень велика, входящий трафик по-прежнему не будет превышать исходящий и, следовательно, это не увеличит стоимость используемых каналов.
Большая часть пирингового трафика обычно бесплатна, чего не скажешь про трафик с сервиса Netflix, который вынужден был после долгих прений оплатить Verizon и Comcast за пиринговые включения для обеспечения возможности приемлемого по скорости видео-стримминга для пользователей из сетей этих операторов.
Таким образом, в то время, как процент пирингового трафика у Cloudflare превышает 45% глобально, в северно-американском регионе он составляет всего лишь 20-25%, что делает эффективную стоимость 1 Мбит / с без учёта скидок равной $7,5-8 за Мбит / с. В результате чего Северная Америка является вторым регионом в мировом рейтинге регионов с самым дешевым трафиком. Но где же трафик самый дешевый?
Мы уже рассматривали ранее Европу, где уже очень давно, в виду исторической концентрации населения в определённых регионах, существует масса точек обмена, именно за счёт этого удаётся получить больший % пирингового трафика, и, как результат — самый дешевый трафик в мире, так как % транзитного трафика у того же Cloudflare находится на уровне 45-50%.
В результате чего наша эталонная стоимость падает до значений $4,5-5 за Мбит / с и менее. % пирингового трафика зависит непосредственно от количества участников самых крупных точек обмена в Европе — AMS-IX в Амстердаме, DE-CIX во Франкфурте и LINX в Лондоне. В Европе точки обмена трафика в основном поддерживаются некоммерческими организациями, в то время, как в США, точки обмена в основном коммерческие, та же Equinix в Нью-Йорке, что значительно влияет на количество участников этих точек обмена и как следствие пирингов, которые готовы подписывать пиринговые соглашения. Для сравнения в Амстердаме по статистике на 2014 год насчитывается порядка 1200 участников, в то время как в США всего 400.
Соотношение пирингового трафика к транзитному в азиатском регионе примерно такое же, как и в Европе, Cloudflare демонстрирует график со значением близким к 50-55%. Однако стоимость транзитного трафика в 6-7 раз выше в сравнении с эталонной стоимостью трафика в Европе и составляет аж $70 за Мбит / с. Таким образом эффективная стоимость трафика находится в пределах $28-32 за Мбит / с, что в 6-7 раз выше, нежели в Европе.
В целом стоимость транзитного трафика в азиатском регионе выше за счёт нескольких факторов. Основным является тот, что в регионе меньше конкуренция, а также больше провайдеров-монополистов. Во-вторых рынок Интернет-услуг менее зрелый. И наконец, если Вы посмотрите на карту Азии, то увидите много чего — вода, горы, сложнодоступные малонаселённые регионы. Запуск подводных кабелей обходится значительно дороже, нежели прокладка волоконно-оптического кабеля в самом труднодоступном регионе, хотя это также стоит не дёшево, поэтому стоимость межконтинентального транзита и стоимость транзита по удалённым территориям компенсируется стоимостью транзита внутри остальной части континента, которая искусственно завышается с целью покрытия расходов на внешнюю и внутреннюю «удалённую» коннективность.
Латинская Америка стала новым регионом, в котором появилось присутствие Cloudflare и уже в течении 3 месяцев после этого % пирингового трафика вырос с 0 до 60%.
Однако стоимость транзитного трафика также, как и в Азии, очень высока. Транзитный трафик обходится в 17 раз дороже транзитного трафика в Серверной Америке или Европе, и эффективная стоимость находится на уровне $68 за Мбит / с, что в два раза выше, нежели в азиатском регионе, несмотря на то, что процент пирингового трафика здесь один из лучших в мире. Проблема Латинской Америки ещё в том, что во многих странах отсутствуют дата-центры с политикой «carrier neutral», когда участники могут свободно коммутироваться и обмениваться трафиком друг с другом. Наиболее развитой в этом плане оказалась Бразилия и после того, как Cloudflare построил собственный дата-центр в Сан-Паулу, количество пирингов возросло значительно, что и позволило достичь 60% значения обменного трафика.
Наиболее дорогим для Cloudflare является, пожалуй, трафик в Австралии, так как здесь задействовано огромное количество подводных магистралей для доставки трафика. И хотя % пирингового трафика внутри региона достигает 50%, Telstra — оператор-монополист на австралийском рынке телекоммуникационных услуг, не позволяет снизить стоимость транзитного трафика внутри страны ниже $200 за Мбит / с ввиду большой распределённости населения по региону, что в 20 раз выше эталонного значения в Европе или США. В результате эффективная стоимость трафика в 2015 году находится на уровне $100 за Мбит / с и является одной из самых дорогих в мире. А расходы на транзитный трафик составляют примерно ту же сумму, сколько Cloudflare тратит на оплату трафика в Европе, хотя население Австралии в 33 раза меньше (22 млн против 750 млн в Европе).
Интересно, что в Африке, несмотря на высокую стоимость транзитного трафика — в районе $140 за Мбит / с Cloudflare удалось договориться с 90% провайдерами о пиринге, в результате чего эффективная стоимость трафика оказалась на уровне $14 за Мбит / с. Благодаря чему веб-сайты из Лондона, Парижа и Марселя стали открываться довольно быстро, а присутствие в Западной Африке было увеличено, обеспечив более быстрый доступ к ресурсам Европы для жителей той же Нигерии, где насчитывается около 100 млн Интернет-пользователей. А в регионе Middle East процент пирингового трафика и вовсе достиг 100%, что позволило сделать его самым дешевым для CloudFlare в мире, если не учитывать затраты на строительство и поддержку дата-центров.
Интересно, что сегодня, существует 6 самых дорогих магистральных провайдеров — HiNet, Korea Telecom, Optus, Telecom Argentina, Telefonica, Telstra, трафик с которых стоит для Cloudflare на порядок дороже, нежели трафик от других поставщиков коннективности по всему миру, и которые отказываются обсуждать более низкие цены на транзит. У того же Cloudflare суммарный трафик в эти 6 сетей находится на уровне менее 6% от общего потребления, но почти 50% средств, выделяемых на оплату суммарной коннективности, приходилось на оплату трафика из этих 6 самых дорогих сетей. Разумеется, что так не могло продолжаться вечно и Cloudflare приняло решение перенаправить трафик своих «бесплатных» пользователей в более удалённые дата-центры (в Сингапур или Лос-Андежелес), вместо присутствия в Австралии и Новой Зеландии, где стоимость внешних каналов более здравая, в результате чего, по иронии судьбы, та же Telstra стала платить больше, так как их подводная магистраль оказалась более загруженной, после этого перехода, что возможно послужит хорошим сигналом для снижения цен для таких ресурсов, как Cloudflare, в регионе.
Источник: https://habrahabr.ru/company/ua-hosting/blog/342140/