Про блокировки, анонимность и VPNы. Скромный ликбез в понятных словах. Часть 2. Корпорации.
В прошлом топике мы закончили со слежением за пользователем по IP.
В этот раз поговорим о том, как следят за пользователями корпорации, что продать нам рекламу (ну или мир в дальнейшем захватить).
Как известно, интернет держится на порно и котиках. Но платит за все это - рекламодатель через рекламную платформу. Рекламной платформе, чтобы успешно продавать рекламу, надо знать того, кому она ее продает, ведь если большому бородатому мужику начать предлагать в лизинг розовые Daewoo Matiz, вряд ли ему это понравится и реклама будет иметь хоть сколь нибудь значительный отклик.
Итак, чтобы рекламная платформа понимала кому какую рекламу показывать, ей надо понять, кто перед ней, составить профиль пользователя. Для этого недостаточно попросить его зарегистрироваться и указать свои базовые данные вроде имени и даты рождения. Во первых - они дают очень поверхностное представление о личности, во вторых - истинность данных явно под сомнением, ведь проверить, практически, никак нельзя.
Вот тут-то и приходит на помощь трекинг и различные системы анализа поведения пользователя, которые уникальны для каждой платформы и составляют львиную долю коммерческой тайны любой компании, торгующей рекламой (Google, Mail.Ru, Yandex, Yahoo, Bing, Facebook, Vk, тысячи_их).
Чем лучше система справляется со своими обязанностями, тем более релевантную (соответствующую потребностям конкретного пользователя) рекламу она способна показывать, тем больше зарабатывает компания, потому что реклама эффективнее и в компанию приходит больше рекламодателей. Процесс выборки релевантной рекламы для пользователя называется "таргетинг".
Для этого используются различные инструменты, но в итоге все сводится к слежению за страницам, которые посещает пользователь и разным способам выжимания из него потребностей. Раньше для этого применялись, к примеру, всякие плагины для браузеров, которые правдами и не правдами пытались установить себя в систему пользователя, а так же поисковые движки. Ведь это логично - пользователь ищет то, что ему нужно и нравится и мы сразу, автоматически, знаем на какие страницы он перешел, чтобы анализировать их контент и понять, зачем именно он туда пришел. Практически вин-вин, нам дают инструмент поиска, но в замен подглядывают:)
Потом же, одна известная и очень умная компания, владелец социальной сети, придумала способ заставить пользователя рассказать о себе, не используя при этом поиск и не встраиваясь в систему пользователя (да еще и преподнесла это как очень полезную штуку, которая теперь везде, даже на Пикабу) - кнопки Like и Share - Нравится и Поделиться. Задумка и впрямь гениальная - возможность протянуть ваш идентификатор внутри системы на сторонний сайт (если вы залогинены в социальной сети, то посещение страниц с такими кнопками автоматически приводит к отсылке информации об этом той самой социальной сети), так вы еще и отмечаете самые важные для себя вещи, чем просто дарите их системе анализа свои потребности и все это под сладким соусом социальщины. Ням. Пипл схавал.
Где-то, чуть раньше этого момента, начали массово появляться смартфоны и у рекламных платформ возникла вторая идея - привязать пользователя не только в интернете, но и в реальной жизни. Тут на помощь пришел GPS и.. опять социальные сети. Самым известным приложением по сбору геоданных с привязкой к пользователю являлось (а может и до сих пор является) Foursquare (нынче разделилось на 2). Совершенно бессмысленное приложение, которое, использую опять же социальные механизмы, предлагает пользователю сливать свои геоднанные сторонней компании. Эдакая квинтэссенция наглости и гениальности. После этого волна геотаргетинга захлестнула интернет.
Теперь все приложения правдами и не правдами пытаются получить у вас разрешение на по сбор ваших координат. Вот, Twitter к примеру, под соусом "Рядом с вами". Интересно, кто вообще читает эту вкладку? Но факт остается фактом - сбор идет.
Итак, в итоге получается, что компании знают о нас: где мы находимся (через социальные приложения), куда мы ходим и что мы читаем (кнопки "Нравится" и поисковики), с кем мы переписываемся, дружим или общаемся (социальные сети, почти все мессенджеры, форумы и т.д), что мы покупаем или хотим купить (Я.маркет, Amazon) и еще много чего. Об обычном человеке любая корпорация знает и помнит больше, чем он сам о себе. Вот такой неутешительный вывод. Для корпораций вы далеко не анонимны.
Опять пост получился огромным. Продолжение - в следующей статье.
Про блокировки, анонимность и VPNы. Скромный ликбез в понятных словах.
Комментарии к одному из постов в сегодняшнем "Горячем" натолкнули меня на написание сего опуса. Я считаю, что информационная грамотность любого пользователя сети это не менее важно, чем экономическая или правовая грамотность гражданина, позволяющая понимать некоторые механизмы, которые используются для того, чтобы его, этого гражданина, когда надо поиметь.
Поэтому, я постараюсь максимально понятно и "на пальцах" рассказать как идентифицируют в сети пользователей и почему анонимность это не столько программное обеспечение, но в первую очередь - комплекс мер, а так же как все это работает и как поднять уровень безопасности своего пребывания в сети.
*Дисклеймер для IT-специалистов - я знаю что такое СОРМ, DPI и прочие страшные слова, так же повествование не охватывает граничные ситуации, но все это выходит за рамки этого поста и интересно только нам, коллеги.*
Итак, начнем с самого популярного в народе и известного - "по IP". Как раз для отсечения этого способа контроля используются различные "анонимайзеры" и VPNы.
IP - это логический адрес в сети, который позволяет адресовать данные конкретному устройству. Он не обязательно уникален, но большинство провайдеров в России все-таки выдают адрес, который в конкретный момент времени принадлежит конкретному пользователю и является уникальным в масштабах интернета.
Для облегчения понимания, можно представить такой уникальный адрес как адрес частного дома в поселке, где один адрес принадлежит одной семье, без всяких уточнений. В этом случае, найти хозяина по адресу проблемы не представляет. Даже если адреса менялись, это делается достаточно редко (при каждом подключении к сети) они остаются в реестре адресов (логах) и при необходимости всегда можно восстановить его хозяина на конкретный момент времени.
Тем не менее, до сих пор провайдеры достаточно часто используются технологии, позволяющие на один адрес адресовать множество устройств. Это экономит адресную емкость, которая конечна и стоит денег. О ней вы возможно слышали как о NAT.
В таком случае, вам выдается адрес, уникальный только для вашей локальной сети, а вышестоящий сервер обеспечивает адресацию от вашего имени в общую сеть. Продолжая абстракцию с домами, это многоквартирный дом, а у вас в нем - квартира. У него есть общегородской уникальный адрес, номера квартир уникальны только в рамках одного дома. В каждом или почти каждом доме есть квартира №2, но в каждом доме в ней живут разные люди. Причем отправить данные можете только вы, тогда за вами на некоторое время "почтовый ящик" с условным номером, не совпадающим с номером квартиры и постоянно разным, который и будет вашем адресом в конкретный момент.
В таком варианте отследить вас уже немного тяжелее, т.к. в общем случае получить можно только адрес дома, потому что тайна адресации внутри этого дома (соответствие ящикам и квартирам) - прерогатива самого дома и он никому об этом напрямую не рассказывает.
С помощью различных тоннелей и сетей анонимизации можно изменить свой адрес в сети. Фактически это работает следующим образом - между вашим и удаленным компьютером устанавливается соединение и все данные от вас начинают идти через удаленный компьютер, который, в свою очередь, уже пересылает эти данные в сеть, получает ответы и пересылает обратно вам. Продолжая аналогию, вы со своего дома начинаете слать всю почту только на один адрес (и непонятными словами, потому что соединение обычно зашифровано) и вам отвечают только с этого адреса.
Со стороны тех, кто смотрит на ваши соединения, ситуация выглядит, откровенно говоря, очень по-дурацки. В жизни ведь такого не бывает? То есть, самое использование тоннеля, через который идут все данные уже выдает в вас человека, который хочет представиться другим. Мастерство же маскировки в том, чтобы быть незаметным в толпе.
Итак, в подобной ситуации, если взять контроль над двумя точками - вашей точкой входа в сеть и точкой входа в сеть удаленного компьютера, можно понять куда вы идете. Для анонимизации этого недостаточно, но для того, чтобы обеспечить невозможность выборочного контроля мест, куда вы можете ходить - этого достаточно, потому что по зашифрованным данным непонятно, куда перешлет их ваш адресат, а любой шифрованный трафик можно контролировать только по адресу назначения, а адресат этот, того самого дома-пересыльщика, разрешен.
Любые VPN сервисы, плагины для браузера вроде freegate и подобные приложения используют как раз этот способ. Но, тут не стоит забывать, что ваш адресат-пересыльщик знает все адреса куда вы ходите, знает ваш настоящий адрес и может заглядывать в ваши данные (если вы, конечно, не используете дополнительное шифрование).
Итак, идем дальше. Цепочки тоннелей. Этот способ использует сеть Tor, весьма известная с свете последних событий. В этом случае, составляется цепочка из узлов (не меньше 3), через которые пересылаются ваши данные. Причем данный шифруются так, чтобы расшифровать их мог только последний узел в цепочке.
Получается, что ваш компьютер отправляет данные с несколькими слоями шифрования. Каждый из узлов может прочитать только свою часть. Первый узел может прочитать только адрес второго узла, второй узел - только адрес третьего, и только третий может узнать, куда на самом деле нужно отправить данные. Такой способ не позволяет узнать адресата при компрометации одного из узлов сети, нужно контролировать все 3.
Так как выбираются они случайным (ну почти) образом и их много (тысячи) на всех концах света, очень сложно обеспечить одновременный доступ ко всем, что и позволяет сохранить адрес отправителя в тайне. По причине слоистости, этот способ называется "луковая маршрутизация", потому что данные упаковываются по принципу слоев луковицы.
По аналогии с реальной жизнью, это как пересылать почту в 3 конвертах, запечатанных один в другой, при условии что получатель может снять только первый конверт и узнать только адрес следующего получателя. Кстати, общее количество конвертов он тоже посчитать не может. То есть, при условии, что вы ничем другим себя не выдаете, это достаточный способ, чтобы скрыть себя практически ото всех заинтересованных лиц.
По большому счету, это все распространенные способы опознавания по адресу в сети и способы маскировки. Пост что-то раздулся, поэтому видимо придется делить тему на несколько.
В следующем посте (завтра, а может даже и сегодня) - как за нами следят корпорации, почему анонимно читать свою почту - занятие совершенно бесполезное и какие технологии используются для контроля доступа (иными словами, как работают блокировки). Ну и наверно еще чего нибудь по теме.
Если есть вопросы - добро пожаловать в комментарии.
Исчезновение магазина наркотиков в сети TOR всполошило весь теневой интернет
Nucleus Market входил в тройку крупнейших магазинов подобного рода. Торговцы могли анонимно размещать на нём различные товары, а покупатели — не менее анонимно приобретать их за Bitcoin или одну из двух других криптовалют, Litecoin и Darkcoin. В 2015 году количество предложений на Nucleus достигало 20 тысяч. Примерно две трети из них касались наркотиков.
Издание Motherboard сообщает, что сайт Nucleus Market перестал отзываться около недели назад. Администраторы сайта не предупреждали пользователей об отключении. Объяснений не последовало и после того, как сайт исчез из сети TOR.
Покупатели и торговцы, имевшие дело с Nucleus Market, предсказуемо озабочены. Чем больше времени проходит с момента отключения, тем меньше остаётся надежды на то, что сайт испытывает временные технические трудности и в один прекрасный момент снова заработает.
Причиной исчезновения магазина могли стать правоохранительные органы. Все помнят, что создатель знаменитого Silk Road угодил за решётку. Та же судьба постигла ещё несколько магазинов в сети TOR, в том числе Utopia, Silk Road 2, Hydra, Cloud-Nine, Blue Sky и TorBazaar.
Это неприятная перспектива для пользователей Nuclues Market. ФБР в прошлом сумело идентифицировать пользователей одного из сайтов в сети TOR, захватив сервер и внедрив в его код эксплоит, собирающий информацию о посетителях. Никто не поручится, что этого не произошло и в этот раз.
Другая возможность заключается в том, что создатели Nucleus Market — аферисты. Они дождались подходящего момента и сбежали со всеми биткоинами, которые проходили через магазин в момент отключения. С магазинами наркотиков в сети TOR такое случается регулярно. Почти все они по той или иной причине прекращают существование через год-два после открытия. Silk Road, продержавшийся два с половиной года, был долгожителем.
Пока покупатели и торговцы решают, что делать дальше, конкуренты пропавшего магазина пытаются воспользоваться появившимся шансом. После исчезновения Nucleus Market его субреддит заполонили восторженные отзывы об одном из других магазинов аналогичной направленности.
Материалы:
Издание Motherboard http://motherboard.vice.com/read/dark-web-market-disappears-...
Как сбегают создатели магазинов Tor http://www.gwern.net/Black-market%20survival
Пост https://xakep.ru/2016/04/20/nucleus-market/
Дополнительно:
Способы скачивания Tor http://pikabu.ru/story/razrabotchiki_tor_project_predstavili...
Власти РФ о шифровании трафика http://pikabu.ru/story/vlasti_rf_obdumyivayut_vozmozhnyie_me...
Умер Telegram в 11-40... Даже через TOR... Совпадение?
РАЗРАБОТЧИКИ TOR PROJECT ПРЕДСТАВИЛИ НОВЫЕ СПОСОБЫ СКАЧИВАНИЯ БРАУЗЕРА TOR
Во многих странах мира даже просто скачать Tor Browser — это уже большая проблема. Правительства блокируют доступ к сайту torproject.org, и пользователям приходится искать софт самостоятельно, в других местах. Разработчики Tor Project осведомлены об этой проблеме и стараются облегчить жизнь пользователям, насколько это возможно. Скачать сборку Tor Browser в наши дни можно отнюдь не только с официального сайта.
Около года назад команда Tor Project создала специальный сервис GetTor, который предлагает пользователям различные альтернативные варианты скачивания Tor Browser. GetTor может пригодиться как в случае блокировки официального сайта проекта, так и в ситуации, когда скачивание браузера по какой-то причине нужно скрыть от посторонних глаз.
Скачать Tor Browser в настоящее время можно тремя альтернативными способами.
1.По почте
Нужно отправить запрос на адрес gettor@torproject.org. В данный момент поддерживаются четыре локализации: английская (en), фарси (fa), китайская (zh) и турецкая (tr). Для получения ссылки на скачивание локализованной версии, нужно создать письмо вида gettor+fa@torproject.org (если нужен Tor на фарси). В теле письма необходимо указать свою ОС: к примеру, написать «windows».
2.Через XMPP
Нужно послать запрос на get_tor@riseup.net. К примеру, чтобы скачать Tor на китайском языке для Linux, нужно послать сообщение со словами «linux» и «zh» на get_tor@riseup.net.
3.Через Twitter
Обратиться за ссылкой можно к боту get_tor, для этого потребуется написать ему личное сообщение. Так, если нужно скачать браузер на английском для OS X, просто посылаем личное сообщение с кодом «osx» (английская сборка поставляется по умолчанию, ее не нужно обозначать отдельно). Подписываться на get_tor не требуется.
Бонус: Зеркала и приложение для Android
Все три упомянутых способа можно использовать для скачивания приложения Orbot для Android. Эта программа предоставляет прокси для работы мобильных приложений через Tor. Чтобы получить ссылку на скачивание APK, достаточно отправить по любому из трех указанных каналов связи ключевое слово «android».
Еще одна полезная команда, которой можно воспользоваться: «mirrors». Если отправить сообщение с этим словом на указанный email, XMPP или в Twitter, в ответ робот пришлет список актуальных зеркал проекта.
Get Tor https://gettor.torproject.org/
Репозиторий GitHub https://thetorproject.github.io/gettor/
Bot в Twitter https://www.twitter.com/get_tor
Orbot для Android https://market.android.com/details?id=org.torproject.android
Пруф https://xakep.ru/2016/04/08/tor-downloads/
Навеяно http://pikabu.ru/story/v_darknete_naschityivaetsya_okolo_30_...
В ДАРКНЕТЕ НАСЧИТЫВАЕТСЯ ОКОЛО 30 000 САЙТОВ. ПОПУЛЯРНОСТЬ TOR ПО СТРАНАМ МИРА.
Компании Intelliagg и Darksum фактически занимаются киберразведкой. Обе фирмы ищут и агрегируют данные о различных организациях и частных лицах, которые могут представлять угрозу для их клиентов. Недавно Intelliagg и Darksum объединили усилия с целью совместного изучения даркнета. Сетевые разведчики подсчитали, что в зоне .onion существует 29,532 сайта, но лишь половина из них содержит какой-то нелегальный контент.
Пока даркнет очень мал, 30 000 сайтов — ничто по сравнению с интернетом, где насчитывается около 1,3 млрд различных ресурсов. Тем не менее, сетевой андеграунд представляет большой интерес для спецслужб и экспертов по безопасности, ведь считается, что львиная доля киберпреступников «обитает» именно там.
Как ни странно, аналитики Intelliagg и Darksum пришли к выводу, что даркнет состоит не только из сайтов с детским порно и хакерских форумов. Машинный анализ показал, что 48% сайтов в даркнете не содержат никакой противозаконной информации по меркам США и Великобритании. Очевидно, аналитики усомнились в полученном результате, так как еще 1000 случайных сайтов они проверили вручную. Более тщательная проверка выявила, что 32% сайтов абсолютно легальны. Похоже, настоящий «показатель легальности» находится где-то между этими двумя значениями, но если хотя бы треть зоны .onion состоит из безобидного контента – это уже немало.
Tor-андеграунд очень пластичен и постоянно меняется. Так, из почти 30 000 .onion сайтов лишь 54% были доступны постоянно, а 46% ресурсов появлялись, пропадали, и на их месте возникали новые. Эксперты предполагают, что такая ротация связана с тем, что многие наблюдаемые сайты использовались в качестве командных серверов для малвари, обмена файлами или как фундамент для чатов.
В общей сложности в .onion зоне говорят на 32 разных языках, но с большим отрывом превалирует английский: 76% сайтов — англоязычные. Второе и третье места, с большим отставанием, занимают немецкий (4%) и китайский (3,7%) языки.
Контент всех изученных сайтов был тщательно разбит на категории. Оказалось, что порно и наркотики, это далеко не самое частое явление в зоне .onion. Было подсчитано, что 29% сайтов — это файлообменики, 28% ресурсов сконцентрированы вокруг утечек данных, а еще 12% сайтов посвящены финансовым махинациям (в основном, это кардерские площадки). Вслед за этой тройкой лидеров идут обыкновенные сайты новостей (10%), реклама (6%) и различные форумы (5%). Наркотики, порно, оружие и ресурсы хакерской тематики сильно отстают: такие сайты составляют от 0,3% до 4% ландшафта даркнета.
ЧАЩЕ ВСЕГО TOR ИСПОЛЬЗУЮТ В САМЫХ АВТОРИТАРНЫХ И САМЫХ СВОБОДНЫХ СТРАНАХ
TOR популярнее всего в наиболее авторитарных и наиболее свободных странах, тогда как пользователи из стран, которые не отличаются ни преследованиями по политическому признаку, ни особыми свободами, не проявляют интереса к анонимной сети. Такое заключение содержится в работе, опубликованной в академическом журнале New Media & Society.
Автор исследования, политолог Эрик Жардин, проанализировал сведения о 157 странах, собранные между 2011 и 2013 годом. Основным источником информации о политических преследованиях в разных странах служили оценки, которые дала организация Freedom House. В число стран с минимальным рейтингом свободы (7) входят Узбекистан, Туркменистан, Саудовская Аравия и КНДР. Россия имеет рейтинг 6. Это немного лучше, чем у Китая, но хуже, чем у Мадагаскара и Нигерии. Максимальным рейтингом свободы обладают, в основном, страны первого мира.
Учёный сопоставил рейтинг Freedom House с данными об использовании анонимной сети, которые собрал сам TOR Project. Кроме того, учитывалась популярность интернета в стране, ситуация с защитой авторских прав, средний достаток и образованность жителей, а также уровень изоляции.
Как и следовало ожидать, TOR оказался популярен в странах с авторитарными режимами. Их жители обращаются к анонимной сети, чтобы обойти цензуру в интернете и избежать преследований со стороны властей. В странах, где права и свободы граждан нарушаются реже, спрос на TOR не так высок, но лишь до определённого момента. На противоположном краю политического спектра популярность анонимной сети снова начинает расти.
Скорее всего, жители свободных стран используют TOR иначе, чем жители авторитарных. Они не опасаются репрессий, но могут быть заинтересованы в защите тайны частной жизни. Кроме того, некоторым из них анонимная сеть нужна для не вполне легальной деятельности — например, для приобретения наркотиков.
Жардин рассматривает гипотезу, согласно которой популярность TOR определяется взаимодействием двух основных факторов: простотой доступа к анонимной сети с одной стороны и возможностями для реализации своих политических прав с другой.
Intelliagg и Darksum объединили усилия с целью совместного изучения даркнета (PDF) http://deeplight.intelliagg.com/deeplight.pdf
Пруф количество сайтов даркнета https://xakep.ru/2016/04/08/darkweb-stat/
Публикация New Media & Society http://motherboard.vice.com/read/countries-that-use-tor-most...
Пруф использования TOR https://xakep.ru/2016/04/08/freedom-rating-tor/
Поиграем в бизнесменов?
Одна вакансия, два кандидата. Сможете выбрать лучшего? И так пять раз.
Tor в Кремле
В посте http://pikabu.ru/story/nestandartnyie_kartograficheskie_serv... заинтересовал сервис https://torflow.uncharted.software/ , который показывает движение траффика по сети Tor на карте, что позволяет судить об интенсивности использования этой сети.
Интересный момент - небольшой участок, по которому курсирует трафик на территории Кремля
Такой вот себе замкнутный отдельный участок. Для чего он - остается только догадываться