542

Частотный анализ букв в тексте

Привет.
Предлагаю облачиться на пару минут в Шерлока Холмса, который применяя знания криптоанализа взламывал шифры преступников. Будет чем удивить друга или рассказать ребёнку :)

Будет много картинок (с текстом) и текста. А как иначе?!

Хочу рассказать вам немного о криптографии, точнее, о криптоанализе.
И об шифровании текста, точнее о шифровании методом замены (как шифр Цезаря).

Криптография - это наука о методах обеспечения конфиденциальности, целостности и аутентификации. Или проще, шифровании информации от злоумышленника.
А криптоанализ, наоборот, наука о раскрытии зашифрованного сообщения.

Теперь ближе к практике, не хочу вас грузить. Сразу пример.
Есть некий текст, который зашифровали заменой одного символа на другой:

Чтобы его расшифровать я использую частотный анализ букв в тексте:

Если текст достаточно большой, то в нём всегда выполняется это правило.
Поэтому возьмём для подбора конкретной информации большой объём текста:

Исследуем с помощью любой программы, считающей частоты букв в тексте:

И сравним с зашифрованным текстом

И дело за малым, заменим буквы в зашифрованном тексте, согласно частотам.
Сделать это можно, например, с помощью блокнота "Правка - Заменить"

В качестве и с музыкой

Заранее: Gesaffelstein - Destination
Надеюсь эта небольшая заметка, не несущая в себе много информации, заинтересует вас и привлечёт к изучению криптоанализу.

Планирую ещё несколько постов по информационной безопасности.
Цель как и всегда ранее: ради общения на эту тему развиваю эту тему

Правила сообщества

Обязательно к прочтению для авторов:

1. Если вы добавляете пост, утверждающий об утечке данных или наличии дыр в системе, предоставьте ссылку на источники или технически подкованное расследование. Посты из разряда "Какой-то банк слил данные, потому что мне звонили мошенники" будут выноситься в общую ленту.
2. Все вопросы "Как обезопасить сервер\приложение\устройство" - в лигу "Компьютер это просто".

Обязательно к прочтению для всех:

Добавление ссылки разрешено если она не содержит описание коммерческих (платных) продуктов и/или идентификаторов для отслеживания перехода и для доступа не нужен пароль или оплата в т.ч. интернет-ресурсы, каналы (от 3-х тематических видео), блоги, группы, сообщества, СМИ и т.д.


Запрещены политические holy wars.

По решению модератора или администратора сообщества пользователь будет забанен за:

1. Флуд и оскорбление пользователя, в т.ч. провокация спора, флуда, холивара (высказывание без аргументации о конкретной применимости конкретного решения в конкретной ситуации), требование уже данного ответа, распространение сведений порочащих честь и репутацию, принижающих квалификацию оппонента, переходы на личности.

2. Публикацию поста/комментария не соответствующего тематике сообщества, в том числе обсуждение администраторов и модераторов сообщества, для этого есть специальное сообщество.

3. За обвинение в киберпреступной деятельности.

4. За нарушение прочих Правил Пикабу.

1
Автор поста оценил этот комментарий

Я что то не понял, а где он взял исходный текст для подсчета количества тех или иных символов?

раскрыть ветку (1)
7
Автор поста оценил этот комментарий
Любой художественный текст на русском подойдет. Главное объем этого текста
1
Автор поста оценил этот комментарий

Пример крутой) И интересный.

Однако, актуален пару-тройку веков назад. Если у нас избыточное псевдослучайное кодирование?

раскрыть ветку (1)
3
Автор поста оценил этот комментарий

Да, это основы для широкой публики. Зачем пугать людей сложностями помехоустойчивого кодирования, корректирующими кодами (Хеммингом), симметричными и асимметричными методами, или того хуже, объяснять свойства каналов связи и свойства информации (энтропию и прочее). Кто заинтересуется найдёт и изучит.
@mrFester, для меня это уже пройденный материал

показать ответы
2
Автор поста оценил этот комментарий
Все шифры подстановки на данный момент имеют слабую криптостойкость. Кроме шифра Вернама.
раскрыть ветку (1)
1
Автор поста оценил этот комментарий

О системе Вернама, в частности, я собирался поговорить в следующем посте. Слаб он и имеет существенные минусы.

показать ответы
1
Автор поста оценил этот комментарий

Помогите расшифровать

9z=z6)7]hz=z2t\t]2*htzt)\w*vh]9*7*3f=*2]z0*h)7*9*h2*hz]t]h9*h5*v*k*t]:[7]9*7*6z)=*2tzk)2*23zw=zf)7*6zfw)z2*=*tw)it]7]9*6]=[v*7*h=]i:*k:[7]2hz=z2tz32*\qz=w2z1w]w]w)9*7*6zt*t]2[3*w*5j)3f*55z3fz0*=*1*2)ht]\)ih]7)3f*k)h=zv*k9=*f*w)qz=w2z1wz@fz2w*70*itz(9*=z9=)39*3*:)7)9*h3w7]h9=]2h]37z6:zi]tz)5zt)z5:]f(1w)*t]9*fz=\7]zbz=]t41zt*w=z3ft]2*iv7]2))*3f]2]73\)3f]=z0)9*zf=]537]7)z5z9*w7*t[9*f*5)w=z3f3:)7):[7]5z74t)q]t]2z=0tzkt*3*2*k9=*f*jwz39zq)]74t*:zhf*h7\tzz)9=*=[f*k39*5*7*50*f4)tzw*=[3ft[5h]tei]z5t[5t]32*k07z:z1w*02]f]7*29*37zht)zv*h[h2]6h[t]tzhz7z3]h)73\t]3f]=*k9*3w*f)tz3]5*7zf)2v*=*h7)2=]k*tt]=*h9=)zj)73\7zf]f49*2*ihz0z2*ff]w0zh*:zht*)6)7]hz=z2t\hz=6]3432*zv*5e3f]t]\=zz7z2*v*:z=zv]23f=zj]\)9=*2*6]\v*h[w]w2*hz9*w*f*=*k3t*3)7)343h=zv)5)9*3z7zt)\5))2*i7zw*f*=*k)i2zjt*w*=5)7)34)w]wtzfw]i]7*34w*tq])w=]\:zvzbzk2*hztef)2zwzhz=z2tzz0*h)7)t]9*v*3f*ht)t]=*6h]7)34h=zv)zi]2]7)2]7)343f]=[z9*3f=*kw)=z:)7)34t*2[zf]w)6)7]hz=z2t\9z=z5*v]\7(:[z2=z5zt])t]9]3f)f=)3f]37)1t)5v*h*2i]w*)t]2z=0tz55[3zt]5[7*9*h)39*72z=3f[iz57)9*w]tzv=\tz7*ht]6h[37z0jf*h]741zhz=z2tztz6)2]f4tz:[2]f4t)6z9*:)=(3z3f=*\f97*f)tzh7\@7zwf=*3f]tq))2*h]9*=zwz)=zjw]59*ht)5zf3\)=]i*74zf3\i]f*9)f5t*v)ziz57))2f*5j)37z29z=2z(*jz=zh4w*tzjt*:]khzz37)h]6z9*3f]2)f4h=zvt]h=z6wz9\f4f]w)0*3f=*2*223z=]2t*i]f*9)f35]wz1w*k)5z3f]9*f*5tz9*w]i]f4vhzf]53)7)7)347(h)9=)hzf3\9z=zzi6]f4tz9=*3f*:[7*9*2z=)f4jf*f]w*t*):zhzft]3]5*5hz7zjf*w=]k32zf]w*f*=[59zv]7)fz5t[kt]=*hfz9z=4h7\hz=z2t)hzk3f2)fz74t*:7)i*wjz=ziv*h9*37z9z=2[037z0*29=)z0]7]t]w]fz=z*qzt*jt]\w*5)33)\3f]7]*9=zhz7\f4)it*39*3f=*zw)t]it]j]f4i]t)0hzt4v)3*5tz2]f43\:*741z23zh4:z:]kh[tz9=)0*h)7*34*t]h*f\v)2]7]9*37zht)zv*h[vhzf*t]9=]2*5:z=zvz3f=*)73\z6zt*2[k9*3z7*wh7\3*20*i]2w*f*=[k32*h)7)23z:7)6t)z)h]6ztz:7)6t)zw*70*i[]3f]=[zhz=z2t)=z1zt*:[7*jf*:[tz2*i)f43\307]54z59z3f)f49*h*v*t4t*fz9z=4*3f]2]7*349*37zhtzz7zf**3zt4(9*ht)5zf3\2*h]

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Пробовали методом из поста?

1
Автор поста оценил этот комментарий

Здравствуй! Объясни пожалуйста, что конкретно в данном случае и на что заменили? например в зашифрованном тексте самый часто встречающийся символ - это "e", верно? ему соответствует пробел, так? Делаю расшифровку текста по этому же принципу, но у меня получается не текст, а какая-то белиберда... Спасибо заранее за ответ!

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Привет!
Заменил то что во второй таблице на то, что в первой. Для начала (10-15 символов), строчка к строчке, далее уже по тексту смотрел. Некоторые символы могут иметь одинаковую частоту, поэтому не стоит ориентироваться только на цифры. Полностью восстановить текст у меня получилось только благодаря тому, что я читая текст видел слова типа "ослаЁила" и понимал, что нужно Ё заменить на б.

1
Автор поста оценил этот комментарий

А как ты узнал, что это глава 1, а не 5 (V), к примеру?)

раскрыть ветку (1)
0
Автор поста оценил этот комментарий
Смекалка))
И поиск в Яндексе по первому предложению
1
Автор поста оценил этот комментарий

В оригинале текста "ГЛАВА I" - как расшифровать латинский символ I, причем обозначающий цифру 1? Да и набор символов - явно же просто другая кодировка, а не "зашифрованный текст".. Программка была раньше, Штирлиц называется, один из её способов исправления кодировки был как раз эвристический, похожий на ваш пример, если подхватывала, то 1 в 1 как на гифке действо было )

раскрыть ветку (1)
0
Автор поста оценил этот комментарий
Я в ручную расшифровал этот символ) никто не запрещает так делать. А набор символов из таблицы кодировки символов. Ты и сам можешь поэкспериментировать. Зажми альт, потом набери 0167 или 0174 или что захочешь другое цифрами. Получишь символ из таблицы
показать ответы
1
Автор поста оценил этот комментарий

Что-то пара противоречий - в тексте есть буква I, каким боком она относится к русскому алфавиту? И её распределение в русском тексте - не может быть очень точным. Потом - знаки препинания тоже зашифрованы, у них тоже есть распределение? И третье, самое для меня непонятное - заглавные буквы, их очень мало в любом тексте, как для них сделать адекватное распределение? И вообще, в примере не шифр, а просто другая кодировка, или знаки табуляции (следующая строка) тоже в нем "зашифрованы" в знак "#"??

раскрыть ветку (1)
0
Автор поста оценил этот комментарий
Это многоалфавитная замена, и используется множество символов. Или в оригинале текста вы увидели l?
Я сильно сжал объяснение. Я заметил что после вполне законченого слова есть некий символ, да и разные (запятая и точка), я прикинул где что должно быть по смыслу и заменил. Нашел точки - нашел все заглавные буквы. Еще нашел имя Матвей - еще заглавная. Да, знак красной строки и отступ тоже зашифрованы.
показать ответы
3
Автор поста оценил этот комментарий

и что должна была проиллюстрировать эта картинка? искусство формошлепства автора?

раскрыть ветку (1)
0
Автор поста оценил этот комментарий
Что это не шифр Цезаря. И даже не моноалфавитная замена.
Автор поста оценил этот комментарий

"шифровать Хэммингом"? Пожалуйста, не пиши больше статей.

раскрыть ветку (1)
0
Автор поста оценил этот комментарий
Мсье не знает о корректирующем коде Хемминга. Или придирается к словам?
показать ответы
1
Автор поста оценил этот комментарий

Кодирование Хаффманом довольно просто объясняется на пальцах)

Посчитай -> выпиши в строчку по убыванию\возрастанию -> нарисуй дерево -> Well done!

все что надо - сравнивать два числа и линию рисовать)

к тому же оно активно применяется в сжатии информации, и имеет простое доказательство

имхо, он довольно понятен для человека со стороны (по крайней мере пара гумов довольно быстро его поняла))

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Да и Шеннон-Фано тоже не сложно, согласен. Что уж там, выписал все символы по убыванию, поделил на 2 группы пополам, сверху 0, снизу 1. Ещё раз, сверху 0,1. Снизу 0,1... и так пока не останется по одному символу в каждой группе.
Может и это покажу людям, просто с подобным люди реже встречаются лицом к лицу, так сказать. (Архиватор RAR работает по Хаффману? Он кажется, ищет одинаковые куски кода и выносит их, заменяя ссылками на одну копию кода)
А вот как взломать пароль на word, excel, zip, rar, уже, наверно, интереснее)

показать ответы
1
Автор поста оценил этот комментарий

Из того, что мне кажется, было интересно публике:

- ассиметричное шифрование для чайников

- безопасная передача ключей

- забавные случаи из истории, связанные с криптографией (да, такие есть и их довольно много))

- конечные автоматы (они хоть и простые, но такие няшные)

- что такое хеш и с чем его едят

- какие-нибудь простые виды кодирования, которые можно самому на листочке сделать (Хаффман, Шеннон)


п.с. за продвижение криптографии в массы - однозначный плюс, а то уже надоедает отвечая "Я - криптограф" слышать "А это кто?" т-т

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Спасибо)
Сохраню
Для кого-то Хаффман и Шеннон будет сложным (мне так приходилось Хеммингом шифровать на листочке. Мне то было не сложно, зная метод)

показать ответы
1
DELETED
Автор поста оценил этот комментарий
Ну как-то уж совсем просто с пробелами. Студентам обычно без них дают, чтобы хоть чуть-чуть голову поломали.
раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Так пробелом он стал после шифрования. А за настоящим пробелом скрывается буква е, причём английская.
Или даже без шифрованного пробела?

показать ответы
0
Автор поста оценил этот комментарий

А вот попробуй догадаться без ключа что может означать слово - 7ПZМY?

Может "бомба", а может "водка", "лайка", "чашка", да любое слово из 5 букв

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Ну не чашка и не лайка, и там, и там, 2 одинаковые "а", которые станут, например символом Ґ
Но и в примере из поста буквы шифруются случайно, а не по правилу

показать ответы
1
Автор поста оценил этот комментарий

О системе Вернама, в частности, я собирался поговорить в следующем посте. Слаб он и имеет существенные минусы.

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Но это не точно)
Я всё таки ещё не написал, не актуализировался, а уже говорю

1
Автор поста оценил этот комментарий

В принципе интересно, и доступно, еще что нить напишите?

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Да, думал ещё написать о паролях, но там слишком элементарно. Хотя ещё думаю.
Пожалуй, есть другая тема, напишу)

показать ответы
0
Автор поста оценил этот комментарий

Автор! ПРОДОЛЖАЙ!!!

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Хорошо, буду)

Автор поста оценил этот комментарий

Вот именно, я знаю, что такое код Хэмминга.

А ты, видимо, не видишь отличий между кодированием и шифрованием. Так что, пожалуйста, не пиши статьи о криптографии. Ты не компетентен даже на уровне студента вуза.

раскрыть ветку (1)
Автор поста оценил этот комментарий
Мог бы написать просто “2“ я бы понял что придрался к тому что спутал слово. Haters gonna hate
49
Автор поста оценил этот комментарий
Простой одноалфавитный шифр замены, самое дно криптостойкости.
раскрыть ветку (1)
Автор поста оценил этот комментарий

не совсем
Не настолько просто

Иллюстрация к комментарию
показать ответы

Темы

Политика

Теги

Популярные авторы

Сообщества

18+

Теги

Популярные авторы

Сообщества

Игры

Теги

Популярные авторы

Сообщества

Юмор

Теги

Популярные авторы

Сообщества

Отношения

Теги

Популярные авторы

Сообщества

Здоровье

Теги

Популярные авторы

Сообщества

Путешествия

Теги

Популярные авторы

Сообщества

Спорт

Теги

Популярные авторы

Сообщества

Хобби

Теги

Популярные авторы

Сообщества

Сервис

Теги

Популярные авторы

Сообщества

Природа

Теги

Популярные авторы

Сообщества

Бизнес

Теги

Популярные авторы

Сообщества

Транспорт

Теги

Популярные авторы

Сообщества

Общение

Теги

Популярные авторы

Сообщества

Юриспруденция

Теги

Популярные авторы

Сообщества

Наука

Теги

Популярные авторы

Сообщества

IT

Теги

Популярные авторы

Сообщества

Животные

Теги

Популярные авторы

Сообщества

Кино и сериалы

Теги

Популярные авторы

Сообщества

Экономика

Теги

Популярные авторы

Сообщества

Кулинария

Теги

Популярные авторы

Сообщества

История

Теги

Популярные авторы

Сообщества