1915

Лев Толстой против Пикабу — статистика русского языка

Недавно я делал пост о частоте букв в русском языке. Из него вы узнали, что «О» встречается чаще, чем 14 самых редких букв вместе взятые, 50% языка написана всего 7 буквами, а «Ё» пора переносить из букваря в Красную книгу

Лев Толстой против Пикабу — статистика русского языка Война и мир (Толстой), Наука, Научпоп, Статистика, Инфографика, Русский язык, Визуализация, Человек наук, Длиннопост

Сегодня мы пойдём ещё дальше! Проанализируем не только буквы, но также их сочетания и целые слова. Для анализа возьмём 4 тома произведения «Война и мир» одного небезызвестного Льва. А для того, чтобы понять, насколько достояние культуры похоже на современный русский язык, сравним его с одним из самых популярных постов на Пикабу 2020 года. У него достаточно много комментариев, в которых люди говорят на разнообразные темы. Это отлично подходит для анализа языка. Вот содержание поста:

Лев Толстой против Пикабу — статистика русского языка Война и мир (Толстой), Наука, Научпоп, Статистика, Инфографика, Русский язык, Визуализация, Человек наук, Длиннопост

Кажется, что язык в комментариях под такой картинкой будет совсем не таким, как в художественном произведении 19 века. Но достаточно длинные тексты становятся похожими друг на друга и подчиняются общим закономерностям. Например, сравним частоты букв:

Лев Толстой против Пикабу — статистика русского языка Война и мир (Толстой), Наука, Научпоп, Статистика, Инфографика, Русский язык, Визуализация, Человек наук, Длиннопост

Они почти идентичны! Единственное, что явно выделяется — частота буквы «Т» в комментариях Пикабу. Предположу, что это связано с тем, что в посте обсуждают Билла Гейтса


Кстати, в комментариях получилось 83 тысячи слов, а в книге — 465 тысяч


Теперь посмотрим на статистику поинтереснее! И самое популярное слово… «И». «И» — самое популярное слово. В обоих текстах

Лев Толстой против Пикабу — статистика русского языка Война и мир (Толстой), Наука, Научпоп, Статистика, Инфографика, Русский язык, Визуализация, Человек наук, Длиннопост
Лев Толстой против Пикабу — статистика русского языка Война и мир (Толстой), Наука, Научпоп, Статистика, Инфографика, Русский язык, Визуализация, Человек наук, Длиннопост

«Топ 15» слов удивительно похожи! Настолько, что первые 4 слова полностью совпадают. Забавляют и суммарные количества слов. Читая «Войну и Мир», вам придётся больше 20 тысяч раз встретить слово «И». Предположим, что на его прочтение уходит одна десятая секунды. Тогда после завершения всех четырёх томов, вы суммарно потратите пол часа только на чтение слова «И»


Вы можете возразить, что эти слова необходимы для связывания текста, поэтому неудивительно, что они так часто встречаются. Можно удалить все предлоги, союзы, частицы и прочие «стоп-слова». Тогда тексты снова приобретают свою индивидуальность. По графику можно сказать, о чём в них шла речь и кто именно главный герой:

Лев Толстой против Пикабу — статистика русского языка Война и мир (Толстой), Наука, Научпоп, Статистика, Инфографика, Русский язык, Визуализация, Человек наук, Длиннопост
Лев Толстой против Пикабу — статистика русского языка Война и мир (Толстой), Наука, Научпоп, Статистика, Инфографика, Русский язык, Визуализация, Человек наук, Длиннопост

Тогда в топ «Войны и мир» попадает 2 французских «стоп-слова» — «de» и «a», что тоже забавно. А у Пьера Безухова и князя Болконского идёт нешуточная борьба за первое место


Ещё правильнее было бы привести слова к одинаковой форме (например, считать «Пьера» и «Пьер» или «Деньги» и «Денег» как одно и то же слово). Могу сделать это в следующих постах :) Пишите, анализ каких текстов вам ещё хотелось бы увидеть или если у вас есть идеи для более интересного анализа


Моя группа ВК и телеграм-канал

Лучшие посты за сегодня
7994

Ещё не факт, что человек выбирает себе кота, а не наоборот

Ещё не факт, что человек выбирает себе кота, а не наоборот
7457

Как ты смеешь!

Как ты смеешь! Юмор, Грета Тунберг, Картинка с текстом, Netflix, Браззерс
Показать полностью 1
5310

Дискотека Авария

Дискотека Авария
4807

Добропорядочность до свадьбы доведёт

4698

Внимание, вопрос!

4664

Ответ на пост «О телефонных звонках»

Ответ на пост «О телефонных звонках» Телефон, Ошиблись номером, Текст, Ответ на пост
4542

Просклоняли по-жёсткому

Просклоняли по-жёсткому
4495

Защита родины

Защита родины Украина, Джо Байден, Родина, Защита, Скриншот, Комментарии на Пикабу, Политика
4449

Агрессивная Россия

Агрессивная Россия
4274

Так и живём

Так и живём Юмор, Мемы, Заложенный нос, Картинка с текстом
3850

Скам

Скам Политика, Доллары, Юмор, Картинка с текстом, Экономика, США
3844

Как услышать несуществующий звук?

3838

Что не так?

Что не так? Полиция, Алфавит, Картинка с текстом, Алкоголь
3598

Разнообразие Звёздных Войн

Разнообразие Звёздных Войн
3514

Скользкое объяснение

Скользкое объяснение
3480

Нет добра... без худа?

3402

История знакомства...

История знакомства... Знакомства, Интернет, Скриншот
История знакомства... Знакомства, Интернет, Скриншот
Показать полностью 2
3271

Я впервые вижу, чтобы так снимали рекламу

3195

Ответ на пост «В Жуковском подростки забросали камнями пенсионера на велосипеде»

3087

Оспа

Оспа ВОЗ, Обезьянья оспа, Заразность, Юмор, Мемы, Fake News
Похожие посты закончились. Возможно, вас заинтересуют другие посты по тегам: