Как Андрюха Лук весь Вархаммер скачал, а потом обработал. Или Ваха его обработала, тут вопрос открытый
Год назад моя жизнь кардинально поменялась. Я хотел изменить кое-что в таблице Excel, спросил у DeepSeek направление. Он сказал: Поставь Python и выполни это через консоль. Табличка очистилась.
В тот день я стал программистом. Не программистом даже, а всамделишным нейтронером. Дальше - больше: игры, сайты, CRM-системы. Куча всего. Ничего из этого не работало.
А ещё я начал собирать базу Warhammer. Мне стало интересно: сколько раз в книгах вселенной встречается слово хуй? Встречается ли вообще? Сначала я занимался лингвоанализом, потом подтянул статьи из русской и английской Википедии. Запарсил фант, ебать его в сраку, лаб. Разбил все книги на чанки по 10 тысяч символов.
Итог: 41 тысяча чанков.
Я понял: это знак.
Первые связи я вытащил из Википедии. Кросс-ссылки, упоминания, теги. Три месяца типизировал статьи, приводил к общему виду. Не всегда получалось. Чистил текст от мусора, боролся с ОКР-символами. Было сложно.
Через полгода я забил на базу. Просто закинул и не притрагивался.
Но недавно открыл для себя ИИ-агентов. Вот тогда карта и попёрла.
Огромная проблема - переводы. У одного персонажа в разных книгах могут быть три-четыре имени. Гор, Хорус, Конрад Керс, Конрад Кюрц. И таких примеров - сотни. Я пытался бороться, проводил дедубликацию, но грязь остаётся.
В итоге я всё-таки доделал и выкатил проект.
Мне было лень заходить и оформлять красивые скрины с десктопной версии, искать идеальную сущность для демонстрации. Поэтому нарубил просто с мобильной версии.
Можно искать любимых персонажей, читать цитаты, смотреть, с кем и как они связаны. База огромная - 8 гигабайтов текста, сгенерированного с помощью ИИ, статей, книг. Предупреждаю: будут косяки. Всё, что вы видите - результат обработки, а не истина в последней инстанции.
В будущем планирую ещё прогоны, чтобы улучшить связи и типизацию. Но это потом.
Но уже сейчас. Заходите. Исследуйте. Думайте. Связывайте. Порите плёткой любимых женщин.
И да, если пост нарушает правила - прошу не удалять сразу. Я что-нибудь придумаю. Может, даже куплю Пикабу+. Шучу, не куплю. Лучше пущу эту десятку на новый прогон базы.
p.s. проект нуждается в вашей поддержке. Что бы мотивировать меня и дальше работать, Вы можете зайти в комментарии и послать кого-нибудь нахуй.