Есть компании, которые взлетают за одну ночь. А есть Databricks — её основали ещё в 2013 году создатели Apache Spark, того самого открытого движка, на котором до сих пор крутится половина «биг-даты» планеты. Тринадцать лет это была уважаемая, но нишевая история «для дата-инженеров»: платформа, куда корпорации сгружают терабайты сырых данных и гоняют по ним аналитику. Ключевая идея — «lakehouse», гибрид озера данных и хранилища. Скучновато для заголовков.

Как данные стали золотом

А потом случился ИИ — и выяснилось, что данные — это топливо для нейросетей, а Databricks сидит ровно на этой трубе. Компания молниеносно перепозиционировалась из «аналитики» в «ИИ-инфраструктуру» и выкатила целую линейку продуктов под ИИ-агентов: Lakebase (база данных для агентов), Unity (ИИ-шлюз), Omnigent (оркестрация агентов). CEO Али Годси управляет армией примерно из 3000 инженеров.

Четыре апрайза за полтора года

И инвесторы понесли деньги мешками. Новый раунд — около $3 млрд при оценке $188 млрд, лид-инвестор фонд Coatue, закрытие ожидается летом 2026-го. Это уже четвёртый пересмотр оценки за полтора года, и график выглядит как вертикальный старт ракеты:

• декабрь 2024 — $62 млрд
• сентябрь 2025 — $100 млрд
• февраль 2026 — $134 млрд
• июль 2026 — $188 млрд

Плюс $54 млрд оценки всего за семь месяцев. Databricks теперь дороже большинства публичных корпораций — и при этом всё ещё остаётся частной компанией.

Почему это важно

История Databricks — идеальный портрет нынешнего ИИ-бума. Взлетают не только те, кто делает сами модели, но и те, кто владеет инфраструктурой под них: данными, вычислениями, трубопроводом. TechCrunch метко называет Databricks «любимым вторым актом ИИ» — бизнес, придуманный задолго до бума, но именно нейросети превратили его в золото. И пока рынок готов платить $188 млрд за компанию, которая по сути продаёт «лопаты» для золотой лихорадки, лихорадка явно далека от финала.

🔗 Источник: TechCrunch

🎯 НЕЙРО-ПУШКА ● Новости и обзоры нейросетей

Мы решили ускорить NameNode.
Сначала увеличили количество потоков.
Сервер посмотрел на нас и сказал: “Спасибо, теперь мне плохо быстрее”.
Потому что очередь — это не когда мало людей у окошка.
Очередь — это когда окошко одно, а люди уже начали жить в очереди.
И вот стоит запрос getFileInfo.
Он ничего не хочет.
Он просто спросить.
Но таких “просто спросить” — девять тысяч.
И каждый с выражением лица: “я на секундочку”.
А система в этот момент думает:
“Если все на секундочку, почему у меня уже среда?”
И тут приходит администратор.
Не человек — профессия.
У него в глазах не усталость.
У него в глазах jstack.
Он говорит:
“Сейчас мы посмотрим, кто держит lock”.
Это очень сильная фраза.
В обычной жизни так не говорят.
В обычной жизни говорят: “Кто последний?”
А тут: “Кто держит lock?”
И сразу понятно — люди давно не отдыхают.
Сделали jstack -l.
И NameNode завис.
То есть мы хотели узнать, почему он зависает.
И для этого дали ему команду зависнуть окончательно.
Это называется диагностика.
В медицине так нельзя, а в IT — пожалуйста.
Потом решили:
“Больше -l не делать”.
Это тоже важный этап зрелости инженера.
Когда ты не знаешь, что делать, но уже знаешь, чего делать нельзя.
На этом держится половина промышленной эксплуатации.
Потоки стоят.
Очередь RPC растёт.
CallQueueLength смотрит на тебя как очередь в поликлинике в понедельник утром.
Там уже не запросы.
Там судьбы.
Один запрос пришёл открыть файл.
Второй — узнать информацию о файле.
Третий — удалить файл.
Четвёртый — просто посмотреть список.
И каждый считает, что он главный.
open говорит:
“Без меня вообще ничего не начнётся”.
getFileInfo говорит:
“Я маленький, я быстро”.
delete говорит:
“Я сейчас освобожу место”.
А NameNode говорит:
“Вы все говорите одновременно. Я один”.
И где-то рядом DataNode.
У него вообще своя жизнь.
Он пишет:
“Block token verification failed”.
Что это значит?
Это значит: “Я помню блок, но не помню пароль от воспоминаний”.
Блок есть.
Токен есть.
Ключа нет.
Как в жизни: человек есть, пропуск есть, база сказала — не знаю такого.
Потом появляется Hive Metastore.
Это уже не сервис.
Это посредник между болью и базой данных.
Цепочка красивая:
Trino идёт в Metastore.
Metastore идёт в HAProxy.
HAProxy идёт в PgBouncer.
PgBouncer идёт в PostgreSQL.
PostgreSQL смотрит на Patroni.
Patroni смотрит в вечность.
И где-то посередине возникает timeout.
Все говорят:
“Это не у меня”.
Trino говорит:
“Я просто спросил”.
Hive говорит:
“Я передал”.
HAProxy говорит:
“Я балансировал”.
PgBouncer говорит:
“Я пулил”.
PostgreSQL говорит:
“Я вообще живой благодаря Patroni”.
Patroni говорит:
“Я лидер, но не крайний”.
И вот в логе появляется прекрасное:
Connection is not available.
Очень человеческая фраза.
Не “ошибка”.
Не “сбой”.
А именно — “соединение недоступно”.
Как хороший специалист в отпуске.
Он есть.
Он где-то числится.
Но сейчас недоступен.
Тогда мы увеличиваем pool.
Потому что если не хватает соединений, надо дать больше соединений.
Это логично до первой тысячи.
Потом выясняется, что больше соединений — это не решение, а способ быстрее узнать, где следующая проблема.
Сначала не хватало соединений.
Потом не хватает потоков.
Потом не хватает памяти.
Потом не хватает терпения.
Потом не хватает людей, которые помнят, зачем это всё было построено.
А Trino тем временем живёт отдельно.
У него 185 нод.
Потом уже 275.
Два координатора.
Большой кластер.
Очень большой.
Такой большой, что когда запрос не выполняется, это уже не ошибка, а коллективное мероприятие.
И он пишет:
No nodes available to run query.
Вот это особенно красиво.
Двести семьдесят пять нод.
И ни одной свободной.
Как парковка у торгового центра перед Новым годом.
Ты смотришь на кластер и говоришь:
“Но вот же они. Стоят”.
А Trino отвечает:
“Физически — да. Духовно — нет”.
Потом Trino находит утечку памяти.
Он пишет:
“Memory leak detected”.
И перечисляет query id.
Длинные такие, солидные.
Как номера уголовных дел.
Запрос уже завершился.
Но память держит.
Он ушёл, но вещи оставил.
Как родственник после праздников:
“Я только куртку заберу потом”.
И память ждёт.
День ждёт.
Ночь ждёт.
ZGC ходит рядом, тихий, интеллигентный.
Говорит:
“Я бы убрал, но оно формально занято”.
ZGC вообще похож на хорошего уборщика в музее.
Всё видит, всё понимает, но экспонаты трогать нельзя.
Потом начинается Kafka.
Kafka — это когда ты решил, что логов много, но всё равно хочешь их сохранить.
Потому что вдруг пригодятся.
Что именно пригодится — неизвестно.
Но удалять нельзя.
Вдруг потом спросят: “А кто удалил?”
И вот HDFS audit летит в Kafka.
Ranger audit летит в Kafka.
Spark читает Kafka.
Пишет ORC.
Trino читает ORC.
Человек читает Trino.
И в конце человек всё равно делает grep.
Потому что сколько бы мы ни строили платформу данных, настоящий BI начинается с:
cat log | grep ERROR
А потом awk.
awk — это такой маленький Hadoop для одного человека.
Если человек злой и выспался — он заменяет половину enterprise-стека.
Потом Spark Streaming.
Он должен читать поток, парсить, складывать.
Очень просто.
Пока не появляется offset.
Offset — это память о том, где ты остановился.
В жизни этого очень не хватает.
Spark говорит:
“Я помню”.
Kafka говорит:
“А я помню, что ты помнишь”.
YARN говорит:
“Подожди, у меня ресурсов нет”.
И всё стоит, потому что кто-то где-то попросил executor, а YARN отвечает:
“Ваш запрос очень важен для нас. Оставайтесь на линии”.
Executor ждёт.
Driver ждёт.
Kafka ждёт.
Пользователь ждёт.
Только данные не ждут.
Данные приходят.
И это главная особенность Big Data.
Маленькие данные можно отложить.
Большие — нельзя.
Они идут.
Как отопительный сезон.
Как отчётность.
Как родственники на дачу.
Потом мы смотрим Grafana.
Grafana — это когда всё плохо, но красиво.
Линии бегут.
CPU прыгает.
Network падает.
Heatmap светится.
И ты уже не решаешь проблему, а любуешься её динамикой.
Особенно приятно, когда график показывает, что проблема была ночью.
В три часа.
Когда ты спал.
То есть теоретически спал.
Потому что в 03:17 пришло сообщение:
“NameNode опять залип”.
И ты смотришь на телефон.
На мир.
На потолок.
И думаешь:
“Когда я был маленький, я хотел заниматься компьютерами”.
Вот оно.
Занимаешься.
Потом появляется PostgreSQL.
Мы смотрим самые тяжёлые таблицы.
SDS.
DBS.
SEQ_SCAN большой.
Очень обидно, когда таблица называется из трёх букв, а проблем создаёт на весь день.
Делаем ANALYZE.
И сразу вопрос:
“А он не заблокирует?”
Потому что в промышленной базе любая команда звучит как угроза.
Даже ANALYZE.
Хотя по названию вроде культурная вещь.
А всё равно страшно.
Потом индексы.
Индексы — это как полки в гараже.
Пока их нет, всё лежит на полу, но все знают, где что.
Потом ставишь полки — и сначала становится хуже.
Потому что теперь надо понять, на какую полку ты положил то, что раньше просто пинал ногой.
Но без индексов нельзя.
С индексами тоже нельзя просто так.
В этом и состоит архитектура.
А ещё есть HAProxy.
У него параметры.
Много параметров.
maxconn, timeout, backlog, nbthread.
Ты смотришь на них и понимаешь:
люди не настраивают HAProxy.
Люди ведут с ним переговоры.
“Сколько соединений ты выдержишь?”
“Смотря как попросите”.
“А если увеличить?”
“А если я упаду?”
И ты такой:
“Давай аккуратно”.
В Big Data слово “аккуратно” означает:
сначала на одной ноде, потом на всех, потом откат, потом опять на всех, но уже с другим значением.
Потом Ansible.
Ansible — это способ ошибиться сразу на 185 серверах, но с чувством порядка.
Одна команда — и везде одинаково.
Если правильно — праздник.
Если неправильно — тоже везде одинаково.
Красота стандартизации.
Особенно хорош site.retry.
Это файл, где записаны те, кто не смог.
У людей тоже должен быть life.retry.
Список задач, на которых мы отвалились, но потом вернёмся.
А пока возвращаемся к NameNode.
NameNode сидит.
У него 500 гигабайт heap.
ZGC.
Метрики.
JMX.
Очереди.
Потоки.
Handlers.
И всё равно он иногда смотрит в одну точку.
Потому что размер памяти не отменяет смысла происходящего.
Можно дать человеку большой кабинет.
Можно дать ему три секретаря.
Можно дать ему кофемашину.
Но если к нему каждую секунду забегают тысячи людей с вопросом:
“А этот файл есть?”
— рано или поздно он начнёт отвечать глазами.
И вот мы сидим ночью.
Смотрим на логи.
Там Java.
Thrift.
SocketTimeoutException.
Read timed out.
Очень честная ошибка:
“Я читал, читал — и устал”.
И в этот момент приходит мысль:
Big Data — это не про большие данные.
Это про большую ответственность за маленькие настройки.
Один timeout.
Один pool.
Один индекс.
Один handler count.
Одна очередь.
Один jstack -l.
И всё.
У тебя уже не кластер.
У тебя роман.
Роман о человеке, который хотел просто хранить файлы.
Потом просто читать таблицы.
Потом просто ускорить запросы.
Потом просто понять, почему оно висит.
Потом просто дожить до утра.
И самое смешное — утром оно заработает.
Само.
Ты придёшь, а графики ровные.
Очередь ноль.
CPU нормальный.
Metastore отвечает.
Trino выполняет.
Kafka пишет.
Spark читает.
И все скажут:
“Ну вот, видишь, прошло”.
А ты знаешь:
оно не прошло.
Оно просто ждёт следующего релиза.

Вы наверняка слышали про Polymarket и их скандальный опрос про ядерный удар. Децентрализованные рынки предсказаний — популярная тема в мире. Но крипта, ставки на реальные события, финансовая ответственность — всё это делает прямой аналог Polymarket невозможным (и опасным) в нашей юрисдикции.

Я решил пойти другим путем. Я сместил фокус с азарта и валюты (будь то виртуальной или реальной) на большие данные, анализ мнений и точность предсказаний. Вместо «ставок» — заработок рейтинговых очков, вместо вывода денег — помощь благотворительным организациям.

Немного о себе

Меня зовут Никита, я студент 3 курса технического университета, учусь на программиста и работаю младшим тестировщиком. Люблю придумывать и реализовывать проекты в сфере IT на разных платформах и с использованием разных технологий. Мой GitHub.

О чем вообще речь?

Платформа предсказаний — это место, где пользователи делают прогнозы на исход реальных событий. Политика, спорт, технологии, культурные события — всё, что можно сформулировать как вопрос с ответом "Да"/"Нет".

Но если на Polymarket тебя мотивируют деньги (и ты рискуешь ими), то у нас мотивация другая:

1. Проверить свою интуицию. Насколько хорошо ты чувствуешь мир? Твой личный рейтинг точности покажет это.

2. Увидеть, что думают другие. Это не просто "лайки" под постом, а реальная статистика прогнозов тысяч людей.

3. Поучаствовать в добром деле. Точные прогнозы конвертируются в благотворительность. Твоя интуиция может помочь тем, кому нужна помощь.

Почему это интересно не только пользователям, но и бизнесу?

Здесь скрывается главный потенциал платформы, который я вижу как разработчик и аналитик.

Каждый прогноз — это точка данных. А тысячи прогнозов по сотням событий — это набор данных, который может ответить на важные вопросы:

• Как формируется коллективное мнение?

• Какие темы люди предсказывают точнее всего?

• Какие темы интересуют людей?

• Есть ли корреляция между уверенностью пользователя и его точностью?

• Можно ли на основе прогнозов "толпы" строить модели, предсказывающие реальные события лучше, чем эксперты?

Для крупных компаний и исследовательских центров такая платформа может стать инструментом:

• Краудсорсинговые прогнозы вместо дорогих опросных агентств.

• Тестирование гипотез на реальной аудитории перед запуском продукта.

• Сбор общественного мнения в режиме реального времени, а не по результатам "вчерашних" исследований.

Пока это выглядит как амбициозная цель, но архитектура платформы уже закладывает возможность агрегации и экспорта данных для внешних заказчиков.

Как это работает для обычного пользователя?

Для человека, который просто хочет проверить свою интуицию, всё максимально просто:

1. Регистрируешься.

2. Участвуешь в опросах — выбираешь исход события, оцениваешь свою уверенность.

3. После наступления события система засчитывает результат. Твой рейтинг точности растет или падает.

И здесь появляется элемент, который делает процесс осмысленным: благотворительность.

Ты не просто гадаешь ради гадания. Твоя активность копит виртуальные очки. В любой момент ты можешь конвертировать их в реальное пожертвование в проверенный фонд. Никаких финансовых рисков для тебя. Никакой азартной составляющей.

Это создает здоровую экосистему: людям интересно соревноваться в точности (пусть даже не за деньги), а приятный бонус в виде участия в добром деле удерживает их на платформе.

Техническая часть

Изначально проект задумывался как монолит, но в процессе перерос в микросервисную архитектуру. Не скажу, что это было необходимо на старте, но для прокачки скилла и будущего масштабирования — самое то.

• Бэкенд: .NET 8, разделен на несколько сервисов. Взаимодействие через MassTransit.

• Инфраструктура: Docker, YARP Proxy.

• Базы: PostgreSQL для основных данных + Redis для кэширования.

• Фронтенд: React + TypeScript, верстка на Tailwind (спасибо нейросетям за генерацию шаблонов, это спасло кучу времени).

Текущее состояние

Сейчас проект вырос до состояния, когда технически я могу развивать его и дальше (архитектура гибкая, стек понятный), но как разработчик и технический лидер я упираюсь в потолок компетенций, не связанных с кодом. Страница проекта доступна по ссылке.

Одному тянуть тяжело, потому что нужно принимать решения, в которых я не эксперт. Но для движения дальше мне не хватает двух взглядов на мир.

Кого мне не хватает:

1. У меня хорошо развито аналитическое и техническое мышление, но когда дело доходит до финансовой модели — я безнадежен. Нужен человек, который сможет ответить на вопросы:

   • Сколько это стоит — содержать платформу при 1000 и при 100 000 пользователей?

   • Где здесь деньги? (Кроме благотворительных взносов).

   • Какая у нас юнит-экономика и почему мы не разоримся завтра? Если вы видите цифры там, где я вижу только код, и умеете строить простые финмодели для стартапов — нам по пути.

2. Я имею небольшой опыт управления командами (хакатоны и студенческие проекты), но мне тяжело дается планирование будущего. Нужен человек, который поможет решить эти вопросы:

   • "Ок, мы сделали опросы. А что через 6 месяцев? Куда двигаем продукт?"

   • "Кто наш реальный пользователь и как до него достучаться?"

   • "Как нам не просто выживать, а масштабировать идею?" Если вы умеете составлять стратегию и видите путь там, где я вижу только туман — приходите, будем прокладывать маршрут вместе.

Если вы чувствуете, что можете закрыть хотя бы один из этих пробелов, и хотите обсудить, во что это может вырасти — пишите в телеграм или в личку.

Если хотите обсудить код, стек или просто затестить платформу и поругать её — пишите в телеграм или в личку. Вместе веселее.

P.S. Почему не Polymarket? Потому что я верю, что ценность предсказаний — не в деньгах, которые на них можно поставить, а в данных, которые они генерируют. И в том, что даже простой интерес к своей интуиции может быть направлен на добрые дела. Или я слишком наивен? Жду критику в комментариях.