Наши разрабы дронов спрашивают: «Что учить?» Я говорю: «Жидкие нейронки, вдохновлённые червяком»
Дроны с 9-34 нейронами как у червяка и 12к параметрами уже 5 лет назад сновали через лес с кучей веток и адаптировались к задачам. Внизу перевёл видео 3 годичной давности об апгрейдах этой технологии. Для сравнения если делать CNN вроде NVIDIA PilotNet, то потребуется около 5 миллионов параметров и 1164 нейрона(после flatten)!*
Переводил заранее запрещенным ElevenLabs. Оригинал на заранее запрещенном TEDx Talks на заранее запрещенном, экстремистком ютубе https://www.youtube.com/watch?v=2BoxhZUi01Y (закон для длящихся преступлений имеет обратную силу, так что заранее проставил предупреждения).
В 2021-2023 годах команда MIT (Hasani, Lechner, Rus) показала: дрон управляется сетью из нескольких десятков нейронов и уверенно летит к цели сквозь ветки, даже если пейзаж полностью сменился (лето->зима, лес->город).
Это Liquid Neural Networks - сетки, у которых каждый нейрон описывается дифференциальным уравнением с адаптивной «жидкостной» постоянной времени. Сеть постоянно «течёт» и подстраивается под входящий поток данных даже после обучения. Идея подсмотрена у червяка способного на сложные адаптации - нематоды C. elegans длиной 1мм с 302-я нейронами.
Насколько это компактно
Классический LSTM/RNN для похожих задач навигации: десятки-сотни тысяч параметров (часто 64-220 hidden units + тяжёлый CNN).
Liquid / NCP:
9 нейронов - простой контроль (1 DoF)
14-24 нейрона - полноценный автопилот
~19 нейронов и 253 синапса - lane-keeping
~34 нейрона - знаменитый лесной дрон 2023 года
Сравнение с обычными решениями
Разница - один-три порядка по параметрам. Такая сеть спокойно крутится на Raspberry Pi Zero в реальном времени. Или ещё в более мелкую Raspberry Pi Pico с 264 КБ RAM влазит около 30 нейронов, но будут те же проблемы что и с дистилированными квантифицированными моделями - потеря обобщения, кодирования сложных закономерностей, объективно тупее будет.
Откуда берётся экономия
В 2022-м появился CfC - закрытая форма тех же уравнений. Вместо медленных численных солверов ODE - прямое вычисление. Ускорение времени тренировки и инференса - от одного до пяти порядков. На медицинских задачах фиксировали 220х.
Liquid AI (стартап тех же людей(конкурируют с диффузионными LLM вроде Mercury 2.5)) заявляет 10-1000х меньшее энергопотребление на инференс** и 10-20х быстрее обучение по сравнению с трансформерами на узких задачах. На крайних устройствах и роботах это уже не маркетинг, а физика: меньше MAC-операций, ниже задержка, меньше тепла.
Почему так работает
Нейроны не имеют жёстких весов. Их динамика зависит от текущего входа и состояния. Плюс, разреженная структура связей(sparse wiring), скопированный с нервной системы нематоды. В результате сеть лучше ловит причинность и временную структуру сигнала - и ей просто не нужно раздуваться до миллионов параметров.
С тех времён жидкостные нейронки улучшились на несколько порядков, как и роевые алгоритмы. Скорость прогресса видно на выпусках LLM. Примерно 3 недели на существенно улучшенную модель - смотрите на отрезок времени между Gemini 3.7 и 3.8.
*Flatten - слой, который берёт многомерный тензор (карту признаков после свёрток) и просто «расплющивает» его в один длинный одномерный вектор.
**Инференс - это процесс работы уже обученной модели, когда она применяет накопленные знания для анализа новых данных и выдачи результата.
