Google DeepMind представила систему оптимизации алгоритмов
Новость затерялась среди n-го анонса генератора картинок и AI-помощника (который всё равно ничего нормально сделать не может), а ведь новость-то покруче всего вот этого. Если кратко — Google DeepMind представили второе поколение специализированной нейросети, которая помогает улучшать математические процессы.
Называется она AlphaEvolve и представляет собой агент, который позволяет обнаруживать и улучшать алгоритмы. Базируется на семействе Google Gemini: какие-то модели запускают алгоритмы, а какие-то выступают в роли независимого оценщика, помогая выбирать лучшее решение.
В общем, это то самое решение, которое позволяет нейросетке улучшать саму себя. Таки доигрались, кожаные.
Решение действительно работает, Google DeepMind рассказали о нескольких реальных случаях, когда использовали AlphaEvolve для оптимизации своей собственной работы:
Внедрили систему в работу своих дата-центров, получив значимый эффект (какой, не говорят);
Изменили алгоритм управления своей организации дата-центров, чем выгадали 0,7% прибавки в мощности. Цифра вроде не сильно большая, но помноженная на миллионы устройств, даёт существенный прирост;
Переписали язык описания оборудования (Verilog), заоптимизировав перемножение матриц на физическом уровне. Обещают, что изменения войдут в их разрабатываемый TPU, благодаря чему он уделает
жалки поделки Хуанганеоптимизированные архитектуры;Ускорили некоторые функции ядра самой Gemini, благодаря чему обучать нейросетку стало на 1% быстрее. Тоже вроде бы так себе цифра, но учитывая масштабы, хорошо. Плюс уменьшили в разы время разработки некоторых компонентов ядра нейросетки;
Заоптимизировали несколько математических алгоритмов, в том числе те, которые применяются в нейросетях. Примерно в 20% случаев AlphaEvolve так или иначе, но улучшала существующие алгоритмы в разных областях науки. То, что делали кожаные, когда пилили DeepSeek, теперь делают сами железки.
Последний пункт особенно интересен, потому что компьют компьютом, но железа не хватает и не будет хватать ещё очень-очень долго. Единственный разумный путь развития — заоптимизировать всё наглухо, для чего AlphaEvolve и предназначен. Так глядишь, найдётся что-то и покруче трансформера.
P.S. Ещё у меня есть бессмысленные и беспощадные ТГ-каналы (ну а как без них?):
О науке, творчестве и прочей дичи: https://t.me/deeplabscience
Об играх и игровой индустрии: https://t.me/gameprodev
Искусственный интеллект
5.3K постов11.7K подписчика
Правила сообщества
ВНИМАНИЕ! В сообществе запрещена публикация генеративного контента без детального описания промтов и процесса получения публикуемого результата.
Разрешено:
- Делиться вопросами, мыслями, гипотезами, юмором на эту тему.
- Делиться статьями, понятными большинству аудитории Пикабу.
- Делиться опытом создания моделей машинного обучения.
- Рассказывать, как работает та или иная фиговина в анализе данных.
- Век жить, век учиться.
Запрещено:
I) Невостребованный контент
I.1) Создавать контент, сложный для понимания. Такие посты уйдут в минуса лишь потому, что большинству неинтересно пробрасывать градиенты в каждом тензоре реккурентной сетки с AdaGrad оптимизатором.
I.2) Создавать контент на "олбанском языке" / нарочно игнорируя правила РЯ даже в шутку. Это ведет к нечитаемости контента.
I.3) Добавлять посты, которые содержат лишь генеративный контент или нейросетевой Арт без какой-то дополнительной полезной или интересной информации по теме, без промтов или описания методик создания и т.д.
II) Нетематический контент
II.1) Создавать контент, несвязанный с Data Science, математикой, программированием.
II.2) Создавать контент, входящий в противоречие существующей базе теорем математики. Например, "Земля плоская" или "Любое действительное число представимо в виде дроби двух целых".
II.3) Создавать контент, входящий в противоречие с правилами Пикабу.
III) Непотребный контент
III.1) Эротика, порнография (даже с NSFW).
III.2) Жесть.
За нарушение I - предупреждение
За нарушение II - предупреждение и перемещение поста в общую ленту
За нарушение III - бан