Модель Meta на 816 млрд параметров запустили на четырёх Mac Studio⁠⁠

Meta опубликовала веса Muse Spark Open — мультимодальной модели для программирования и работы с инструментами. Всего в ней 816 млрд параметров, но при генерации задействуется около 42 млрд. Это открытые веса, а не полностью открытый исходный код.

Apple протестировала модель на кластере из четырёх Mac Studio с M5 Ultra. В сжатом 4-битном формате и при контексте 8192 токена скорость составила 36,73 токена в секунду. Это результат именно на кластере из четырёх мощных компьютеров, а не на обычном MacBook.

Источники: Meta AI Research · Apple ML Research