Пока одни восхищаются способностью ИИ писать код по текстовому описанию, в компании Цукерберга и КО решили устроить ему настоящее испытание на профессионализм и создали «The Automated LLM Speedrunning Benchmark» — полигон, где нейросетям предлагается не просто написать что-то с нуля, а воспроизвести и улучшить уже существующий код.

В качестве задачи был взят реальный проект NanoGPT (https://github.com/KellerJordan/modded-nanogpt), где сообщество энтузиастов соревнуется в максимальном ускорении обучения GPT-2, небольшой языковой модели. Цель - не просто скопировать, а понять и применить конкретную оптимизацию, которую до этого внедрил человек.

🟡Суть эксперимента

ИИ-агенту дают исходный скрипт предыдущего рекордсмена и подсказку одного из 3 уровней: от псевдокода с описанием изменений до полноценной мини-статьи, объясняющей суть улучшения. Агент, получив эти данные, должен внести правки в код так, чтобы приблизиться к скорости обучения следующего рекордсмена.

Эффективность мерили метрикой FSR (Fraction of Speedup Recovered), это доля восстановленного ускорения. Если человек ускорил процесс на 10 минут, а ИИ смог добиться ускорения в 5 минут, его результат — 50% FSR. Такая система позволяет оценить не абстрактные способности модели, а ее умение работать с конкретными, практическими задачами по оптимизации.

🟡Результаты

Итоги оказались, мягко говоря, отрезвляющими. Даже топовые модели (Claude 3.7 Sonnet и Gemini 2.5 Pro), показали очень скромные результаты.

С лучшими подсказками (псевдокод и детальное описание) самые успешные агенты с трудом смогли воспроизвести хотя бы 40% от прироста производительности, достигнутого человеком. Без подсказок их производительность была и вовсе близка к нулю.

Разбор полетов бенчмарка показал, что ИИ-агенты часто генерируют либо просто неработающий код с ошибками времени выполнения, либо код, который компилируется, но не дает никакого прироста скорости, а иногда даже замедляет процесс.

🟡Фреймворк

Авторы не просто опубликовали статью, а выложили весь фреймворк в открытый доступ (https://github.com/facebookresearch/llm-speedrunner), так что любой желающий может самостоятельно погонять практически любые модели.

В основе фреймворка лежит гибкий агентский каркас, который имитирует рабочий процесс исследователя: генерация идеи, реализация в коде, запуск эксперимента и анализ результатов.

Каждая итерация ИИ-агента аккуратно сохраняется в отдельную версию, создавая полную историю всех правок, от удачных до провальных.

Установка максимально проста, а для тех, кто хочет воспроизвести эксперименты из статьи, авторы приложили (https://github.com/facebookresearch/llm-speedrunner/tree/mai...) готовые скрипты. Также можно легко добавить (https://github.com/facebookresearch/llm-speedrunner?tab=read...) и протестировать другие модели, просто создав для них конфиг или дать ИИ другую задачу, не связанную с NanoGPT - определять кастомные таски тоже можно (https://github.com/facebookresearch/llm-speedrunner?tab=read...).

📌Лицензирование: MIT License.

🟡Arxiv (https://arxiv.org/pdf/2506.22419)

🖥GitHub (https://github.com/facebookresearch/llm-speedrunner)

#AI #ML #LLM #Benchmark

Google Pixel 9 Pro Obsidian: черная магия искусственного интеллекта

Когда берешь в руки Pixel 9 Pro в цвете Obsidian, сразу понимаешь — это не просто смартфон. Это концентрация семилетнего опыта Google в области мобильных технологий. Давайте разберемся, почему эта модель может перевернуть ваше представление о том, каким должен быть флагман.

Дизайн: минимализм с характером

Черный Obsidian — это не просто цвет, а заявление:

• Матовое стекло с олеофобным покрытием

• Алюминиевая рамка с сатиновой обработкой

• Толщина 8.3 мм при защите IP68

Эргономические особенности:

• Вес 212 г (на 8 г легче Pixel 8 Pro)

• Удобное расположение кнопок

• Тактильный отклик (5000 уровней вибрации)

Global версия поддерживает:

• 42 диапазона 5G

• eSIM + nanoSIM

• Все основные LTE-частоты

Дисплей: эталон цветопередачи

6.7" LTPO OLED с параметрами:

• Разрешение 3120×1440 (512 ppi)

• Частота 1-120 Гц (адаптивная)

• Пиковая яркость 2500 нит

• 10-битный цвет (1.07 млрд оттенков)

Что действительно впечатляет:

1. Технология Super Actua — читаемость на солнце

2. Поддержка HDR10+ и Dolby Vision

3. Коэффициент контрастности 5 000 000:1

В тестах:

• Delta E < 0.4 (эталонная точность)

• Автоматическая калибровка под освещение

• Углы обзора без цветовых сдвигов

Производительность: мощь Tensor G4

Чип Tensor G4 + 16 ГБ LPDDR5X RAM:

• Geekbench 6: 2800/8200 (одно/многоядерный)

• Графика: 60 fps в Genshin Impact (макс. настройки)

• ИИ-производительность: 60 TOPS

128 ГБ UFS 3.1 памяти — это:

• Скорость чтения 2100 МБ/с

• Возможность записи 4K HDR видео

• Достаточно для 300+ приложений

Камеры: магия вычислений

Основная тройка сенсоров:

1. Основная 50 МП (f/1.7)

• Лазерный автофокус

• 5-осевая стабилизация

• Пиксели 1.4μm

1. Телеобъектив 48 МП (5x оптический)

• Перископная конструкция

• Ночной режим с ИИ

• Поддержка 8K@30fps

1. Ультраширик 12 МП (126°)

• Коррекция дисторсии

• Минимальная дистанция фокуса 2 см

Реальные тесты показывают:

• Лучшая в мире HDR-обработка

• Magic Editor творит чудеса с фото

• Видео в 4K выглядит кинематографично

Автономность: день без тревоги

Батарея 4950 мАч + оптимизация Android 15:

• 13 часов экранного времени

• 28 часов разговора

• 9 часов игр

30-ваттная зарядка:

• 50% за 30 минут

• Полный цикл за 85 минут

Беспроводная зарядка 23 Вт (полный цикл за 110 мин)

Экосистемные преимущества

1. 7 лет обновлений ОС

2. Эксклюзивные AI-функции:
   Call Screen
   Direct My Call
   Live Translate

3. Интеграция с Google Фото

4. Поддержка Matter для умного дома

Вывод: кому подойдет?

Идеальный выбор для:

• Мобильных фотографов

• Поклонников чистого Android

• Пользователей сервисов Google

• Техноэнтузиастов

При цене $999 это один из самых интересных флагманов 2024 года. Если вам важны камеры и экосистема Google — Pixel 9 Pro достойный кандидат.

Где купить выгоднее?

1. Google Store (бонус: 3 месяца YouTube Premium)

2. Amazon US/CA (быстрая доставка)

3. Локальные реселлеры (гарантия 2 года)

P.S. Obsidian — самый популярный цвет, первые партии часто заканчиваются в течение недели после старта продаж. Если планируете покупку — не затягивайте с решением.