EventHorizonTech

OpenAI добавила новую функцию в панель логов, благодаря которой можно быстро сравнить ответы разных моделей и уровней «reasoning effort» на уже имеющихся запросах.

Работает это таким образом:

1) Заходим в логи.

2) Нажимаем кнопочку «Quick Eval», запускается встроенный «грейдер».

3) «Грейдер» начинает автоматически прогонять запросы через выбранные модели (например: GPT-5 или GPT o4-mini) с разным «reasoning effort».

4) Интерфейс показывает ответы бок о бок, помогает быстро выбрать, какая модель и какой режим лучше подходят для текущей задачи.

Может быть полезно для подбора модели, легко экспериментируя с качеством рассуждения.

Ну а совсем скоро мы разберем более детально, что из себя представляет «reasoning effort» на самом деле и как его правильно использовать с другими техниками, недавно опубликованными openAI.

Не забудь подписаться, чтобы прочитать среди первых.

Результаты говорят сами за себя. Модели Gemini Nano хватило всего 250–450 примеров, отобранных экспертами, чтобы обойти по качеству системы, натренированные на 100 000 случайных меток.

Это смена всей философии разработки: умные данные оказываются важнее больших данных.

Однако, конечно же, делать преждевременные выводы рано. Результаты, описанные в исследовании, относятся исключительно к задачам модерации рекламы (ads-safety), а не ко всем NLP-задачам. Эффективность метода сильно зависит от качества экспертных разметок.

Также стоит упомянуть, что метод активного обучения (Active Learning) не нов: Google лишь предоставила масштабную демонстрацию его применимости в продакшене.

Исследование
Тг-Канал