Promptology

◽Понятие
Температура восходит к латинскому temperatura — «соразмерность, правильное сочетание». В физике это величина, характеризующая тепловое состояние тела. В переносном смысле словом «температура» часто обозначают степень напряжённости, активности или накала процесса

◻️ В ИИ
Температура — параметр генерации, который влияет на выбор следующего токена. Низкая температура делает ответы более устойчивыми и предсказуемыми, высокая — увеличивает разнообразие и вероятность менее очевидных продолжений

◻️ В промптологии
Температура меняет характер ответа под задачу пользователя. Когда нужен точный, ровный и воспроизводимый результат, полезен более сдержанный режим. Когда важны идеи, варианты и неожиданные ходы, больший разброс может оказаться продуктивнее

◻️ Пример
Один и тот же запрос: «Придумай название для кофейни» при низкой температуре даст несколько близких и довольно ожидаемых вариантов. При высокой температуре ответы станут заметно разнообразнее: среди них появятся более смелые, необычные и иногда странные названия

В 1927 году в поместье Вестбаден произошло событие, которое спустя почти сто лет так и не смогли объяснить.

Поместье принадлежало семье Краузеров, известной не богатством, а странной коллекцией: картами, инженерными чертежами и архивами исчезнувших поселений. После ночного происшествия часть здания была закрыта, а документы переданы в городской архив.

Через несколько десятилетий исследователь обнаружил странность: Вестбаден присутствовал в старых письмах, на фотографиях и даже в технических отчётах, но отсутствовал на всех официальных картах.

Ещё страннее было другое — люди, которые там жили, не исчезли. Их имена сохранились. Их родственники помнили этот город. Только сам город будто никогда не существовал.

После изучения архивов исследователь Маркус Фельд обнаружил, что проблема Вестбадена была не в отсутствии сведений о городе, а в их избытке.

В разных архивах находились десятки упоминаний: отчёты инженеров о строительстве дорог, записи врача из местной лечебницы, школьные фотографии, письма жителей. Даже железнодорожная компания в 1924 году указывала Вестбаден как конечную станцию небольшого горного маршрута.

Но каждый раз, когда исследователь пытался найти саму линию на старых картах, она исчезала.

Самым странным документом оказался инженерный план, найденный среди бумаг семьи Краузеров. На нём был изображён город с улицами, площадями и зданиями, которых не существовало ни в одном современном архиве. В углу чертежа стояла дата — июнь 1927 года.

А ниже была сделана короткая запись рукой неизвестного автора:

«Город перенесён. Жители предупреждены. Официальные карты обновлять не требуется».

Позже выяснилось, что Вестбаден никуда не исчезал. Город продолжал жить: там рождались дети, работали школы, строились дома и менялись поколения жителей.

Исследователи нашли причину загадки случайно. Все старые документы, которыми они пользовались, относились к одному архивному разделу — до 1927 года. Следующая папка в архиве была подписана другим названием региона, поэтому десятилетиями никто не сопоставлял записи.

Вестбаден не исчез с карты. Просто однажды его перестали искать там, где он был.

◽Понятие

Benchmark [бе́нчмарк] — английское слово, первоначально связанное с геодезией: так называли закреплённую контрольную отметку, относительно которой измеряли высоту. Позже бенчмарком стали называть эталон или точку отсчёта для сравнения.

◽В ИИ

Бенчмарк — стандартизированный набор задач, данных и метрик, на котором проверяют возможности моделей. Он позволяет сравнивать модели по отдельным характеристикам: рассуждению, программированию, работе с текстом, изображениями и другим типам задач.

◽В промптологии

В реальном взаимодействии результат работы модели начинает зависеть от пользователя. Одна и та же модель раскрывает разные возможности при разной постановке задачи, контексте и организации диалога. Поэтому итог определяется уже не только характеристиками модели, но и компетентностью самого пользователя.

◽Пример

Бенчмарки регулярно меняют лидеров: сегодня впереди одна модель, завтра другая. Пользователь может постоянно перескакивать вслед за рейтингами, а может годами работать в одной системе, накапливая собственные приёмы, привычки и понимание её поведения. В долгой дистанции этот опыт иногда даёт больше, чем очередные несколько пунктов в таблице.