Я ответила «?», на что она ответила: «Ой, извините, ошиблась номером», на что я ответила: «Но мне нравятся фильмы». Она отключилась.

4. Мой друг, который работает в пиццерии, не сказав мне об этом, положил мой номер в коробку с пиццей со словами: «Напиши на этот номер, если хочешь хорошо провести время».

Всё прошло хорошо.

5. Мне позвонили поздно ночью как раз в годовщину смерти матери. Я ответил, но никто ничего не сказал. Я спросил: «Алло, кто там?»

Голос сказал: «Это твоя мать». И повесил трубку. Я решил перезвонить, и получил сообщение: «Набранный вами номер не обслуживается».

На самом деле это был голос моей матери.

6. В День благодарения позвонил маленький ребенок, я ответила, и он закричал: «Мама, это белая женщина!»

Другой ребенок хватает телефон и говорит: «Мэм, простите, пожалуйста, моего младшего брата, он думал, что он звонит нашей бабушке».

7. Раньше я постоянно получала ночные сообщения от мужчин… видимо, девушка, у которой был мой старый номер до меня, пользовалась популярностью.

«Я знаю, что прошло уже несколько лет, но что случилось!?»

«Привет, детка, помнишь меня?»

«Привет, меня зовут (имя), мы познакомились в (место) в прошлом году. Как дела?»

Буквально все время.

В конце концов, я сменила номер, и это прекратилось. Похоже, тот, у кого он был раньше, никому не нравился.

8. В канун Нового года, когда мне было около 10 лет, было уже за полночь, и я ответил на телефонный звонок, сказав: «С Новым годом!»

Парень на другом конце провода сказал то же самое, но с немецким акцентом. Я спросил, с кем он хочет поговорить, и он ответил, что с кем-то из США.

Мы пообщались около 30 минут, обменялись почтовыми адресами и стали друзьями по переписке на многие годы.

9. Какая-то женщина позвонила на домашний телефон и тут же начала кричать, чтобы я открыла заднюю дверь, ведь идёт дождь, у неё куча покупок, и она уже долго стучится. Я сказала ей, что она ошиблась номером.

Она обозвала меня маленькой сучкой и велела мне подбежать, открыть дверь и впустить её, иначе мне достанется. Я сказала «ладно», повесила трубку и вернулась к своим делам.

Интересно, что случилось с тем реальным человеком, которого она пыталась заставить открыть ей дверь.

Подборки, которые вы больше нигде не найдете, можете прочитать на моем канале https://t.me/realhistorys

Мой канал «Клубничный переполох» https://t.me/erosstoris

Мой канал с подборками интересных фактов https://t.me/actualfacts

Мой канал о кошках https://dzen.ru/o_koshkah

Мой канал с переводами рассказов зарубежных писателей https://boosty.to/webstrannik 

Всем удачного дня!

Исследователи представляют RiddleBench, критерий для оценки логического мышления, пространственного анализа и удовлетворения ограничений в больших языковых моделях.

Несмотря на успехи больших языковых моделей в решении структурированных задач, оценка их гибких и многоаспектных способностей к рассуждению остается сложной задачей. В данной работе представлена новая методика оценки – 'RiddleBench: A New Generative Reasoning Benchmark for LLMs' – включающая 1737 сложных головоломок, предназначенных для выявления слабых мест в логическом мышлении, пространственном воображении и соблюдении ограничений. Анализ показал, что даже передовые модели, такие как Gemini 2.5 Pro и Claude 4 Sonnet, демонстрируют точность чуть выше 60%, подвержены каскадам галлюцинаций и демонстрируют слабую самокоррекцию. Способны ли новые подходы к обучению языковых моделей преодолеть эти ограничения и приблизиться к человеческому уровню рассуждений?

Пределы Масштабирования: За Гранью Поверхностных Закономерностей

Большие языковые модели (LLM) демонстрируют впечатляющие возможности, однако часто испытывают трудности при решении задач, требующих глубокого логического мышления, а не просто сопоставления с образцом. Исследования показывают, что LLM допускают ошибки почти в трети случаев при решении головоломок RiddleBench, подчеркивая необходимость специализированных бенчмарков для оценки глубины рассуждений. Оценка LLM в задачах, требующих надежных рассуждений, имеет решающее значение для понимания их истинного потенциала.

Подобно тому, как безупречный алгоритм выявляет скрытые закономерности, так и глубокое мышление раскрывает истинную суть интеллекта.

RiddleBench: Новая Испытательная Платформа для LLM

RiddleBench — это набор данных из 1737 головоломок, разработанный для оценки сложных навыков рассуждения в LLM. Набор данных охватывает кодирование-декодирование, родственные связи, последовательное рассуждение и расстановку по местам, обеспечивая всестороннюю оценку. Оценка производительности моделей осуществляется посредством zero-shot подхода, позволяя оценить способность к обобщению знаний без предварительного обучения.

Для стандартизированной оценки производительности различных LLM был использован доступ к API через платформу DeepInfra. Общая стоимость API-запросов составила 314 долларов США.

Каскад Галлюцинаций: Когда Модели Усиливают Ошибки

Анализ показал эффект «каскада галлюцинаций», при котором LLM распространяют неверные рассуждения, приводя к цепочке ошибок. Это указывает на отсутствие внутренних механизмов критической оценки достоверности информации. Эксперименты с задачами на родственные связи продемонстрировали снижение производительности на 6.70 процентных пункта при перестановке ограничений, что свидетельствует о чувствительности к вариациям входных данных.

Полученные результаты подчеркивают важность разработки механизмов проверки и коррекции рассуждений в LLM, а не только увеличения их вычислительных ресурсов.

Постулаты Надежного Проектирования LLM

Результаты исследований подчеркивают важность разработки LLM с надежными внутренними способностями к рассуждению и механизмами самокоррекции. Простое увеличение размера модели недостаточно для обеспечения логической последовательности и обнаружения ошибок. Модель GPT-oss-120B достигла общей точности 69.26% на RiddleBench, демонстрируя текущие ограничения даже самых современных моделей.

Модель Qwen QwQ 32B продемонстрировала точность обнаружения ошибок в рассуждениях 44.1% и частоту успешной самокоррекции 17.3%, что свидетельствует о потенциале, но и о трудностях обеспечения моделей способностью выявлять и исправлять собственные ошибки. Стремление к оптимизации без предварительного анализа — это самообман.

Исследование, представленное в статье, акцентирует внимание на выявлении слабых мест больших языковых моделей в задачах, требующих последовательного логического вывода и исправления ошибок. Это особенно заметно в контексте пространственного мышления и удовлетворения ограничений, где даже небольшая неточность на одном этапе может привести к каскаду галлюцинаций. Как однажды заметил Клод Шеннон: «Теория коммуникации должна учитывать не только передачу информации, но и ее надежность». Данное наблюдение напрямую соотносится с сутью RiddleBench, поскольку надежность вывода является критически важным аспектом оценки способности модели к рассуждениям. Бенчмарк RiddleBench, по сути, проверяет, насколько «надежно» модель передает логическую информацию от начала до конца решения задачи.

Что дальше?

Представленный бенчмарк RiddleBench, безусловно, обнажил уязвимости в логических цепочках больших языковых моделей. Однако, констатация слабости – лишь первый шаг. Истинная сложность заключается не в создании всё более изощренных тестов, а в разработке принципиально новых архитектур, способных к доказуемо корректному выводу. Наблюдаемые "каскады галлюцинаций" – не баг, а закономерное следствие статистической природы существующих моделей. Они предсказуемо спотыкаются там, где требуется не просто распознавание паттернов, а построение непротиворечивой логической структуры.

Особое внимание следует уделить задачам, требующим пространственного мышления и удовлетворения ограничений. Недостаточно просто "угадать" правильный ответ; модель должна уметь верифицировать его, исключая противоречия. Это требует интеграции методов формальной логики и теории доказательств непосредственно в структуру нейронной сети. Иначе, мы обречены на бесконечную гонку вооружений, где каждый новый тест лишь временно маскирует фундаментальные недостатки.

В хаосе данных спасает только математическая дисциплина. Недостаточно строить модели, которые "хорошо работают на тестах"; необходимо стремиться к созданию моделей, которые работают правильно по определению. Будущее развития больших языковых моделей видится не в увеличении количества параметров, а в повышении строгости и формальной обоснованности их работы.

Оригинал статьи: denisavetisyan.com

Связаться с автором: linkedin.com/in/avetisyan