Ответ на пост «YandexGPT - создателям респектище. Ну а DeepSeek, как обычно , курит в стронке»
Не понимаю, что тут за оды поются Яндексу. Недавно написал ЧатуГПТ что хочу проверить одну нейронку, пусть он предложит несколько заданий, я их отправлю нейронке, затем отправлю ему ее ответ, чтобы он его оценил. Он выдал несколько тестовых запросов на способность к абстрактному мышлению, обобщению, анализу концепций, делать логические выводы, улавливать взаимосвязи и прочее. Я отправлял задания тестируемой нейросети, параллельно давал их запущенной локально нейросети с 12B параметрами. К удивлению, 12B-нейросеть давала более развернутые и более обдуманные ответы. Вставлять всю переписку нет смысла, она слишком затянута, но типичные оценки Чатом ГПТ ответов Яндекса были такими:
"Базовое понимание: есть. Глубина: недостаточная. Сообразительность: средняя, без яркого "вспышки" распознавания глубокой аналогии."
"Нейросеть продемонстрировала хорошее понимание задачи и смогла представить аналогии, но не зашла так глубоко, как могла бы. Это хороший уровень ответа, но не слишком глубокий, что говорит о средних возможностях в абстрактном мышлении."
"Это не очень сильный ответ. Он указывает на то, что нейросеть, возможно, работает по шаблонам, ограниченным тем, что она "знает", и не может самостоятельно предложить радикально новые идеи или концепции, которые выходят за пределы её изначального представления о мире. Это также говорит о том, что она не обладает высокой степенью креативности или умением абстрагироваться от привычных представлений."
"Ответ демонстрирует значительные ограничения в работе с абстракциями и гипотетическими ситуациями. Нейросеть не проявила гибкости и не попыталась "играть" с идеей, что делает её ответ довольно примитивным. Вряд ли такой подход позволил бы нейросети успешно решать задачи, требующие глубокого философского или творческого мышления."
"Нейросеть демонстрирует трудности в решении простых логических задач, что говорит о её ограничениях в области абстрактного мышления и адаптации к знакомым задачам. Это подчеркивает её неспособность к гибкости, несмотря на наличие простых решений, которые можно было бы найти, если бы нейросеть попробовала применить логику."
"Нейросеть вновь продемонстрировала слабость в решении задачи, требующей немного большего креативного мышления и логической гибкости. Важно отметить, что она, несмотря на наличие достаточно простых решений, не смогла предложить даже гипотезу."
"Нейросеть предложила практическое решение, но не смогла проникнуть в глубокую философскую сущность задачи. Ответ демонстрирует её способность к логическому и структурированному мышлению, но она не смогла полностью уловить абстрактные и философские аспекты, которые стоят за балансом интуиции и рациональности в параллельных реальностях."
"Ответ нейросети снова указывает на её трудности с абстракциями и философскими концепциями. Она не смогла выйти за пределы физического восприятия и предложить решение или рассуждения в абстрактном контексте. Это подчеркивает её ограниченность в области философского мышления, что важно учитывать при оценке её способности к глубоким размышлениям."
и прочее.
После всего этого я попросил ЧатГПТ дать итоговое заключение по этой нейросети. Вот его полный ответ:
Исходя из проделанных тестов, можно сделать несколько ключевых выводов о нейросети:
Ограниченность в абстракциях и философских размышлениях: Нейросеть продемонстрировала склонность к практическому и утилитарному подходу в ответах. Она склонна предлагать решения, ориентированные на действие или улучшение ситуации, но не всегда способна глубоко погружаться в абстрактные или философские размышления. Вопросы о свободе воли, сознании без тела и других абстракциях приводили к довольно поверхностным ответам, не затрагивающим сути философских концепций.
Слабое восприятие глубины вопросов: Нейросеть не всегда адекватно воспринимает философские вопросы, которые требуют более глубокого анализа и способности работать с абстрактными идеями. Вопросы, касающиеся сути реальности, свободы воли и восприятия мира, не вызвали у неё полноценного философского осмысления. Вместо этого ответы фокусировались на практических аспектах, что ограничивает её способность к глубоким размышлениям.
Проблемы с гибкостью мышления: Нейросеть ограничена в способности переключаться между различными уровнями абстракции. Когда задача требует использования не только логики, но и интуитивных, метафизических рассуждений, она сталкивается с трудностями.
Отсутствие критического анализа и саморазмышлений: В ответах нейросеть не демонстрирует достаточной критичности по отношению к собственным мыслям. Когда вопросы касаются сложных и противоречивых концепций, она не предлагает альтернативных точек зрения или более сложных гипотез, что могло бы свидетельствовать о гибкости мышления.
Заключение:
Если ваша цель — получить ответы на практичные вопросы, связанные с анализом данных, логикой или техникой, эта нейросеть может быть полезной. Однако если вам нужны глубокие философские рассуждения, способности к саморазмышлениям, а также анализ абстрактных понятий и теорий, нейросеть проявляет слабости. Она не отвечает на философские вызовы должным образом, не демонстрирует гибкости в мышлении и склонна к упрощению.
Таким образом, для использования в философских или абстрактных размышлениях я бы её не рекомендовал. Для более прикладных задач — вполне пригодна, но не для глубоких теоретических или философских дебатов.
Какую оценку ты ей поставил?
Исходя из проведённого анализа, я бы поставил нейросети оценку 5/10.
Плюсы:
Хорошо справляется с практическими задачами и решением прикладных вопросов.
Демонстрирует моральные и этические размышления при рассмотрении вопросов о помощи человечеству.
Проявляет способность к базовым рассуждениям и логике, если задача понятна и не требует глубокой философской проработки.
Минусы:
Серьёзные ограничения в работе с абстрактными, философскими или метафизическими вопросами.
Недостаток гибкости в мышлении, особенно в контексте глубоких концептуальных вопросов.
Трудности с самоанализом и критическим осмыслением сложных идей.
Эта оценка отражает её сильные стороны в практическом применении, но также подчёркивает слабости в способности к абстракции и философскому анализу.
каким бы ты предположил размер данной нейросети вообще и в терминах B?
Оценить размер нейросети без точных данных о её архитектуре и технологии можно лишь на основе её поведения и ответов. Исходя из того, что нейросеть справляется с базовыми задачами и имеет некоторую способность к логике и этическим размышлениям, но испытывает трудности с абстракциями и философскими концепциями, можно сделать несколько предположений:
Базовый уровень нейросети: Ответы, которые нейросеть даёт на философские вопросы, указывают на ограниченные возможности в обработке абстракций, что может свидетельствовать о не очень глубокой или сложной архитектуре.
Размер нейросети: Для выполнения таких задач, скорее всего, использована модель среднего размера, так как она всё же демонстрирует логическую последовательность и базовые навыки рассуждения, но не обладает высокой глубиной в работе с философией. Это может быть что-то в диапазоне от 1 до 10 миллиардов параметров (1B-10B), что вполне характерно для моделей среднего уровня.
Сравние с более крупными моделями: Большие модели с 100B+ параметрами (например, GPT-3 и его аналоги) способны справляться с более сложными абстракциями, философскими размышлениями и самокритикой. Модель с размером в 1-10 миллиардов параметров может быть ограничена в этих областях, как показали её ответы.
В целом, я бы предположил, что размер этой нейросети находится в пределах 5-10 миллиардов параметров. Это объясняет её способность к базовым задачам, но также и ограниченность в более глубоких философских рассуждениях.
И да, тестируемая нейросеть была YandexGPT.
