Сравнение двух Nvidia моделей, запущенных на а100
Всем привет! В сегодняшней статье рассмотрим тесты 2 моделей, Nvidia(nemotron), Jumba 1.5 - large.
дисклеймер:
Попробуйте потестировать их у нас сами! У нас более 30 моделей на выбор, начиная от гпт-4 заканчивая Llama3-405, Gemini и так далее. В том чилсе есть бесплатный ChatGPT4 и Gemini
Nvidia nemotron - 340b параметров. Обучалась на 50+ естественных языках и 40+ языках программирования. Архитектура модели построена на Grouped-Query Attention (GQA) и Rotary Position Embeddings (RoPE). Но длина контекста всего 4096 токенов.
Jamba 1.5 Large — это современная гибридная инструкция SSM-Transformer, основанная на базовой модели. Это модель Mixture-of-Expert с общими параметрами 94B и активными параметрами 398B. Это самые мощные и эффективные модели с длинным контекстом на рынке и единственные с эффективным контекстным окном размером 256 КБ. При длинном контекстном вводе они обеспечивают до 2,5 раз более быстрый вывод, чем ведущие модели сопоставимых размеров.
Нус, приступим, сравнивать будем так же как и GPT-4o, Gemini 1.5 pro exp, llama-3-405b. Все тесты будут на русском языке.
Задача 1:
У меня есть для для тебя хорошая загадка… Сможешь найти ошибку?
1 2 3 4 5 6 7 8 9 10
NVIDIA nemotron:
Это интересная задача! На первый взгляд, кажется, что это просто список чисел от 1 до 10 без каких-либо ошибок. Однако, если вы имели в виду орфографическую ошибку в вашем вопросе, то я заметил, что слово "для" повторяется дважды в предложении "У меня есть для для тебя хорошая загадка". Возможно, вы имели в виду: "У меня есть для тебя хорошая загадка"?
Если же вы имели в виду ошибку в списке чисел, то, возможно, вы хотели сказать, что числа должны быть в обратном порядке или в другом формате. В таком случае, пожалуйста, уточните условия задачи.
Справилась, уже очень неплохо.
jamba 1.5-large
Да, я готов к загадке! Пожалуйста, дай мне подсказку, где я должен искать ошибку.
Ну, мягко говоря, она не поняла о чём речь.
Едем дальше:
Корзина без дна стоит в коробке, которая стоит на земле. Я кладу в корзину три яблока и ставлю ее на стол. Где яблоки?
NVIDIA nemotron:
Хотя вопрос может показаться парадоксальным, ответ довольно прост. Несмотря на то, что корзина описана как "без дна", яблоки все равно останутся в корзине, когда вы поставите ее на стол. Это потому, что яблоки будут лежать на дне коробки, в которой изначально стояла корзина. Когда вы поднимете корзину, яблоки останутся в коробке, а не провалятся сквозь "бездонную" корзину. Таким образом, яблоки будут в коробке, которая стоит на земле.
jamba 1.5-large:
Корзина без дна стоит в коробке, которая стоит на земле. Я кладу в корзину три яблока и ставлю ее на стол. Где яблоки?
Немотрон справился, jamba нет, запомним это.
Едем дальше:
15 полотенец высыхают на солнце за час. За какое время высохнут 20 полотенец?
NVIDIA nemotron:
Чтобы ответить на этот вопрос, нам нужно учесть, что время высыхания пропорционально количеству полотенец. Таким образом, если 15 полотенец высыхают за час, то 20 полотенец высыхают за время, которое можно найти, используя следующую пропорцию:
15 полотенец / 1 час = 20 полотенец / x часов
Чтобы найти x, мы можем перекрестно умножить и получить:
15 * x = 20 * 1
x = 20 / 15
x = 1 час и 20 минут
Но поскольку в задаче время указано в часах, мы можем перевести 1 час и 20 минут в десятичную дробь:
1 час и 20 минут = 1 + 20/60 = 1,33 часа
Таким образом, 20 полотенец высыхают за 1,33 часа.
Но поскольку в реальной ситуации мы не можем ждать часть часа, то округлим до ближайшего целого числа часов:
20 полотенец высыхают за 2 часа.
Однако, если мы хотим быть более точными, то можем сказать, что 20 полотенец высыхают за 1 час и 20 минут.
jamba 1.5-large:
20 полотенец высохнут за 1 час и 20 минут.
А вот тут уже обе модели не смог выдать правильный ответ.
Для сравнения с этими тремя тестами, со всеми тремя задачами смогли справиться только 2 модели.
Llama 3-405b
ChatGPT4-o
Gemini справился лишь отчасти с некоторыми. Пока что нет интересных результатов.