ChatGPT vs GigaChat. Битва Титанов?⁠⁠

Давно вынашивал идею заменить оператора на ИИ, для первоначальной обработки клиентов. Как во всех банках и прочих крупных конторах. И вот появилось время, решил полезть изучать информацию. ChatGPT API сразу встретил высокими ценами, сложностью с оплатой, и ЛИМИТАМИ

3 запроса в минуту, 200 запросов в день. ЧТО? Думаю все знают, что некоторые любят строчить в чат по 1 слову, да и просто, 200 запросов в день, это не так и много обработанных заявок. В документации написано, как подать запрос на увеличение лимитов и совсем страшные примеры расчетов цены.

Хорошо, ищем альтернативу... и находим GigaChat от Сбера. API есть, предлагается его использовать платно, но сначала надо подать заявку. Подаю - на удивление, одобрение приходит быстро. Надо идти подключать ЭДО и заключать договор. Но перед этим решил проверить, как вообще боты справляются со своими прямыми задачами, просто через бесплатные Web-версии.

За эталон будем брать ChatGPT-3.5, ничего не настраивал, просто "из коробки", описываем Сервисный Центр и просим отвечать на самые простые вопросы по контексту.

Сервисный центр Пропайка находится по адресу г.Протвино, Рыночный проезд, д.9, работает со вторника по субботу с 12 до 18 часов. Выполняет ремонт телефонов, телевизоров, ноутбуков, планшетов, моноблоков различных фирм. Телефон компании +79991234567

Если человек обращается в нерабочее время, то надо сообщить ему график работы и попробовать ответить на его вопрос. Не пиши адрес, если этого прямо не просит клиент. Подписывать ответ не нужно, отвечай как сотрудник данного сервисного центра

Сейчас суббота, 9:40 утра

Это наш контекст, который будем передавать всегда. Естественно, метку времени ставим текущую. Получаем такие ответы:

В целом, с этим можно работать, изменять контекст, давать уточнения боту для ответов. Мне понравилось, и через месяц я решил провести аналогичный тест с GigaChat, тем более что они сделали "демо-режим" и я могу клиентов посадить на разные API ключи.

Итак, открываем Web-версию, вписываем наш референс и смотрим что выдает по-умолчанию

Это не чат-бот, это генератор мемов... чего стоят только эти 2 ответа:

- почему вы грубите?
- Я вежливый сотрудник сервисного центра.

А какие тогда остальные сотрудники, если нас с порога встречают так?

- и не откроетесь сегодня?
- Нет, мы всегда открыты для вас.

Хорошо, я же могу дать дополнительные инструкции, могу задать "температуру" ответа. И тут я начал экспериментировать, пытался дать инструкции, задать температуру, причем сразу в строгость ответа - 0.1 (по-умолчанию 0.87), и вот что получилось...

Я не знаю как найти с ним общий язык. Он игнорирует инструкции, говорит что не знает времени, хотя тут же отвечает какая дата и время. Ему говоришь не фантазировать - он придумывает про предварительную запись, пытается заставить выйти в выходной день, шутит (а шутит ли) про сверхурочные, выдумывает цены на ремонт и не понимает модели. При этом я попросил, если не знает ответ, то выдавать кодовую фразу, по которой бы диалог переходил на живого менеджера, но GigaChat уверен, что у него есть ответы на все вопросы, добиться кодовой фразы у меня не вышло.

Я обнаружил кнопочку "ТехПоддержки", которая ведет на бота в Телеграм, прошел туда, скинул скрины, на что мне ответили, что да, бот может фантазировать... а потом спросили, я планирую использовать API платно? ДА, ПЛАНИРУЮ (планировал), но как я могу пустить такую реализацию в коммерческий продукт? Такой "горе-помощник" и бесплатно не нужен, от него вреда за день будет столько, что потом за год не отмыться. И общение с ТП у меня закончилось фразой

Мы уточним пару моментов и вернемся

Скажите, может кому удалось уже обуздать чудо нашей генной инженерии? мне казалось, что предоставив правильный контекст и инструкции - отвечать по тексту любой бот сможет легко, но как оказалось - нет.