Искусственный интеллект vs естественный в изучении иностранного
Я регулярно, примерно раз в неделю, пишу эссе на итальянском языке, которое потом отправляю на проверку своему преподавателю. Преподаватель – носитель итальянского языка, по профессии – преподаватель итальянского языка и, вдобавок, обладает большим практическим опытом преподавания.
И, получив в очередной раз исправленное преподавателем моё эссе, внезапно подумал:
интересно, а если этот же текст дать на проверку иишнице – насколько будут различаться результаты проверки? В сравнении с.
Кроме любопытства мною двигал и практический интерес: я иногда то прошу иишницу нагенерить мне упражнений, то (в основном на немецком, правда) прошу её мною выполненные упражнения проверить. На итальянском тоже, бывает, прошу, но там я часто с результатами её проверок не согласен – и вот он, отличный повод проконтролировать саму иишницу и понять её уровень, а также откалибровать степень моего доверия к ней.
В общем, дал я иишнице (я использую Qwen) своё эссе и воспользовался следующим простеньким промтом:
Проверь мой текст на итальянском языке, но не меняй стилистику, не улучшай сам текст - оставь его неизменным. Просто подсвети ошибки.
И что в итоге?
Иишница нашла грубую ошибку, допущенную мной по невнимательности: предлог di после глагола obbligare (обязывать). После него нужен предлог a. И это единственная ошибка, в которой ИИ совпал с преподавателем.
Более ни одной ошибки иишница не нашла! У неё выпали из поля зрения:
несогласованность прилагательного с родом описываемого им существительного;
некорректное употребление артиклей;
использование неподходящего к ситуации прошедшего времени.
Ошибки не грубые, легко исправимые, но выдающие неносителя языка (увы).
Вместо этого ИИ докопался до стиля отдельных фраз. Причём, с комментариями Qwen я снова не согласился – чистая вкусовщина, как по мне: у предлагаемых Qwen вариантов на мой неносительский взгляд нет никаких преимуществ перед моими. У преподавателя также не было замечаний к выбранным мной словам, складыванию из них фраз, тональности этих фраз итдитп. А они бы были: если бы хоть на полшишечки что-то было бы не так, то ух! – со мною строго, никаких скидок 😜
Ну и финалочка: иишница, комментируя одну из моих фраз, просто неверно её внутри себя поняла. Следствие ли это того, что модель переводит с русского на итальянский и обратно через китайский, или просто корпус итальянских текстов, на котором она обучалась, крохотный – мне неизвестно.
Короче, вердикт:
уровень иишницы – С2, как у меня. До специально обученного носителя не дотягивает.
Значит ли это, что этим инструментом нельзя пользоваться? Можно, конечно. Если у тебя преподаватель не нейтив, но с уровнем С2, то это, так-то, хорошо. В крайнем случае – эквивалентный тебе языковой партнёр. Со своими тараканами.
Про эксперимент взял отсюда. И там есть ещё :)
