Искусственный интеллект vs естественный в изучении иностранного⁠⁠

Я регулярно, примерно раз в неделю, пишу эссе на итальянском языке, которое потом отправляю на проверку своему преподавателю. Преподаватель – носитель итальянского языка, по профессии – преподаватель итальянского языка и, вдобавок, обладает большим практическим опытом преподавания.

И, получив в очередной раз исправленное преподавателем моё эссе, внезапно подумал:

интересно, а если этот же текст дать на проверку иишнице – насколько будут различаться результаты проверки? В сравнении с.

Кроме любопытства мною двигал и практический интерес: я иногда то прошу иишницу нагенерить мне упражнений, то (в основном на немецком, правда) прошу её мною выполненные упражнения проверить. На итальянском тоже, бывает, прошу, но там я часто с результатами её проверок не согласен – и вот он, отличный повод проконтролировать саму иишницу и понять её уровень, а также откалибровать степень моего доверия к ней.

В общем, дал я иишнице (я использую Qwen) своё эссе и воспользовался следующим простеньким промтом:

Проверь мой текст на итальянском языке, но не меняй стилистику, не улучшай сам текст - оставь его неизменным. Просто подсвети ошибки.

И что в итоге?

Иишница нашла грубую ошибку, допущенную мной по невнимательности: предлог di после глагола obbligare (обязывать). После него нужен предлог a. И это единственная ошибка, в которой ИИ совпал с преподавателем.

Более ни одной ошибки иишница не нашла! У неё выпали из поля зрения:

1. несогласованность прилагательного с родом описываемого им существительного;

2. некорректное употребление артиклей;

3. использование неподходящего к ситуации прошедшего времени.

Ошибки не грубые, легко исправимые, но выдающие неносителя языка (увы).

Вместо этого ИИ докопался до стиля отдельных фраз. Причём, с комментариями Qwen я снова не согласился – чистая вкусовщина, как по мне: у предлагаемых Qwen вариантов на мой неносительский взгляд нет никаких преимуществ перед моими. У преподавателя также не было замечаний к выбранным мной словам, складыванию из них фраз, тональности этих фраз итдитп. А они бы были: если бы хоть на полшишечки что-то было бы не так, то ух! – со мною строго, никаких скидок 😜

Ну и финалочка: иишница, комментируя одну из моих фраз, просто неверно её внутри себя поняла. Следствие ли это того, что модель переводит с русского на итальянский и обратно через китайский, или просто корпус итальянских текстов, на котором она обучалась, крохотный – мне неизвестно.

Короче, вердикт:

уровень иишницы – С2, как у меня. До специально обученного носителя не дотягивает.

Значит ли это, что этим инструментом нельзя пользоваться? Можно, конечно. Если у тебя преподаватель не нейтив, но с уровнем С2, то это, так-то, хорошо. В крайнем случае – эквивалентный тебе языковой партнёр. Со своими тараканами.

Про эксперимент взял отсюда. И там есть ещё :)