Приветствую друзья, про возможности нейросетей сейчас не говорит только ленивый. Они могут рисовать детализированные картины по описанию, писать код, искать информацию в интернете за Вас и отвечать практически на любые вопросы.
Их распространение сейчас чем-то напоминает лесной пожар, люди активно экспериментируют и пробуют нейросети в роли дизайнеров, программистов, диетологов и даже наставников.
Я тоже решил познакомиться с этим явлением и посмотреть сможет ли чат бот на основе искусственного интеллекта справиться с единым государственным экзаменом по биологии и попутно выступить бесплатным репетитором.
Поскольку доступ к самому популярному чат боту ChatGPT платный и к тому же ограничен для жителей России, я решил выбрать другого помощника Sage, который доступен бесплатно для всех желающих (https://poe.com/sage).
По его собственным заверениям он как раз предназначен для решения задач связанных с различными науками.
Решать будем демонстрационный вариант ЕГЭ по биологии 2023 года с официального сайта разработчика ЕГЭ (Федеральный институт педагогических измерений).
Демонстрационный вариант предназначен для того, чтобы познакомить выпускников с заданиями и показать какие темы будут затронуты на экзамене в этом году. Когда я работал в школе, то учителя всегда использовали эти варианты для подготовки своих учеников.
Огромным плюсом будет и то, что вариант предоставляют сразу вместе с ответами, поэтому можно будет сразу подвергнуть решение нейросети экспертной оценке.
Структура экзамена
ЕГЭ по биологии состоит из двух частей. В первой части нам необходимо прочитать задание и дать краткий ответ состоящий из одного слова/цифры или числовой последовательности. Обычно эта часть проверяется автоматически. Апелляции по ней не принимаются.
Вторая часть экзамена состоит из заданий и задач, в которых необходимо дать развернутый ответ. Во время проверки эксперт проверяет ответ на наличие ключевых элементов за которые и выставляет баллы.
Давайте посмотрим сможет ли нейросеть справится с этими заданиями.
Первая часть
В первом задании возникает небольшое затруднение, нам необходимо заполнить таблицу, но мы не можем вставить её в поле ввода. Однако можно составить запрос, немного перефразировав задание.
Мы спрашиваем: "Каким признаком живых систем является свойство передачи аллелей от родителей потомкам?"
На что чат бот даёт абсолютно верный ответ: "Наследственность".
Развернутое описание не содержит биологических ошибок и верно передаёт суть процесса передачи генетической информации. На уроке за такой ответ вполне заслуженно можно было бы поставить твердую "5".
В следующем задании нам нужно обосновать результаты эксперимента.
Экспериментатор поместил зерновки пшеницы в сушильный шкаф. Как при этом изменились концентрация солей и количество воды в клетках семян?
Тут уже можно вставить вопрос целиком без изменений. Полученный ответ абсолютно верен и содержит даже больше информации, чем мы спрашивали. Чат бот любезно рассказал нам о том как высушивание семян влияет на их жизнеспособность.
В третьем задании необходимо поработать с числами. Нам необходимо рассчитать сколько нуклеотидов определённого типа будет содержать заданная молекула ДНК и сколько хромосом будет иметь половая клетка рыбы.
Чат бот прекрасно ориентируется в исходных данных и даёт очень подробное решение, обосновывая каждое действие и напоминая откуда он берёт те или иные числа для расчёта. Это удивительно, поскольку даже не все учителя так сильно заморачиваются с объяснением заданий (а часто и сами не могут их решить).
В четвертом задании вновь возникает проблема. Это генетическая задача. Одна из версий задания подразумевает работу со схемой, которую пока невозможно загрузить в чат бота. Зато с заданием, которое имеет лишь текстовое описание бот справляется превосходно.
Задание со схемой всё-же можно решить если перевести его в текстовый запрос, но для того, чтобы его сформулировать на основе схемы, ученик должен обладать базовыми знаниями в генетике.
Чтобы не задерживать Вас, далее я буду пропускать задания, которые чат бот выполняет без ошибок.
Первая ошибка
Специфика экзамена по биологии подразумевает работу ученика с различными изображениями. Умение распознавать биологические структуры на фотографиях и схемах очень важно. Чат боты (по крайне мере этот) пока не умеют считывать информацию с изображения, поэтому им довольно трудно формулировать ответы на основе лишь текстового запроса требующие работы с картинкой.
В вопросе про признаки характерные для растительной клетки, нейросеть впервые ошибается.
Нейросеть говорит примерно следующее: "Способность к биосинтезу белка не относится к признакам растительной клетки, поскольку эта способность свойственна всем типам клеток".
Логика в этом определённо есть, поскольку это не является исключительным признаком только растений, однако именно этот пункт и будет правильным ответом.
Я допускаю, что неточности могут возникать из-за того, что я формулирую запросы на русском языке, а нейросеть разрабатывалась и обучалась на данных от англоязычных пользователей. Скорее всего для людей отправляющих запросы на английском языке ответы будут более точными и правильными.
Промежуточное впечатление
Вообще чем дольше я работал с чат ботом, тем больше у меня было положительных впечатлений. Это удивительно, когда можно с такой скоростью получать систематизированную, подробную информацию практически по любому запросу.
Глубина знаний чат бота поражает, я специально пытался уличить нейросеть в ошибках или неточностях, но ничего не получилось. Мне приходилось тратить по 10 - 20 минут на изучение профильной литературы по запросам на которые нейросеть генерировала ответ за считанные секунды.
Конечно нейросеть не могла отвечать на все вопросы из экзамена подряд, главной проблемой по прежнему были рисунки и графики, но на мой взгляд ученик обладающий даже самыми минимальными знаниями троечника способен сформулировать запрос так, чтобы чат бот помог решить ему задание или применить дополнительные инструменты, например поиск по изображению и т.д.
С небольшими сложностями, методом задавания уточняющих и наводящих вопросов мне всё-таки удалось довольно быстро получить верные ответы на первую часть экзамена (кроме задания с растительной клеткой). Теперь можно переходить к заданиям с развернутым ответом.
Вторая часть
Переходим ко второй части экзамена. Она намного сложнее первой и требует от ученика глубоких биологических знаний. В ходе решения заданий потребуется работать с различными таблицами, рисунками и графиками.
Решение этих заданий будет сложным испытанием для нейросети.
Первое задание требует проанализировать большое количество данных на графике, составить гипотезу и объяснить её. Для решения с помощью чат бота потребуется подобрать правильные запросы, но за 3-5 минут можно прийти к верному решению и получить максимальный балл.
В следующем задании с рисунком если Вы знаете, что за процессы на нём изображены под буквами А и Б, то можно обойтись одним единственным запросом и получить за решение максимальное количество баллов.
Некоторые задания из второй части всё-таки невозможно решить не имея общего представления о том, что изображено на рисунке, например:
Остальные задания нейросеть решала с переменным успехом, вторую часть экзамена специально сильно усложняют, поэтому прямые запросы не позволяют получить верный ответ, необходимо дробить задание на отдельные элементы и спрашивать каждый следующий шаг отдельно, тогда есть шанс набрать 1-2 балла из 3 возможных.
Результаты
Поскольку вариант экзамена содержит одновременно несколько вариаций заданий, то результаты нейросети варьируются от 65 до 92 баллов в зависимости от комбинации заданий. Это очень хороший результат. Например, в прошлом году средний балл по биологии среди выпускников был равен 50.2.
Биология - это самый сложный из экзаменов ЕГЭ, что дополнительно добавляет уважения к чат боту.
Конечно нельзя говорить о результатах лишь на основе одного теста, но вот например график по ChatGPT (другой популярной нейросети).
По вертикали – процент людей, сдававших тот или иной экзамен хуже, чем GPT-4 (зелёный) / GPT-3.5 (синий столбик). Чем выше столбик – тем «умнее» модель по сравнению с человеком:
Согласно ему нейросеть ChatGPT 3.5 сдаёт экзамен по биологии лучше, чем ~60% учеников, что примерно соответствует нашим результатам.
Подводим итоги
Чат боты с искусственным интеллектом - это отличный инструмент для обучения. Если бы я до сих пор работал учителем, то не просто советовал, а рекомендовал бы своим ученикам использовать их для проверки своих решений, а учителям для составления конспектов и планов уроков.
Возможность попросить нейросеть не просто дать ответ, но и объяснить своё решение очень полезна в обучении. Можно неплохо сэкономить семейный бюджет на дополнительных занятиях и репетиторах.
Вот, что сама нейросеть думает по этому поводу.
С полученным ответом я полностью согласен и подписался бы под каждым словом.
Итоговое впечатление от чат бота у меня только положительные, я как будто провёл несколько часов в компании очень умного, тактичного и вежливого собеседника. Далеко не с каждым человеком можно также весело провести время.
У меня нет страха, что нейросеть лишит меня работы, у любой технологии есть лимиты и ограничения и спрос на живого человека будет всегда.
Автор со своими учениками:
Спасибо, что дочитали, если будут вопросы по теме статьи, можете задавать их в комментариях, постараюсь по возможности ответить.
Другие соц.сети проекта:
Дзен (блог про биологию)
Ютуб
Вконтакте
Карта для донатов: 4276 3100 3165 8117 (собираю на микроскоп мечты)
