LLM без магии — 4. Польза и вранье⁠⁠

Самая частая ошибка при знакомстве с нейросетью — решить, что она либо всесильна, либо бесполезна. Правда скучнее: есть задачи, где она экономит часы, и есть места, где она врёт так уверенно, что лучше бы вообще не отвечала.

Разберу и то и другое на примерах.

Где она полезна

Работа с текстом. Переписать, сократить, изменить тон, разложить на пункты. Здесь почти негде ошибиться: вы видите результат и правите руками.

Живой пример. Письмо в управляющую компанию про текущую крышу подъезда: если писать самому, выйдет или слишком мягко, или с матом. Вместо этого надиктовываешь суть тремя фразами, просишь оформить спокойно и по делу, с указанием сроков и ссылкой на то, что заявка уже подавалась. Через минуту есть нормальный текст, который остаётся только подписать. Пять минут вместо получаса и пары лишних нервов.

Так же с резюме под конкретную вакансию: вставляешь описание вакансии и свой текст, просишь подогнать формулировки так, чтобы совпадали ключевые слова. Получается черновик, который надо привести в человеческий вид, но начинать с пустого листа уже не надо.

Разобраться в новой теме. Хороший приём: попросить объяснить тему простыми словами, потом самому пересказать её обратно своими словами и услышать, где напутал. Работает как репетитор, которому не стыдно признаться, что не понял.

Например, вы впервые ставите себе домашний сервер и хотите понять, чем RAID отличается от бэкапа. Модель объяснит разницу за пять минут — но попросите её доказать обратное: пусть придумает, в каком случае RAID спасает, а в каком вы теряете всё. Если после этого вы можете объяснить разницу соседу — вы поняли. Если только киваете — нет.

Код. Здесь возможности самые большие — об этом отдельный раздел ниже.

Бытовая рутина. Сводка дня, черновик письма, план поездки, разбор длинного документа, «объясни, что написано в этой инструкции».

Тут стоит сказать про инструкции отдельно. К бытовой технике их пишут люди, которым платят за количество слов. Загружаете PDF и спрашиваете прямо: «У меня такая модель, мне нужно постирать пуховик, что я делаю и что могу испортить?» Получаете три пункта вместо десяти страниц. Но перед этим проверьте эти три пункта по тексту — в инструкции может быть приписка мелким шрифтом, которую модель пропустила.

Вопросы про свой документ. Загрузить договор или методичку и задать вопросы. Система ищет ответ в вашем тексте, а не в своей памяти, и работает это заметно надёжнее обычного чата.

Договор — самый показательный случай. Двести страниц, читать которые будете неделю и всё равно не дочитаете. Спрашиваете: «Какие пункты позволяют расторгнуть договор досрочно и что я теряю в каждом случае?» Получаете список. Дальше начинается главное: каждый пункт открываете в самом документе и читаете своими глазами. Не потому, что модель врёт, а потому, что она может перепутать пункт 5.2 с пунктом 5.3, а разница там будет в вашу пользу или против.

Отдельно про код

Возможности здесь выросли сильнее всего. Модель уже не «помогает с функцией» — она может написать целое небольшое приложение: разбить на модули, соблюсти архитектуру, добавить документацию и тесты.

Но не по волшебству. Работает это при двух условиях, и оба на вас.

Нужен чёткий план. Сначала вы проговариваете, из каких частей состоит приложение, что с чем связано и в каком порядке делается. Только потом просите код. Без этого модель бодро напишет что-то связное, но к середине начнёт сама себе противоречить: одна часть будет ждать данные в одном формате, другая — в другом, и вы будете это разгребать.

Нужны правила. Один раз опишите, как у вас принято: какие библиотеки, как называть функции, как обрабатывать ошибки, где лежат тесты. Дальше это работает как рельсы — в каждом следующем ответе модель будет их держаться. Если правил нет, она каждый раз выберет что-то своё, и в проекте получится винегрет из трёх стилей.

Проверять всё равно надо, и вот на что смотреть в первую очередь. Код либо собирается, либо нет — критерий объективный, тут повезло. Но тесты, которые вы попросили, нужно прочитать: они могут проверять не то, что нужно, а тест, который проходит всегда, — это не тест, а его имитация. С документацией то же: она описывает задуманное, и может разойтись с тем, что написано.

И держите в голове ограничение из первой части: модель не обдумывает проект целиком. Она предсказывает следующий кусок текста, и чем длиннее проект, тем труднее удержать его связным. Поэтому большие задачи не решаются одним запросом — они разбираются на шаги, каждый со своим планом.

Это не противоречит тому, что модель не «понимает» код. Код — очень регулярный язык: жёсткие правила, мало синонимов, миллионы примеров в обучении. Именно поэтому статистика работает на нём особенно хорошо, лучше, чем на живой речи.

Отдельная польза — разбор чужого кода, иногда большая, чем написание своего. Когда вам достался скрипт на триста строк и надо понять, что он делает и где в нём зарыта ошибка, просьба «объясни по шагам, что здесь происходит» экономит вечер.

Где она врёт

Свежие факты. Цены, курсы, новости, законы, состав продуктов, расписания. Если поиск в интернете не включён, модель отвечает по тому, что запомнила при обучении, а это может быть давно устаревшая картинка. Сейчас она в таких случаях обычно честно предупреждает, что данных за нужный период у неё нет, — но предупреждает не всегда. Это поведение, привитое настройкой, а не понимание того, чего она не знает, так что в формулировке, которая уже подсказывает ответ, ограничение легко не срабатывает.

Бытовая версия: спрашиваете, сколько ехать на машине от Вологды до Ярославля. Число будет похоже на правду, но это не навигатор, дороги ремонтируют, а развязки меняют. Смотрите карту.

Ссылки и цитаты. Модель может выдумать статью, книгу и автора — правдоподобно, с годами и названием журнала.

Хуже всего это работает в спорах. Вам кажется, что за давностью лет где-то было написано именно так, и нейросеть «подтверждает» вашу версию с готовой ссылкой. Ссылки нет. Поэтому правило простое: сначала открыли источник, потом ссылаетесь. Один раз подставите коллегу выдуманным исследованием — и он вам это припомнит.

Медицина, право, деньги. Здесь модель не глупая, просто цена ошибки несопоставима с экономией времени.

Правильный сценарий использования: у вас есть диагноз и стопка непонятных бумаг. Вы просите объяснить, что означают термины, какие вопросы задать врачу, на что смотреть в анализах. С этим списком вы приходите к живому специалисту и говорите по делу, а не «доктор, мне плохо, разберитесь». Неправильный сценарий — отменить визит, потому что «модель сказала, это ерунда».

То же с юридическими бумагами и с деньгами: понять, о чём договор, прикинуть варианты — можно и нужно. Подписывать или переводить на основании ответа нейросети — нет.

Всё, что вы не можете проверить сами. Если вы не в состоянии отличить правильный ответ от красиво составленного неправильного, нейросеть на этом вопросе становится источником уверенных заблуждений.

Это самое коварное, потому что ошибку не видно. Человек, знающий тему, поймает выдумку на втором предложении. Человек, который полез в тему впервые, проглотит её целиком — потому что ответ связный, аккуратный и с примерами. Ощущение понимания появляется раньше самого понимания, и это ловушка.

Как с ней работать

Давайте контекст. «Напиши письмо» — получите вату. «Напиши письмо клиенту, он задержал оплату на две недели, тон вежливый, но твёрдый, четыре абзаца» — получите черновик. Чем конкретнее задача, тем лучше результат, и это самая полезная привычка из всех.

Разница хорошо видна на планах. «Составь план поездки в Казань» даст список банальностей, которые можно нагуглить за минуту. «Мне нужно два дня в Казани с женой и ребёнком семи лет, живём в центре, машины нет, интересует не только Кремль, вечером надо уложить ребёнка до десяти» — уже разговор. Второй вариант займёт у вас на двадцать секунд больше, а толку будет в разы больше.

Не пытайтесь её воспитывать. «Будь честным», «не выдумывай», «поклянись» либо не работают, либо дают косметический эффект на один ответ. У модели нет ни намерений, ни принципов, и взять их ей негде. Всё, что вы можете, — изменить текст на входе: дать данные, потребовать источник, разбить задачу.

Просите объяснить логику. Не «дай ответ», а «объясни, как ты к этому пришёл». Если модель начинает плыть на втором шаге, вы это заметите.

Не требуйте ответа одним куском. Большая задача лучше делится на части: сначала план, потом по шагам. На практике это значит, что вместо одной длинной простыни вы получаете пять коротких ответов, каждый из которых можно поправить до того, как ошибка размножится по всему тексту.

Итерируйте. Первый ответ почти никогда не финальный. Скажите, что не так, второй будет лучше. Люди, которые пишут «нейросеть не работает», обычно бросают после первой попытки.

Типичный сценарий: спросили, как поменять лампу в проекторе, получили уверенную инструкцию, начали делать и застряли на шаге, который в ответе описан одной строкой, а в жизни требует четырёх рук. Здесь и проверяется разница между «бросил, значит не работает» и «уточнил — получил нормальный ответ». Второе работает, если говорить, где именно заклинило, а не переспрашивать то же самое другими словами.

Проверяйте то, что уйдёт наружу. Текст клиенту, отчёт, письмо в инстанцию. То, что останется в черновиках, проверять не обязательно.

Про деньги и приватность

Бесплатных моделей достаточно для большинства бытовых задач. Платные нужны, когда вы решаете что-то сложное и регулярно: разница в качестве там заметна, но подписка «на всякий случай» смысла не имеет.

Практическая проверка простая: если за неделю вы ни разу не упёрлись в то, что бесплатная версия не смогла, платить пока не за что. А если вы каждый день просите разобрать большие документы — считать надо не по подписке, а по тому, сколько времени это экономит.

Отдельная история — модели, которые работают прямо на вашем компьютере. Они слабее и заметно медленнее, зато данные никуда не уходят. Если речь про рабочие документы или что-то личное, это часто важнее пары лишних секунд на ответ.

Итог

Нейросеть — не человек и не волшебник. Это очень начитанный собеседник, который умеет угадывать продолжение текста и делает это настолько хорошо, что иногда кажется, будто он понимает. Внутри при этом нет ни разума, ни воли, ни намерений: только числа, подобранные статистикой, и арифметика над ними.

Поэтому она придумывает, когда не знает, никогда не сомневается и не может «стать честнее», сколько её ни проси. И поэтому же она годится для черновика, но не для подписи.

Выжимает из неё пользу тот, кто проверяет, а не тот, кто верит. За девять лет, что прошли с появления трансформера, это правило не изменилось.