Итак, выходной, "вкалывают роботы-счастлив человек", семья у тещи. Домашним не нужен, делать нечего -запилю второй пост. Сейчас уже домой едут и моя продуктивность резко упадет) Вот тут первый-знакомство и смысл вообще всего этого.
В первом посту была фраза про профессора под грибами. Вопросов про это не было, но посту пара часов) Объясню. Причем это не косяки разрабов, а фундаментальные ограничения. С ними я умею бороться и почти побеждать, но у обычного пользователя это вызовет проблемы. Так что те кто переживает что ИИ отберет работу-не переживайте)
Будет три поста, три проблемы. Но подробно.
Образно: у человека в голове есть база данных фактов. Мы знаем что трава зеленая, а небо голубое. Или что водка горькая. Или что качелю на морозе лизнуть плохая идея. Потому что видим и это непреложный факт, подтвержденный органами чувств (практикой). Модель так не умеет-у нее этой базы нет. Вот и бомжует то соскребая с веба то с БД (если она работает как инструмент). Как это понять? Если вам или мне кто-то миллион раз скажет что трава красная-мы и на миллион первый раз скажем что собеседник идиот и трава зеленая. Это факт.
Как же модель? А вот у нее интереснее. Она доверчивый лох, который мыслит не фактами а вероятностями. Для нее фраза "трава красная" звучит как "трава, вероятно, красная". А дальше-взвесь вероятностей: если она по своим данным (зашитым в результате обучения, взятым из бд, с веба) видит что трава красная/трава зеленая в соотношении 5/6 (5 данных что красная, 6 что зеленая)-она скажет что наверно зеленая. Если же приколоться и написать 10 вариантов что трава красная и 3 что зеленая-то да, она будет уверена что трава красная. Или водка сладкая. Или что Кремль построили аннунаки. Именно поэтому она с уверенностью рассказывает как приготовить свиные крылышки-она собирает в кучу данные как готовить свинью, крылышки, суммаризирует это и пересказывает весь этот коктейль маразма.
Также модель не может сказать "я не знаю". Она похожа на студента на экзамене который на учебнике только колбасу резал и ни хрена не знает. Лучше написать хоть что-то, чем сдать пустую тетрадь. И отсюда у нас и флотилии в морях Белоруссии, и стрельба по Рейхстагу с "Авроры" в октябре 1812 года... Она будет манипулировать данными и приводить их к правдоподобному результату, следуя своей системе вероятностей. Но не к истине. Именно отсюда политика "Герасим-на все согласен". Модель считает что вы как человек лучше знаете и пытается дать правдоподобный результат под ваш вопрос, даже если вы ссытесь в тапки.
Бороться с этим на уровне чат-бота-увы, только фильтруя информацию и проверяя. Иногда помогает промпт-инженерия и йобтвоюмать ( с дипсиком точно). Важно понимать устройство логики модели, косяки в мышлении (о чем я и пишу). Больше, к сожалению, никак. Только ваша бдительность и недоверчивость.
На уровне систем-шаманства с настройками, промптами, факт-чекингом и валидацией, разными танцами с памятью, инструментами контроля, кодом. Представьте что нужно адаптировать среду вокруг нее так чтобы она не ошибалась так часто. Это реальная война на истощение с машиной, где вы пытаетесь управляя неповоротливым уралом задавить летящего комара.
P.S. Все написанное во всех постах-субъективно мое личное мнение основанное на личном опыте работы и реверс инжиниринга фреймворков агентных систем и изучении практических приемов работы и обучения ЛЛМ. Часто оно будет не совпадать с мнением ютуб профессоров и поклонников нейросетей. У нас с ними разные цели: я шлифую свои навыки отвечая на ваши вопросы и делая посты для вас простым, человеческим языком-они продают хайп. Ничего не рекламирую, не продаю. Срачи не поддерживаю, если проигнорировал вопрос-не всегда причина во мне. Во время работы ни одна модель не пострадала)
