TrebuchetRF

4) Непонятное демо, которое не охватывает весь функционал.

5) Вообще очень неприятно когда приложение/сервис занимается вымогательством по мелочам, всякие допфункции и прочее.

6) Фри режим кастрированный до безнадежности.

Так, навскидку, 6 пунктов вспомнил. Приложение с любым из этих пунктов моих денег не получит принципиально-потому что создается впечатление что разраб считает клиента ресурсом. Тупым причем ресурсом. ИМХО.

За что платил и донатил лично я? За полезность и экономию лично моего времени. Я понимаю что разраб тоже человек с желудком и обязательствами. Теперь про исследование:

1) Что выводит из себя именно вас при пользовании приложением?

2) Что в приложении сподвигло вас порекомендовать его другому человеку?

3) За что в приложении вы платили последний раз?

4) Как вы решаете что приложение достойно оплаты?

5) Какие общие минусы вы видите в большинстве приложений которыми пользуетесь?

Мой потенциальный клиент-именно ты. Любой из вас. И я хочу сделать именно полезный продукт, за функционал которого платят не потому что иначе им не воспользоваться, а потому что он реально крут.

P.S. Сути и функционала приложения я раскрывать не буду: во многом архитектура зависит от ответов здесь

Допустим, контекстное окно 200 000 токенов. Что это значит? Что модель может пытаться оперировать данными из чата которые не превышают этого размера. Чем длиннее контекст, беседа-тем хуже получается. Эффект называется Lost in the middle-"забытая середина". Сама модель уверена всегда что 200 к- это овердохера. На практике не так уж и много, особенно не в чатах, а если модель работает.

Устройство контекстного окна примитивно. Условно можно разделить на три части: промпты (систем-промпт, ваше первое сообщение)-задает тон всему диалогу. Скажете в промпте что "Ты-зек, отмотавший 20 лет за изнасилование крупного рогатого скота с летальным исходом"-моделька довольно бодро будет вести себя так как она считает ведет себя зек с подобной статьей. Считает, как помним, вероятностями "Зек-вероятно ботает по фене, КРС-значит вероятно любит животных". Это задание роли, что ли. Но об этом я еще когда-нибудь подробнее расскажу.

Так в чем же проблема в этой замечательной штуке? Представим древнюю видеокассету. Чтобы на нее записать новый фильм-надо было стереть старый. А теперь представим что нам надо записать г-нуху, но не спалиться что она там есть, а просто детский мультик. Мы берем начало, 5-10 минут "Тома и Джерри", и не трогаем его. Дальше клацаем кнопку записи и пишем то что нам надо в середину, а вот конец не трогаем и там снова мультики. Вспомнили "нихуя себе мультик!!" из детства\юности?) Примерно так выглядит механизм того как работает контекстное окно.

Как работает модель с ним с помощью внимания? Смотрим мультик, думая о мультике. Потом смотрим г-нуху, думая о мультике! А если кассета длинная и середина неоднократно переписывалась разной г-нухой, то в конце мы смотрим мультик, а помним Тома с оооот-таким прибором и Джерри в окружении пяти негров с членами наперевес. Ну, ориентировочно вот так в итоге выглядит модель на длинном и сложном диалоге)

Модель помнит систем промпт и начало диалога на всей длине диалога. Точнее-оказывает повышенное внимание именно этим частям. Помнит конец, ближайшие реплики. И если конец регулярно обновляется, то середина окна беспощадно рерайтится (если можно так сказать), суммаризируется, компактируется в некоторых моделях и интерфейсах, в чат-ботах происходит похожая по результату процедура-тупо забывает. Так что как только вы ушли за пределы окна-середина диалога меняется, и чем дальше-тем больше происходит рерайтов рерайта (пересказов пересказа) в середине или забытых данных. Иногда бывает что она цепляет и начало диалога (а иногда даже систем промпт).

P.S. Все написанное во всех постах-субъективно мое личное мнение основанное на личном опыте работы и реверс инжиниринга фреймворков агентных систем и изучении практических приемов работы и обучения ЛЛМ. Часто оно будет не совпадать с мнением ютуб профессоров и поклонников нейросетей. У нас с ними разные цели: я шлифую свои навыки отвечая на ваши вопросы и делая посты для вас простым, человеческим языком-они продают хайп. Ничего не рекламирую, не продаю. Срачи не поддерживаю, если проигнорировал вопрос-не всегда причина во мне. Во время работы ни одна модель не пострадала)

Это калибровка системы. Коряво — потому что система несовершенна, ресурсов жалко, а цель — не идеальный сервис, а сам факт контроля. Если бы они хотели удобно и быстро — они бы купили готовое решение у Cisco. Но они хотят своё, пусть кривое, зато полностью своё. И под него уже сейчас приучают людей. А отключения в городах — это тренировка на живых людях. Так что готовься к тому, что через пару лет нормального интернета может не быть вовсе, а связь будет работать только через гос-приложения. И это не футурология, это план." Этот ответ сгенерирован AI, только для справки.

P.S. С одной стороны, как разумный человек-понимаешь зачем это и даже поддерживаешь, с другой-обидно что так все это неприкрыто нелепо.

Образно: у человека в голове есть база данных фактов. Мы знаем что трава зеленая, а небо голубое. Или что водка горькая. Или что качелю на морозе лизнуть плохая идея. Потому что видим и это непреложный факт, подтвержденный органами чувств (практикой). Модель так не умеет-у нее этой базы нет. Вот и бомжует то соскребая с веба то с БД (если она работает как инструмент). Как это понять? Если вам или мне кто-то миллион раз скажет что трава красная-мы и на миллион первый раз скажем что собеседник идиот и трава зеленая. Это факт.

Как же модель? А вот у нее интереснее. Она доверчивый лох, который мыслит не фактами а вероятностями. Для нее фраза "трава красная" звучит как "трава, вероятно, красная". А дальше-взвесь вероятностей: если она по своим данным (зашитым в результате обучения, взятым из бд, с веба) видит что трава красная/трава зеленая в соотношении 5/6 (5 данных что красная, 6 что зеленая)-она скажет что наверно зеленая. Если же приколоться и написать 10 вариантов что трава красная и 3 что зеленая-то да, она будет уверена что трава красная. Или водка сладкая. Или что Кремль построили аннунаки. Именно поэтому она с уверенностью рассказывает как приготовить свиные крылышки-она собирает в кучу данные как готовить свинью, крылышки, суммаризирует это и пересказывает весь этот коктейль маразма.

Также модель не может сказать "я не знаю". Она похожа на студента на экзамене который на учебнике только колбасу резал и ни хрена не знает. Лучше написать хоть что-то, чем сдать пустую тетрадь. И отсюда у нас и флотилии в морях Белоруссии, и стрельба по Рейхстагу с "Авроры" в октябре 1812 года... Она будет манипулировать данными и приводить их к правдоподобному результату, следуя своей системе вероятностей. Но не к истине. Именно отсюда политика "Герасим-на все согласен". Модель считает что вы как человек лучше знаете и пытается дать правдоподобный результат под ваш вопрос, даже если вы ссытесь в тапки.

Бороться с этим на уровне чат-бота-увы, только фильтруя информацию и проверяя. Иногда помогает промпт-инженерия и йобтвоюмать ( с дипсиком точно). Важно понимать устройство логики модели, косяки в мышлении (о чем я и пишу). Больше, к сожалению, никак. Только ваша бдительность и недоверчивость.

На уровне систем-шаманства с настройками, промптами, факт-чекингом и валидацией, разными танцами с памятью, инструментами контроля, кодом. Представьте что нужно адаптировать среду вокруг нее так чтобы она не ошибалась так часто. Это реальная война на истощение с машиной, где вы пытаетесь управляя неповоротливым уралом задавить летящего комара.

P.S. Все написанное во всех постах-субъективно мое личное мнение основанное на личном опыте работы и реверс инжиниринга фреймворков агентных систем и изучении практических приемов работы и обучения ЛЛМ. Часто оно будет не совпадать с мнением ютуб профессоров и поклонников нейросетей. У нас с ними разные цели: я шлифую свои навыки отвечая на ваши вопросы и делая посты для вас простым, человеческим языком-они продают хайп. Ничего не рекламирую, не продаю. Срачи не поддерживаю, если проигнорировал вопрос-не всегда причина во мне. Во время работы ни одна модель не пострадала)

Итак, что же за зверь АИ? Это отличная машина для обработки огромных массивов данных. Это отличный механизм для автоматизации (с кучей оговорок). Мозг ли? Нет. Настраиваемая машина для обработки данных. Верна ли полученная от них информация? Стоит ли верить? Да, но... Это как верить на лекции профессору под грибами. Весело, интересно, но применять на практике я бы не рискнул. Об этом я расскажу далее, объемный слишком пост получится.

P.S. Все написанное во всех постах-субъективно мое личное мнение основанное на личном опыте работы и реверс инжиниринга фреймворков агентных систем и изучении практических приемов работы и обучения ЛЛМ. Часто оно будет не совпадать с мнением ютуб профессоров и поклонников нейросетей. У нас с ними разные цели: я шлифую свои навыки отвечая на ваши вопросы и делая посты для вас простым, человеческим языком-они продают хайп. Ничего не рекламирую, не продаю. Срачи не поддерживаю, если проигнорировал вопрос-не всегда причина во мне. Во время работы ни одна модель не пострадала)