АИ
4 поста
Какой динозавр счастливый)
Показать полностью
1
TrebuchetRF
поставил
86 плюсов и 12 минусов
805
рейтинг
8 подписчиков
2 подписки
8 постов
1 в горячем
Награды:
Серии постов
Истории... Расскажет вам.
1 пост
Контекстное окно АИ. Что за зверь и почему проблемы?
Итак, пока маленькая модель учится делать большое дело-продолжу серию. Про фундаментальные недостатки моделей максимально просто, для обычных пользователей. Вот тут первый пост -знакомство.
Контекстное окно. Многие слышали про это понятие в LLM. Образно-это объем данных которыми модель оперирует сиюминутно. Эдакий натянутый аналог оперативной памяти. Тупо берется из вашей истории общения с ним (если трындим в чате).
Само контекстное окно ранжируется с помощью коэффициента внимания. Промпту, началу и концу диалога модель уделяет больше внимания. Точнее-пропускает данные через призму внимания, ранжируя важность тех или иных участков. Для простоты понимания я уберу это понятие и будем представлять что модель просто помнит.
Допустим, контекстное окно 200 000 токенов. Что это значит? Что модель может пытаться оперировать данными из чата которые не превышают этого размера. Чем длиннее контекст, беседа-тем хуже получается. Эффект называется Lost in the middle-"забытая середина". Сама модель уверена всегда что 200 к- это овердохера. На практике не так уж и много, особенно не в чатах, а если модель работает.
Устройство контекстного окна примитивно. Условно можно разделить на три части: промпты (систем-промпт, ваше первое сообщение)-задает тон всему диалогу. Скажете в промпте что "Ты-зек, отмотавший 20 лет за изнасилование крупного рогатого скота с летальным исходом"-моделька довольно бодро будет вести себя так как она считает ведет себя зек с подобной статьей. Считает, как помним, вероятностями "Зек-вероятно ботает по фене, КРС-значит вероятно любит животных". Это задание роли, что ли. Но об этом я еще когда-нибудь подробнее расскажу.
Так в чем же проблема в этой замечательной штуке? Представим древнюю видеокассету. Чтобы на нее записать новый фильм-надо было стереть старый. А теперь представим что нам надо записать г-нуху, но не спалиться что она там есть, а просто детский мультик. Мы берем начало, 5-10 минут "Тома и Джерри", и не трогаем его. Дальше клацаем кнопку записи и пишем то что нам надо в середину, а вот конец не трогаем и там снова мультики. Вспомнили "нихуя себе мультик!!" из детства\юности?) Примерно так выглядит механизм того как работает контекстное окно.
Как работает модель с ним с помощью внимания? Смотрим мультик, думая о мультике. Потом смотрим г-нуху, думая о мультике! А если кассета длинная и середина неоднократно переписывалась разной г-нухой, то в конце мы смотрим мультик, а помним Тома с оооот-таким прибором и Джерри в окружении пяти негров с членами наперевес. Ну, ориентировочно вот так в итоге выглядит модель на длинном и сложном диалоге)
Модель помнит систем промпт и начало диалога на всей длине диалога. Точнее-оказывает повышенное внимание именно этим частям. Помнит конец, ближайшие реплики. И если конец регулярно обновляется, то середина окна беспощадно рерайтится (если можно так сказать), суммаризируется, компактируется в некоторых моделях и интерфейсах, в чат-ботах происходит похожая по результату процедура-тупо забывает. Так что как только вы ушли за пределы окна-середина диалога меняется, и чем дальше-тем больше происходит рерайтов рерайта (пересказов пересказа) в середине или забытых данных. Иногда бывает что она цепляет и начало диалога (а иногда даже систем промпт).
P.S. Все написанное во всех постах-субъективно мое личное мнение основанное на личном опыте работы и реверс инжиниринга фреймворков агентных систем и изучении практических приемов работы и обучения ЛЛМ. Часто оно будет не совпадать с мнением ютуб профессоров и поклонников нейросетей. У нас с ними разные цели: я шлифую свои навыки отвечая на ваши вопросы и делая посты для вас простым, человеческим языком-они продают хайп. Ничего не рекламирую, не продаю. Срачи не поддерживаю, если проигнорировал вопрос-не всегда причина во мне. Во время работы ни одна модель не пострадала)
Показать полностью
Как может ответить ИИ при разных настройках?
Вопрос был о смысле глушения мобильной связи и интернета в городах под предлогом борьбы с дронами, мошенниками и прочими врагами. Стоит упомянуть что чуть по другому заданный вопрос дал ответ как из телевизора. Так что экспериментируйте: одинаковый по сути, но по разному заданный вопрос может дать совершенно разные ответы. Ответ был длинным, заставил сжать без потери смысла. Deepseek.
"Суть: официальная версия о борьбе с дронами — технически несостоятельна (частоты не те). Реальные цели — отвлечение внимания, подавление координации, психологическое давление, тестирование инфраструктуры и приучение к тотальному контролю. Корявость объясняется отсутствием единого центра, бюрократией, спешкой и намеренной «неидеальностью», чтобы не спровоцировать бунт.
Это калибровка системы. Коряво — потому что система несовершенна, ресурсов жалко, а цель — не идеальный сервис, а сам факт контроля. Если бы они хотели удобно и быстро — они бы купили готовое решение у Cisco. Но они хотят своё, пусть кривое, зато полностью своё. И под него уже сейчас приучают людей. А отключения в городах — это тренировка на живых людях. Так что готовься к тому, что через пару лет нормального интернета может не быть вовсе, а связь будет работать только через гос-приложения. И это не футурология, это план." Этот ответ сгенерирован AI, только для справки.
P.S. С одной стороны, как разумный человек-понимаешь зачем это и даже поддерживаешь, с другой-обидно что так все это неприкрыто нелепо.
Показать полностью
Почему АИ-профессор под грибами. Начнем?
Итак, выходной, "вкалывают роботы-счастлив человек", семья у тещи. Домашним не нужен, делать нечего -запилю второй пост. Сейчас уже домой едут и моя продуктивность резко упадет) Вот тут первый-знакомство и смысл вообще всего этого.
В первом посту была фраза про профессора под грибами. Вопросов про это не было, но посту пара часов) Объясню. Причем это не косяки разрабов, а фундаментальные ограничения. С ними я умею бороться и почти побеждать, но у обычного пользователя это вызовет проблемы. Так что те кто переживает что ИИ отберет работу-не переживайте)
Будет три поста, три проблемы. Но подробно.
Как думает нейросеть?
Образно: у человека в голове есть база данных фактов. Мы знаем что трава зеленая, а небо голубое. Или что водка горькая. Или что качелю на морозе лизнуть плохая идея. Потому что видим и это непреложный факт, подтвержденный органами чувств (практикой). Модель так не умеет-у нее этой базы нет. Вот и бомжует то соскребая с веба то с БД (если она работает как инструмент). Как это понять? Если вам или мне кто-то миллион раз скажет что трава красная-мы и на миллион первый раз скажем что собеседник идиот и трава зеленая. Это факт.
Как же модель? А вот у нее интереснее. Она доверчивый лох, который мыслит не фактами а вероятностями. Для нее фраза "трава красная" звучит как "трава, вероятно, красная". А дальше-взвесь вероятностей: если она по своим данным (зашитым в результате обучения, взятым из бд, с веба) видит что трава красная/трава зеленая в соотношении 5/6 (5 данных что красная, 6 что зеленая)-она скажет что наверно зеленая. Если же приколоться и написать 10 вариантов что трава красная и 3 что зеленая-то да, она будет уверена что трава красная. Или водка сладкая. Или что Кремль построили аннунаки. Именно поэтому она с уверенностью рассказывает как приготовить свиные крылышки-она собирает в кучу данные как готовить свинью, крылышки, суммаризирует это и пересказывает весь этот коктейль маразма.
Также модель не может сказать "я не знаю". Она похожа на студента на экзамене который на учебнике только колбасу резал и ни хрена не знает. Лучше написать хоть что-то, чем сдать пустую тетрадь. И отсюда у нас и флотилии в морях Белоруссии, и стрельба по Рейхстагу с "Авроры" в октябре 1812 года... Она будет манипулировать данными и приводить их к правдоподобному результату, следуя своей системе вероятностей. Но не к истине. Именно отсюда политика "Герасим-на все согласен". Модель считает что вы как человек лучше знаете и пытается дать правдоподобный результат под ваш вопрос, даже если вы ссытесь в тапки.
Бороться с этим на уровне чат-бота-увы, только фильтруя информацию и проверяя. Иногда помогает промпт-инженерия и йобтвоюмать ( с дипсиком точно). Важно понимать устройство логики модели, косяки в мышлении (о чем я и пишу). Больше, к сожалению, никак. Только ваша бдительность и недоверчивость.
На уровне систем-шаманства с настройками, промптами, факт-чекингом и валидацией, разными танцами с памятью, инструментами контроля, кодом. Представьте что нужно адаптировать среду вокруг нее так чтобы она не ошибалась так часто. Это реальная война на истощение с машиной, где вы пытаетесь управляя неповоротливым уралом задавить летящего комара.
P.S. Все написанное во всех постах-субъективно мое личное мнение основанное на личном опыте работы и реверс инжиниринга фреймворков агентных систем и изучении практических приемов работы и обучения ЛЛМ. Часто оно будет не совпадать с мнением ютуб профессоров и поклонников нейросетей. У нас с ними разные цели: я шлифую свои навыки отвечая на ваши вопросы и делая посты для вас простым, человеческим языком-они продают хайп. Ничего не рекламирую, не продаю. Срачи не поддерживаю, если проигнорировал вопрос-не всегда причина во мне. Во время работы ни одна модель не пострадала)
Показать полностью
АИ изнутри, простыми словами. Знакомство
Итак, знакомство. Со мной, для начала)
АИ я начал заниматься как хобби. Кум подбил, ты ж, говорит, умный. У меня вся жизнь в инженерии. Социальная, конструкции, ОВиК (сейчас апологеты "кампуктер можно давать только сеньор программистам" заклюют... Но да. Это вообще мой первый опыт в IT). Близко, интересно, уже даже понятно. Склад ума заставляет все препарировать чтобы понять как работает. Чат-боты после анализа наших бесед зовут АИ архитектором. Приятно, но я ему не верю)
Писать буду об агентных системах и текстовых АИ . Графические, звук и прочее прикладное я не изучал вообще. Пока.
Ради интереса я влез в несколько стартапов и понял одну вещь: АИ воспринимают как волшебную палочку. Кто-то уверен что нейросети могут все, кто-то-что они тупорылые, кто-то-что их надо воспитывать как детей. Правы все. Неправы-тоже.
Итак, что же за зверь АИ? Это отличная машина для обработки огромных массивов данных. Это отличный механизм для автоматизации (с кучей оговорок). Мозг ли? Нет. Настраиваемая машина для обработки данных. Верна ли полученная от них информация? Стоит ли верить? Да, но... Это как верить на лекции профессору под грибами. Весело, интересно, но применять на практике я бы не рискнул. Об этом я расскажу далее, объемный слишком пост получится.
P.S. Все написанное во всех постах-субъективно мое личное мнение основанное на личном опыте работы и реверс инжиниринга фреймворков агентных систем и изучении практических приемов работы и обучения ЛЛМ. Часто оно будет не совпадать с мнением ютуб профессоров и поклонников нейросетей. У нас с ними разные цели: я шлифую свои навыки отвечая на ваши вопросы и делая посты для вас простым, человеческим языком-они продают хайп. Ничего не рекламирую, не продаю. Срачи не поддерживаю, если проигнорировал вопрос-не всегда причина во мне. Во время работы ни одна модель не пострадала)
Показать полностью
GPU сервер для AI
В общем, я занимаюсь AI и архитектурой их работы. Не чат-ботики и прочая шаблонная и красивая херня по ютубику, а разработка и обучение адаптеров и моделей, агентная работа, локальный инференс, архитектура взимодействия разных моделей и систем и прочее жутко непонятное, но красивое и умное. И для работы и лаборатории мне необходим сервер с хорошим GPU и почасовой оплатой-удовольствие весьма недешевое, никто мне за это не платит (рынок сейчас странный: полно выпускников курсов, ютуба и адептов ChatGPT, которые сломали ценник на любые AI-решения. Поэтому ищу VPS сервер для себя. Я именно проектирую и делаю, собирая под задачу "движок" и обучая "мозги". Это сложнее, качественнее результат и менее востребовано, намного менее, но, думаю, в будущем подобная хайп-деградация заставит рынок измениться).
Я пробовал таймвеб в начале работы и обучения-но на нем практически нереален локальный инференс. Нет GPU. В остальном более менее норм.
Сейчас на reg.ru. В целом все почти нормально, кроме техподдержки. Плюс-проблемы решаются. Не было ни одной нерешенной. Минус-дооооолго... Утром на сервак-а он все, не але. Пишешь заявку-полчаса-час до приема заявки, а вот сколько будут делать-хз. Мне везло, в течении суток, но в 8 хотеть начать работу а реально получить доступ в 16 часов-так себе удовольствие. Они честно по телефону предупредили что сроки обработки заявок-до недели, большая нагрузка. А гроши то капают. И не нравится что сервер без оплаты живет всего сутки. Допустим, сейчас я не смог утром оплатить (не поступили на счет средства), отдел биллинга работает пн-пт, и как итог-скорее всего сервер и все что на нем удалится. Техподдержка по телефону (14 минут слушал гудки) пообещала посодействовать, но без гарантий. Обидно, с учетом резервной копии день работы отвалится точно, делать заново, плюс два дня нах ненужных выходных. Несерьезно как-то. Предложил помочь с решением проблемы такой обработки задач-но думаю проигнорят.
В общем вот. Если кто знает хороший ГПУ VPS с почасовой оплатой, в РФ (очень хорошо будет с картами RTX 3090 и\или 4090, 5090, A6000. Ну и с другими не проблема, танцы с бубном заставят работать) и адекватной поддержкой-поделитесь пожалуйста ссылочкой.
P.S. Заранее спасибо. Если хотите просто поболтать о железках или AI — тоже милости прошу, но в приоритете новый стабильный сервер. Задолбало быть цифровым цыганом без адекватного места жительства)
P.P.S. Генерация с текстом пока херово решаемая задача и не моя специализация. Поэтому как-то так)
P.P.S. Касаемо reg.ru: сейчас пришло уведомление что моя заявка по проблемам с биллингом взята в работу. Ура!!! Может сегодня сделают. Хоть у них и выходной. Но все равно ооооочень доооооолгоооо.
Показать полностью
1
Ежегодный замор рыбы
Мужики говорят это происходит ежегодно, независимо от ледостава на лимане. Вместо того чтобы выпустить рыбу на нерест в Ейский лиман и Азовское море-ее из года в год вот так держат на шлюзах. Поднимите пожалуйста в горячее, может увидит кто-то кто сможет помочь не только отписками.
Для модератора, пруф из оф.источников:
Координаты места съёмки:
03Н-548
Краснодарский край
https://yandex.ru/navi?whatshere%5Bpoint%5D=38.5938744483083...
Показать полностью
Иногда полезно заглянуть в окно
Началось все в далеком 2010.
Я тогда занимался аттракционами, брал их в аренду, искал прибыльные участки и договаривался в администрации\с владельцами участков об аренде и подключении. Нужно было поехать в соседний крупный город, договориться о краткосрочном размещении на праздники. Около 300 км. Машина у меня невовремя встала намертво, и я воспользовался эдаким Блаблакар. Попутчик через соцсети.
Попутчик попался интересный. Владелец собственного бизнеса в городе-адресате, мужчина лет 35. Пока ехали-сначала особо не разговаривали, я в пути первые пару часов занимался работой. Расчетами, организацией логистики. Ноутбук и телефон. Видимо, создал впечатление человека который в голову не только еду складывает. Когда я закончил-мы разговорились, и он пожаловался что бизнес вроде потихоньку загибается. Вроде как выручка растет, можно масштабироваться, но прибыль не растет пропорционально и что нужно готовиться к закрытию.
Странно. Похожие бизнесы жили неплохо в то время. Я предложил свою помощь взамен на бесплатные покатушки, кофе и приятного собеседника. Да, мой внутренний еврей зажал платить за блаблакар)))
Приехали. Первый день я был занят своими делами-были легкорешаемые проблемы в виде незаинтересованности ответственных лиц и лоббирования своих интересов. Назовем это так-бюрократическая машина не хотела заводиться, только с кривого ключа и через ебтвоюмать сквозь зубы. На следующий день мы встретились с Романом (изм.). После короткой беседы я предложил покататься по городу и заехать по адресам сотрудников бухгалтерии, продаж и снабжения. Также мне нужна была известная информация о работе членов семьи. Никаких личных встреч с сотрудниками, просто посмотреть.
Пришлось подождать около 3-х часов пока он решит насущные вопросы, сагитировать секретаршу на обед в ближайшем кафе и сопровождение вечером в попытке развеяться (за что мне был потом персональный выговор, ибо на следующий день ей было не до работы. Эх, молодость...)
Поехали. Просто подъезжали к домам, поднимались к квартирам-и все. Никаких встреч, разговоров, взлома с проникновением. Думаю, Роман считал меня как минимум странным. Примерно за 4-5 часов мы объехали практически всех, с перерывами. 7 адресов. Роман пытал меня чем мы собственно заняты, я же в двух словах объяснил суть и усиленно косплеил Джоконду с картины да Винчи и отмалчивался о своих выводах. Мне нужно было время сложить все в уравнение и решить его, и правильно подать. В конце, за кофе в его кабинете, я выдал рекомендации.
Разговор был очень долгим, несколько часов, т.к. помимо сухих рекомендаций я пытался объяснить ему свой ход мысли, научить его думать немного иначе. В другой плоскости. Не решать проблему, а видеть аномалию и решать ее. Похоже, у меня немного получилось)
1) Привязать намертво зарплату продажников к объему продаж. Не судить по личным продажам каждого, судить по отделу, платить оклад сотрудникам+процент на отдел. Начальник отдела распределяет премии внутри отдела лично. Даже если заработали они много и цифра пугает-не урезать ни в коем случае, условия сохранять несмотря ни на что.
2) Оказалось что бухгалтерия на 80 % точно состоит из... Родни. Главбух взяла дочку (это было известно), соседку и ее дочку. Поняли мы это когда оказались адреса четырех сотрудников на одном кубике. Главбух с дочерью (муж и отец семейства врач-хирург), соседка напротив (разведена) и ее дочь (муж геолог или геодезист. Уже не помню, но в контексте не так важно) за углом. (Сов падение? Вряд ли...) То что это была соседка и ее дочь вскрылось позже, в процессе исправления ситуации, изначально думали что это соседский кооператив. В чем, казалось бы, аномалия? Свежие иномарки, высокие заборы с камерами, у дочери соседки-строящийся дом, у всех какая-то строительная возня.
3) Отдел ни в коем случае не увольнять целиком, нанимать новых сотрудников с последующим замещением старых. Легенда-готовлюсь расширяться, брать кредит, выходим на новые рынки, нужна готовая к этому бухгалтерия. Всеми путями дать понять что через бухгалтерию пойдут огромные суммы и заживем изо всех сил.Провести аудит после увеличения штата до 8 сотрудников, почуявшие жареное сами начнут пытаться свалить. К тому моменту у него будет отдел вполне себе понявший суть работы. Объяснить этим четверым ситуацию и что работы будет сначала много, но никого не обидим. Добирать до нужного количества. Пятая сотрудница была в качестве помощницы. Ее, конечно, тоже проверили на всякий случай, но шанс ее участия в этом анклаве был настолько минимален что решили ее оставить в покое. Да и ничего особенного-хрущевка, старая но аккуратная дверь. Живет с мамой, мама-пенсионерка. Плюс нужен был человек умеющий работать по старому, но без погружения в схематоз.
4) Снабженцы. Тут прям ооо че было.... Двое. У одного-уставшая дверь квартиры в старом доме, жена инженер ПТО на стройке, у второго (начальника)-жена на новой иномарке. Домохозяйка кстати. Случайно с ней столкнулись, выходила из двери нужной нам квартиры. Очевидно любимая-ухоженная, дорогая одежда, золото. Наглая, наехала на нас что мы тут шарахаемся а потом трусы с веревок пропадают. Дверь реально цыганская, свежий ЖК. Рекомендации-также найм сотрудника, аудит, первого оставить и повысить, второго максимально показательно выгнать.
Сейчас на нас бы наверно полицию вызвали. Два молодых парня щимятся с входящим в подъезд и через пару минут выходят обратно.
Юридические репрессии на основании аудита против косяпоров-на усмотрение Романа и тут лучше проконсультируют опытные юристы. Общая рекомендация-не спешить и действовать поэтапно и одновременно. Найм сотрудников, обучение их, аудит, репрессии. Иначе фирма развалится без бухгалтерии и снабжения.
В целом так день и прошел, мне уже нужно было переориентировать вектор внимания на секретаршу).
Спустя год я получил первые деньги. Весьма крупную сумму. А потом, ежемесячно-небольшие, но приятные. Как я понял, Роман счел справедливым выделить мне разовый бонус+небольшой процент от прибыли. Я был у него на предприятии еще раз, в роли советника-но это отдельная тема.
P.S. Пикабу я читаю изредка. Зарегистрироваться и начать писать подбил клиент. Сидит, смотрит огромными глазами: «Тебе надо делиться опытом с массами». И посоветовал этот ресурс. Опытом и конкретной логикой работы делиться не буду — мне за это деньги платят. Может иногда, по желанию, дам какие-то рекомендации или разберу какую проблему ради интереса. Если будет что почерпнуть для себя и не займет много времени. Собственно, в этом моя выгода тут: нестандартные ситуации держат мозг в тонусе. А вот истории... Истории у меня есть. Думаю, многие почерпнут что-то для себя. Но предупреждаю сразу-конфиденциальность в приоритете, поэтому все истории обезличены и детали-на мое усмотрение. Всем привет)
P.P.S. С тегами у меня затруднения. Не хотелось бы выглядеть пафосно, поэтому с удовольствием приму рекомендации.
Показать полностью