Нейросеть и полотенце⁠⁠

Вот уж и правда, где мои манеры?! И тебе добречка, пусть твой день будет хотя бы не плох, а лучше успешен.

Так-то да, у них там как бы свой движок и т.д. и т.п., однако сам язык запросов ну прям один в один похож на mssql. Я помню эту радость, когда было заявлено, что в новом ацессе уже поддержка файлов до 2гб, вместо одного. Только они почему-то умолчали, что тот же объём данных стал ровно в 2 раза больше занимать. А для нас тогда это было прям критично... И тогда мы открыли для себя ссаный firebird и odbc двайвера, чтобы наши клиенты имели понятный им интерфейс понятной им программы. Ох времена были... Ну да ладно. Это было давно и неправда.

Окей, давай предметно.

Сервачок - это громко сказано на самом деле. Их стоит два. Один прям вообще допотопный, там совсем старый i5 шестого или девятого поколения (не помню, а лезть смотреть лениво) 16гб тормозной рам и видяшка какой-то там джифорс 960м на 2 гига. Компуктеру уже лет 12. Причём, он вообще под виндой работает для всяких мелких экспериментов. В добавок ко всему, это ещё и ноут! Второй посильнее i5 13500 тоже 16гб более быстрой рам, видяха слабенькая 4050 на 6 гб врам и работает это под бубунтой 24. Чего-то большого с огромным контекстным окном туда не всунуть ну никак. Даже в цпу/гпу режиме. Скорость генерации примерно никакая. Приходится ограничиваться моделями 4-7b с каким-нибудь 8к квантованием и всего на 4к токенов окном. Но при этом скорость генерации хотя бы не 2т/с, а аж астрономические 50-60т/с! =) Подумывал найти и прикупить эппловский мини студио на 64/128гб оперативы тыщ за 300-350, но в итоге понял, что в моём потенциальном бюджете лучше вообще взять вариант еГПУ, чем искать этот самый студио, да и устарели они уже. Туда хоть и можно затолкать большую модель, а толку с неё со скоростью 10т/с? Ну, тут я ещё сильно раздумываю, тем более что прям сейчас денежков нет, их ещё надо дождаться.

Что касательно твоего заявления мол нейросети не юзают цпу. Ещё как юзают. Причём, это делает даже оллама "из коробки". Поставил, запустил, выкачал модель и понеслось. Если модель слишком большая для оперативки ГПУ, она отправляется в оперативку ЦПУ. Оллама тебе даже покажет куда и сколько модели загружено простой командой ollama ps =) Но ты всё это и так знаешь, верно? Другое дело, что надо понимать целесообразность сего действия. Например, запустить что-то тупонькое и быстрое (0.5б-2б) можно и на проце. Проблемы в этом нет совершенно. Но я откровенно не смог придумать на кой чёрт может пригодиться такая маленькая модель, кроме как для обучения чему-то. Так что тут ты действительно неправ - без ГПУ реально.

Теперь про твои вопросы.

На мой взгляд, делать два запроса и на основании этого делать какие-то большие выводы - это херня. Что такое статистика ты, как специалист по базам данных, знаешь не хуже меня. И ты понимаешь, что по двум строкам ты не построишь правильного мнения обо всей бд. Да, ты взял это с реддита, где это уже обсасывается долго и нудно. Возникает логичный вопрос: а нахер тогда это тут? Опять же, нужно понимать, что моё мнение субъективное и нихрена не авторитетное. Я просто пришёл в каменты, пукнул что-то казалось бы невнятное, без аргументов и пояснения. Да ещё и не в самом вежливом формате.

Далее. В моём понимании (и с учётом контекста общего обсуждения) выборка и запрос - относятся именно к подаче запроса к нейросети. Выборка потому, что есть масса таких запросов. Вот ты сделал со своей стороны что-то. Вот у тебя и получилось, что результатом на твой запрос получились два совершенно разных итога. Твоя выборка - две записи. Температура - это вообще понятие строго техническое и относится к вольности модели. Например, с температурой 0 нейросеть тебе будет давать на один и тот же запрос ответы с минимальной разницей. А вот с 0.9 - там уже такой полёт фантазии может быть, что каждый второй результат будет чем-то особенным. Этот параметр, как мне кажется, особенно активно применяется в генерации изображений. В генерации кода я больше 0.1-0.2 не ставлю, слишком много ошибок, в том числе логических.

Насчёт третьего "какого хера" - ну, а почему бы и нет? Законом не запрещено, функционал портала подразумевает посты и каменты к ним. Вопрос совершенно не валидный в рамках Пикабу. Ведь так и я могу сказать "какого хера ты сюда это выложил, мне это не интересно" - но это же как-то... Не логично =)

И немного про бенчмарк... Да, скрипты они на чём-то работают. Абсолютное большинство любителей и даже профессионалов в теме нейросетей свои скриптики пилит на питоне. Поэтому подразумевается, что и мой скриптик написан на питоне =) Был бы он на Сях или чём-то другом, то нормальный человек об этом написал бы отдельно. Я, конечно, отношу себя к нормальным (да-да, а они относят меня обратно). А бенч в данном контексте показывает именно скорость работы и группирует ответы по смыслу. Вот мне надо было понять, сможет ли конкретная модель дать правильный ответ на неправильную задачу. Запилил скриптик, запустил, прогнал запрос 50 раз. Покрутил параметры, ещё раз запустил. Получил ответ: столько-то времени, такая-то скорость обработки, такая-то скорость генерации и вот группировка с количеством по вариантам ответа. Чем не бенч? Самый натуральный бенч.

А вот хамить не надо. На хуй, как говорится, твоя жопа хороша - грубость на грубость. Я тебе может и несколько хамовато ответил, но не грубил так чтоб прям. Да, ты моего мнения не спросил. Факт. Однако, как я уже написал выше - этот ресурс задуман, как посты+комментарии. Зарабатывает ресурс на этом. Поэтому в любой момент времени любой твой комментарий или пост может и наверняка будет кем-то обосран. К сожалению, даже если ты выложил что-то действительно хорошее. Ну, мир такой.

Зачем я пришёл? Увидел что-то, что меня заинтересовало, пришёл. Согласен, можно было как-то более конструктивно критику свою нахер не нужную написать, но я ж тупорылый - сперва делаю, потом думаю =) Образования у меня никакого, да ещё и не единожды контуженый, много времени общавшийся с не самыми разумными людьми. Короче, у меня скидка 50% и даже документ есть =)

Вооот... В общем, я своё графоманство потешил. Вроде бы даже более-менее понятно изъяснил свою точку зрения, хоть и растёкся словом по мысли. И даже вроде нигде тебе снова не нахамил, обрати внимание! Коли тебе захочется в ответ подробно изъясниться - велкам =)

Ты уж это, не серчай, ежели что. Я так-то на самом деле совершенно не злой и какашками без причины кидаться не буду. Я даже на дороге подрезальщиков всяких и обочечников не матерю. Так, пожалю им 3 года диареи и качусь дальше =)

Вот это простыня вышла! Сам в шоке.

Тебе на всякий случай ещё раз добра, успехов и, конечно, здравия. Поменьше агрессируй на всякий тупорылых в интернетах. Айтишнику пристало быть солидным и рассудительным, а не говном кипячёным =)