К сожалению, у локального запуска языковых моделей есть несколько неприятных моментов:

• Требования к объему оперативной памяти, как к обычной, так и графической. Поясню, при работе, языковая модель выгружается в оперативную память и, например, для gpt-oss-20b (20 миллиардов параметров, достаточно «умная» модель) требуется порядка 12 гигов такой памяти. И данная проблема вполне решаема, ведь стоимость оперативной памяти не заоблачная и даже многие ноутбуки в стоке уже идут с 16 гигами памяти;

• Скорость генерации токенов. Поясню, по факту, это та скорость, с которой будет генерироваться текст. И проблема здесь следующая, чем больше модель, тем больше оперативной памяти она потребляет и тем меньше скорость генерации текста. Если объем оперативной памяти мы можем наращивать в достаточно широком диапазоне, то скорость генерации токенов/текста упирается в скорость самой оперативной памяти.

Оба этих момента являются критически важными, при локальном запуске языковых моделей, ведь мы всегда ограничиваемся характеристиками существующего компьютера (в отличие от крупных корпораций, которые за несколько миллионов, а то и миллиардов, баблинского приобретают, по сути, суперкомпьютеры).

Умным дядькам (это точно не я) такая ситуация определенно не нравилась, и они пришли к элегантному решению, а именно, к MoE – Mixture of Experts, то есть «смесь экспертов». Если кратко, то MoE— это подход в машинном обучении, где большая языковая модель делится на несколько специализированных "экспертов" (подмоделей), каждый из которых хорошо справляется с определёнными типами задач или данных. Вместо того чтобы активировать всю модель целиком (что дорого по вычислительным ресурсам), используется "маршрутизатор" — специальный механизм, который для каждого входа (например, запроса) выбирает только 1–2 релевантных эксперта.

Смотрите, все достаточно просто, в этом (ссылка) новостном дуйджесте я писал про новые языковые модели от IBM. Нас сейчас интересует модель Granite 4.0 H Small (32B/9B). У этой модели 32 миллиарда параметров, что потребует порядка 16-18 гигов оперативной памяти, но при этом во время ответа активно только 9 миллиардов параметров, что сильно положительно скажется на скорости генерации текста. Например, gpt-oss-20b, при работе на CPU, выдает порядка 8-10 токенов в секунду, в случае же Granite 4.0 H Small (32B/9B) можно надеяться на удвоение скорости, а 20 токенов в секунду уже не воспринимается как скорость улитки.

Ну а так вроде все пацаны и пацанята, коты и котанята. Надеюсь, стало немножечко понятнее, что вообще в этом мире происходит. Ну и не забываем, я разработал чат-рулетку в виде мини-приложение в telegram, как говорится welcome t.me/Twittly_bot/twittly. Затестите, вам не сложно, мне приятно!!!))).

Ссылка на мой telegram канал t.me/socionyxchannel, you are welcome too, где я пишу про будни разработчика.

Всем привет ! День второй - шортпостный)

Всё так же продолжаю тестировать блогерство пока в текстовом формате на тему блог от IT-шника. Развеиваю мифы о веб-разработке, делюсь историями из проектов, правками, сложными клиентами и реальной жизнью IT (по крайней мере задумка такая 😁). Полезно для клиентов, маркетологов и всех, кто хочет понимать, как создаются сайты и работают digital-проекты. Хотел проверить, реально ли людям интересна эта тема. А то ходят байки, что айтишники живут как на курорте - кофе, худи, маки и жизнь-малина. Ну вот, решил рассказать, как всё есть на самом деле - без глянца,понтов (а среди IT-шников куда без них вообще?) и прикрас.

Решил начать с поста в духе «экспертное мнение» - сравнение SEO Тильды и WordPress. Опыт, как-никак, есть - больше 15 лет в разработке и диджитале. Но ладно, не будем хвастаться - об этом потом, в следующих сериях.

Для начала ведения блога решил выбрать и затестить две известных площадки (называть не будем), на которых, как считал нет заядлых душных ботанов, с ежедневниками под рукой и в "пинжмаках" (таких как правило и в обычной жизни хватает , снуют на различных IT мероприятиях и форумах и нудят на всякие умные темы, чтобы казаться круче и умнее, а на деле - офисные трутни), а где люди живут разными интересами, где свободно и с юмором, и в целом, обстановка не навевает открыть окно 😁

И вот в первый день выложил одинаковый экспертный, довольно интересный и причёсанный пост про сравнение SEO Тильды и WordPress, чтобы посмотреть - какие же метрики в итоге можно собрать (ну конечно метрики, у нас без этого ж никуда, нужно что-то отмерить, проанализировать, отследить и потом ещё думать над этим полгода 😁).

Ну и самое интересное - хочу показать ниже, без названий площадок конечно же, какую статистику собрал :

На первой площадке мне отвалило 1 600 показов ( "ну всё, понеслааась блогерская жись" - подумал я 😂), реакции люди ставят, 2 комента, ну всё, мама я блогер!

на второй площадке показов поменьше, 680, и реакций нет, ну вот люди комменты оставляют, аж 6, ещё круче!

С виду можно было подумать, что аудитории разные, подушнить ещё на тему анализа ЦА и прочих маркетинговых умностей - но кто мы такие, этого и так хватает в основной работе. Пошёл открывать комменты, народ ждёт ведь!

Ну и без особых описаний - комменты на первой площадке, давшей больше показов (странно, может это эти два чела с ежедневниками с конфы пришли поспорить о диджитал бытие) меня конечно слегка удивили, писал, корячился, причёсывал первую статью - а уже обозвали неровысером? обидно 😁

Ну и, собственно комменты второй площадки, удивившие меня сильнее:

А казалось бы, площадка, как я думал - менее целевая. Оказались добрее люди, что-ли.

Ну, да, постов у меня пока что около-ноль - классика жанра, поэтому какое тут сравнение площадок :) Так что, это просто взгляд новичка на первые шаги и эксперименты с темой. Можно было бы включить «аналитика-эксперта» и начать сравнивать аудитории, метрики и прочие страшные слова, но не хочу. Хочется вести блог по-простому - без глянца, зато с пользой, иногда с юмором (но пока без мата 😂) и чуть-чуть закулисья из жизни айтишников и фрилансеров. А пока что, продолжаю свой эксперимент, буду периодически на эту тему что-то интересного вкидывать, так что - подписывайтесь, ставьте лайки, ну или как там говорят у вас блогеров 😄 Буду рад всем)