zwuck

Мюсли. А вот это интересное и, с моей точки зрения, абсолютно правильное направление развития для компании OpenAI. Вау эффект уже давно прошел, пятая версия языковой модели GPT-5 не произвела такого впечатления, как это было с предыдущими версиями. Обычного генератора текста, даже достаточно «умного», уже недостаточно. Именно поэтому создаются новые продукты, где языковая модель выступает в роли промежуточного, но «умного» звена/посредника, что должно привести к более понятному, быстрому и удобному взаимодействию с такими продуктами. Ниже пример с Figma.

AgentKit: единая среда от OpenAI для создания и тестирования собственных агентов.

Ссылка. До сегодняшнего дня сборка и запуск AI-агентов напоминала джунгли. Разработчики метались между десятками несовместимых SDK, кастомных пайплайнов и ручных интеграций. Построить надёжного агента значило неделями клеить код, чинить баги в оркестрации и постоянно балансировать между скоростью и качеством. Теперь OpenAI предлагает другой путь — AgentKit, набор инструментов, который объединяет в себе всё, что раньше требовало десятков фреймворков и недель настройки.

Мюсли. Как и с любой другой областью, которая относительно недавно появилась, до языковых моделей дошли стандарты. В общем и целом, это безусловно win, так как значительно упрощает процесс разработки (все стандартизировано же) и добавляет большое количество документации и, в будущем, гуидов (обожаю гуиды на ютубе, особенно от индусов).

GPT-OSS теперь можно запустить на топовых Android-смартфонах.

Ссылка. Команда Nexa AI добавила в свое приложение Nexa Studio версию GPT-OSS, оптимизированную для запуска на топовых Android-смартфонах. Модель уже доступна в приложении, весит 10 ГБ, а для запуска требуется смартфон с 16 ГБ памяти и передовой процессор. В Nexa AI протестировали GPT-OSS на смартфоне ASUS ROG 9 с процессором Snapdragon Elite Gen 5, получив следующие характеристики: время до получения первого токена — 3 секунды, скорость генерации — 17 токенов в секунду.

Мюсли. На хабре пишут, что языковая модель GPT-OSS-20b как раз и затачивалась под возможность запуска на смартфонах. Наш дорогой Сэм мать его Альтман для этого опрос проводил в этих ваших интернетах.

Так что новость является закономерным развитием жизненного цикла языковой модели и это, определенно, круто. Правда не представляю, какое время жизни телефона будет и его нагрев, жесть жеж наверное.

Из веселого. Или не очень. Полиция США попросила подростков прекратить розыгрыши с участием дипфейка бездомного.

Ссылка. В TikTok завирусился новый тренд: подростки используют технологии искусственного интеллекта, чтобы создавать дипфейки бездомного человека в своих домах, а затем показывают эти изображения родителям. Несколько таких розыгрышей закончились приездом полиции. Теперь правоохранители просят подростков воздержаться от подобного поведения.

Мюсли. Не такого применения ИИ я ожидал, определенно. А хотя, это как с любой технологией, можно использовать для создания чего-либо «хорошего», а можно в противоположность ему. Стоит хотя бы на Sora 2 посмотреть, где генерируют видео с умершими людьми (часто знаменитостями) и отправляют родственникам.

Ну а так вроде все пацаны и пацанята, пацантре и пацанини. Ну и не забываем, я разработал чат-рулетку в виде мини-приложение в telegram, как говорится welcome t.me/Twittly_bot/twittly. Затестите, вам не сложно, мне приятно!!!))).

Ссылка на мой telegram канал t.me/socionyxchannel, you are welcome too, где я пишу про будни разработчика.

К сожалению, у локального запуска языковых моделей есть несколько неприятных моментов:

• Требования к объему оперативной памяти, как к обычной, так и графической. Поясню, при работе, языковая модель выгружается в оперативную память и, например, для gpt-oss-20b (20 миллиардов параметров, достаточно «умная» модель) требуется порядка 12 гигов такой памяти. И данная проблема вполне решаема, ведь стоимость оперативной памяти не заоблачная и даже многие ноутбуки в стоке уже идут с 16 гигами памяти;

• Скорость генерации токенов. Поясню, по факту, это та скорость, с которой будет генерироваться текст. И проблема здесь следующая, чем больше модель, тем больше оперативной памяти она потребляет и тем меньше скорость генерации текста. Если объем оперативной памяти мы можем наращивать в достаточно широком диапазоне, то скорость генерации токенов/текста упирается в скорость самой оперативной памяти.

Оба этих момента являются критически важными, при локальном запуске языковых моделей, ведь мы всегда ограничиваемся характеристиками существующего компьютера (в отличие от крупных корпораций, которые за несколько миллионов, а то и миллиардов, баблинского приобретают, по сути, суперкомпьютеры).

Умным дядькам (это точно не я) такая ситуация определенно не нравилась, и они пришли к элегантному решению, а именно, к MoE – Mixture of Experts, то есть «смесь экспертов». Если кратко, то MoE— это подход в машинном обучении, где большая языковая модель делится на несколько специализированных "экспертов" (подмоделей), каждый из которых хорошо справляется с определёнными типами задач или данных. Вместо того чтобы активировать всю модель целиком (что дорого по вычислительным ресурсам), используется "маршрутизатор" — специальный механизм, который для каждого входа (например, запроса) выбирает только 1–2 релевантных эксперта.

Смотрите, все достаточно просто, в этом (ссылка) новостном дуйджесте я писал про новые языковые модели от IBM. Нас сейчас интересует модель Granite 4.0 H Small (32B/9B). У этой модели 32 миллиарда параметров, что потребует порядка 16-18 гигов оперативной памяти, но при этом во время ответа активно только 9 миллиардов параметров, что сильно положительно скажется на скорости генерации текста. Например, gpt-oss-20b, при работе на CPU, выдает порядка 8-10 токенов в секунду, в случае же Granite 4.0 H Small (32B/9B) можно надеяться на удвоение скорости, а 20 токенов в секунду уже не воспринимается как скорость улитки.

Ну а так вроде все пацаны и пацанята, коты и котанята. Надеюсь, стало немножечко понятнее, что вообще в этом мире происходит. Ну и не забываем, я разработал чат-рулетку в виде мини-приложение в telegram, как говорится welcome t.me/Twittly_bot/twittly. Затестите, вам не сложно, мне приятно!!!))).

Ссылка на мой telegram канал t.me/socionyxchannel, you are welcome too, где я пишу про будни разработчика.

В первой части я уже говорил про ветки (branch), так вот, если есть необходимость перейти/перепрыгнуть на данную ветку, например, чтобы запустить код с новым функционалом, вы просто выполняете команду checkout (если совсем быть точным, то git checkout имя_ветки). Двигаемся дальше, следующей базовой командой у нас является git pull, которая позволяет «подтянуть» изменения из удаленного репозитория (об этом чуть позже) и автоматически подтянуть их в вашу ветку.  Например, вы в вашей ветке доработали код, сообщили об этом руководителю/приятелю/тимлиду/CEO/CTO/собачке, после чего изменения вливаются в ветку с базовым проектом (будем называть ее main ветка). Теперь, чтобы именно у вас в main ветке все эти изменения отобразились, вы делаете на нее checkout и выполняете pull.  И наоборот, чтобы изменения, которые вы внесли в ветку, увидели другие участники вашей команды, вам необходимо их «затолкать» на удаленный репозиторий (падаждити, всему свое время, расскажу, что да как с этим удаленным репозиторием). По сути, эти базовые команды покрывают большую часть необходимого и повседневного функционала, так что для начала, вам этого будет более чем достаточно. Для меня уж точно.

Давайте дальше. Смотрите, гит по сути хранит код и историю его изменения. Поэтому желательно, чтобы это хранилище находилось где-то, где каждый участник команды сможет иметь доступ, чтобы отправлять туда (push) и забирать оттуда (pull) актуальные изменения. Так вот, это место и является тем самым удаленным репозиторием. Некоторые умные люди подсуетились и создали веб-ресурсы (сайты) которые и выполняют роль этих удаленных репозиториев.

Одним из самых популярных веб-ресурсом, который предоставляет функционал удаленного репозитория для гит, является github.

Да, в 2023 году я был хорош.

Из чистого сервиса, поддерживающего гит, гитхаб превратился в нечто болmшее. Это стало целым сообществом, безусловно прикрутили CI/CD (более подробно напишу в следующих статьях), copilot (об этом не напишу, не пробовал) и многое многое.

Gitlab (гитлаб) и gitea (гити ака гит чай) почти полностью повторяют базовый функционал для работы с гит. Но плюсом, чтобы быть конкурентоспособными, добавили возможность для self-hosted (тож обязательно напишу об этом статейкус), когда вы на вашем компьютере/vps/малинке (тута я писал про малинку и гит чай) разворачиваете данный сервис и самостоятельно все контролируете, не боясь, что вам по какой-то причине ограничат доступ к сервису.

Ну а так вроде все пацаны и пацанята, я так-то иссяк и поток моего сознания окончился. Ну и не забываем, я разработал чат-рулетку в виде мини-приложение в telegram, как говорится welcome t.me/Twittly_bot/twittly. Затестите, вам не сложно, мне приятно!!!))).

Ссылка на мой telegram канал t.me/socionyxchannel, you are welcome too, где я пишу про будни разработчика.

Давайте для начала определим, являются ли эти минусы (тыц) настоящими минусами или я просто накидал фекалий на лопасти (да/нет). Для начала поясню, что я имею ввиду под «настоящими минусами». Смотрите, любой минус чего-либо, хотите вы этого или нет, это всегда субъективная оценка. Давайте на собственном примере. Я с детства был пк-боярином.

Как итог, не плохо так стал разбираться в устройстве компьютера, несколько раз производил минорные апгрейды и вообще был счастлив. Консоли для мены были чем-то далеким и невозможность пресловутого апгрейда я, безусловно, рассматривал как жырнющий минус. А сейчас знаете, что произошло? Я сам стал консольщиком, а если быть совсем честным, то нинтендо боем.

Это не была спонтанная покупка, я взвесил для себя все за и против. Как итог, все минусы (почти) консолей просто перестали для меня быть минусами. Я брал сыч под конкретные задачи, а именно, возможность поиграть где угодно и когда угодно, как только такая минутка подвернется, и сыч эту задачу решает идеально.

Так вот, давайте вернемся обратно к малинке. Я брал ее для решения конкретных задач, пытался состряпать собственный сервер, чтобы раскатывать на нем self-hosted решения, дабы минимизировать зависимость от облачных провайдеров. И с этой задачей малинка идеально (почти) справляется. Мало оперативной памяти? Установил версию операционной системы без графического интерфейса, потребление памяти базовыми процессами минимально и достаточно высокая скорость работы (не путать с производительностью). Дорогие комплектующие? На начальном этапе они и не нужны. Даже активного охлаждение не нужно, у меня малинка пассивно охлаждалась, и температура только в редких моментах достигала значения в 70 градусов, по цельсию каэш. Стоимость? Да, чуть выше, чем аналогичный по характеристикам мини-пк (в чистой производительности мини-пк, безусловно, будет выигрывать в чистую), но взамен вы получаете огромное сообщество энтузиастов, которые разобрали большинство «проблем» малинки и долгосрочную поддержку. Малинка просто работает, просто работает из коробки. Минимально возможный размер, отсутствие шума (ведь нет движущихся частей), минимальное энергопотребление (а вот это преимущество arm архитектуры процессора). Иногда я вообще забывал, что малинка находится у меня на столе.

Выводы будут простые, пацантре и пацантрята, никогда не надо в лоб сравнивать (например, чистую производительность по бенчмаркам) вещи (будь то консоли/пк, каркасный/газобетонный дом, iOS/андроид и т.д.), надо обязательно учитывать совокупность факторов (как минимум бюджет) и то, как вы это будете использовать и какие задачи необходимо решать.

Ну и не забываем, я разработал чат-рулетку в виде мини-приложение в telegram, как говорится welcome t.me/Socionyx_Bot/socionyx. Затестите, вам не сложно, мне приятно!!!))).

Ссылка на мой telegram канал t.me/socionyxchannel, you are welcome too, где я пишу про будни разработчика.