user7562225

Скачиваем любую стабильную версию скомпилированного exe, запускаем, выбираем модель (где их взять ниже), переходим в браузер и пользуемся. Всё!

Если у вас 32ГБ ОЗУ, то можно запустить и 30B модель - качество будет сильно лучше, но скорость ниже.

Данный способ принимает модели в формате ggml, и не требует видеокарты

P.S. Если у кого-то есть сомнения о запуске exe, то вы всегда можете проверить исходники и собрать всё самостоятельно - программа открыта.

Kobold AI Lite, Alpaca 13B. Ни одна собака не пострадала.

Теперь koboldcpp поддерживает также и разделение моделей на GPU/CPU по слоям, что означает, что вы можете перебросить некоторое количество слоёв модели на GPU, тем самым ускорив работу модели, и освободив немного ОЗУ.
Так что, если у вас есть видеокарта от Nvidia, можете смело перераспределять часть нагрузки на GPU. Как это сделать: Выберите пресет CuBLAS в лаунчере, и установить кол-во слоёв, которые вы хотите выделить на видеокарту.

Чем больше VRAM = тем больше слоёв можно выделить = тем быстрее работа нейросети

Также, у кобольда появился небольшой лаунчер, скриншот которого выше. При запуске советую выставить Threads равным кол-во ядер вашего процессора, включить High Priority и Unban Tokens.

Также, если вы используете модели с большим контекстом, не забудьте увеличить Context Size.

Способ второй - запуск на видеокарте (oobabooga)

Требует много VRAM, но скорость генерации выше. Запуск чуть сложнее, но также без выноса мозгов.

Скачиваем вот этот репозиторий oobabooga/one-click-installers и читаем приложенные инструкции - нужно будет запустить несколько батников.
К вам в ту же папку загрузится репозиторий oobabooga/text-generation-webui, и подтянет за собой все необходимые зависимости. Установка проходит чисто, используется виртуальная среда.

К сожалению, в повсеместные 8ГБ VRAM поместится только 7B модель в 4bit режиме, что по факту будет хуже модели 13B из первого способа. 13B влезет только в 16GB VRAM видеокарту.
А если у вас есть 24ГБ VRAM (RTX 4090, ага), то к вам влезет даже 30B модель! Но это, конечно, меньшая часть людей.

Интерфейс чуть менее удобен, чем в первом способе. Чуток тормозной. Единственный плюс - есть extensions, такие как встроенный Google Translate, который позволит общаться с моделью на русском языке.

oobabooga - cкриншот со страницы проекта на github

Теперь лаунчер стал чуть проще, и никакие параметры заранее выставлять не нужно. Просто запускаете то, что установилось, и в настройках выбираете движок, на котором будет работать модель.

Движков кстати добавили много, и в том числе добавили llama.cpp в этот интерфейс (Однако напомню, что весит он > 15ГБ, и если вам нужно запускать llama.cpp - лучше это делать с кобольдом).

llama.cpp - если хотите запускать ggml модели на этом интерфейсе.
exllama - ОЧЕНЬ быстрый движок, который позволяет запускать модели на нескольких видеокартах одновременно. Однако, на данный момент не позволяет выгружать слои моделей на CPU. Использовать только если у вас много VRAM. gptq формат.
GPTQ-for-LLaMa - стандартный движок, который и был до этого. Поддерживает разделение на GPU/CPU, но медленнее чем llamacpp, если у вас мало VRAM. gptq формат.

Все движки и их настройки теперь доступны через интерфейс.

Выбор движка GPTQ-for-LLaMa, и внизу мы можем выделить кол-во слоёв для разделения на CPU/GPU

Из двух способов я советую использовать первый, т.к. он банально стабильнее, менее заморочен, и точно сможет запуститься у 80% пользователей.
Если у вас есть крутая видюха с хотя бы 16ГБ VRAM - пробуйте запускать на втором.

Где брать модели?

Сейчас есть 3 качественных модели, которые действительно имеет смысл попробовать - LLama, Alpaca и Vicuna.

Llama - оригинал слитой в первые дни модели. По заявлениям синей компании, запрещённой в РФ, 13B версия в тестах равносильна ChatGPT (135B).
По моим ощущениям - на 80% это может быть и правда, но и не с нашей 4bit моделью.

Alpaca - дотренировка Llama на данных с инструкциями. Сделай мне то, расскажи мне это и т.д.
Эта модель лучше чем LLama в чат режиме.

Vicuna - дотренировка LLama прямо на диалогах с ChatGPT. Максимально похожа на ChatGPT. Есть только 13b версия, на данный момент.
Подчеркну - МАКСИМАЛЬНО похожа. А значит - также как и ChatGPT процензурена.

Скачать каждую из них можно вот здесь - https://huggingface.co/TheBloke (Профиль huggingface пользователя, который делает качественные кванты моделей в любом формате. Можно найти почти всё.)
Обратите внимание на формат перед скачиванием - ggml или gptq.

Предыдущие модели хоть и по-прежнему рабочие, но немного устарели. Появилось много новых вариантов, которые можно найти по ссылке https://huggingface.co/TheBloke

Вот модели, которые, по моему мнению, лучше всего показали себя с момента публикации:

Llama2 - новая, официальная, стандартная версия ллам. Умнее чем первая версия, но ещё больше цензуры. (GPTQ | GGML)

Wizard-Vicuna-13B-Uncensored - Универсально-хорошая модель, которая умнее и стандартной llama, и vicuna. Расцензурена. (GPTQ | GGML)

WizardLM's WizardCoder 15B - хорошая модель для написания кода (GPTQ | GGML)

Llama2 13B Orca v2 8K - хорошая roleplay модель с расширенным контекстом (модель помнит/воспринимает больше текста при общении) (GPTQ | GGML)

Чтобы скачать - переходим по ссылке, потом на Files and versions.
Для GGML формата просто качаем файл с припиской q5_K_M. Если таких их нет - q4_1. Это форматы квантования.

В GPTQ просто так качать сложно, поэтому качаем через oobabooga -> Model -> Download custom model or LoRA -> вставляем ссылку и нажимаем Download.

Варианты использования?

Оба интерфейса позовляют создавать персонажа, в роли которого будет работать AI.
Поэтому, вариантов использования может быть довольно много.

Пропишите персонажу, что он - AI-ассистент программист, и он будет помогать с кодом.
Скажите, что он повар - и он поможет с рецептами.
Скажите, что он милая девушка - и придумайте сами там что-нибудь…
В общем, тут всё как с ChatGPT - взаимодействие в чате мало чем отличается.

Также, в первом интерфейсе есть режимы Adventure и Story - позволяющие играть с нейросетью, или писать истории.

Продвинутые же пользователи могут подключиться к API запущенных моделей, и использовать их в своих проектах. Оба интерфейса позволяют подключиться по API.

Также, для roleplay штук, советую запустить другой интерфейс - SillyTavern. Почему не писал о нём ранее - потому что это действительно только интерфейс, в котором нет движка. Для его работы нужно запускать либо koboldcpp, либо oobabooga с флагом --api.
Почему он лучше для roleplay - широкая поддержка различных персонажей, в том числе от сообщества, Author's note, World Info, ПЕРЕВОД ЧАТА НА РУССКИЙ ЯЗЫК, Text-to-Speech и многое другое.

Идеальная связка, по моему мнению, koboldcpp + SillyTavern.

Если вам хочется попробовать оригинальный Chat GPT-4, то велком в моего телеграм-бота. Безлимитные запросы и стоит дешевле в 2 раза, чем на официальном сайте. Потому, что работает через api Open AI/

Китайская технологическая компания Baidu представила чат-бота Ernie Bot, который может понимать и отвечать на сложные вопросы. Бот основан на языковой модели Ernie, которая была обучена на огромном наборе данных текста и кода.

Ernie Bot может отвечать на вопросы по широкому кругу тем, включая науку, технологии, историю и культуру. Он также может выполнять математические расчеты, переводить языки и создавать различные творческие форматы текста, такие как стихи, код, сценарии, музыкальные произведения, письма и т. д.

Baidu утверждает, что Ernie Bot превосходит своего главного конкурента, ChatGPT от OpenAI, в нескольких важных тестах. В частности, Ernie Bot лучше понимает контекст сложных вопросов и может давать более информативные ответы.

Baidu планирует использовать Ernie Bot для различных целей, включая улучшение своей поисковой системы, развитие облачных вычислений и создание новых продуктов и услуг.

Пекин рассматривает искусственный интеллект как ключевую отрасль, способную конкурировать с Соединенными Штатами, и стремится стать мировым лидером к 2030 году.

Chat GPT-4 пока что самая популярная ИИ. Из РФ пользоваться можно тут.

В своем блоге компания написала, что GPT-4 может не только помогать принимать решения о модерации контента, но и помогать в разработке политик и быстром изменении политик, "сокращая цикл с месяцев до часов". OpenAI утверждает, что модель может разбирать различные регуляции и нюансы политики контента и мгновенно адаптироваться к любым обновлениям. По словам OpenAI, это приводит к более последовательной маркировке контента.

Мы считаем, что это приведет к более позитивному видению будущего цифровых платформ, где ИИ может помогать модерировать онлайн-трафик в соответствии с политикой конкретной платформы и снимать психологическую нагрузку с большого числа модераторов. Любой, имеющий доступ к API OpenAI, может реализовать этот подход и создать собственную систему модерации с помощью ИИ."

— Лилиан Венг, Вик Гоел и Андреа Валлоне из OpenAI

OpenAI утверждает, что инструменты модерации GPT-4 могут помочь компаниям выполнять шестимесячную работу всего за один день.

Хорошо известно, что ручная модерация травмирующего контента может оказывать значительное воздействие на психическое здоровье модераторов, особенно когда речь идет о графическом материале.

Использование ИИ для снятия нагрузки с человеческих рецензентов может быть очень полезным. Некоторые уже используют ИИ-модерацию несколько лет. Тем не менее, OpenAI утверждает, что до сих пор человеческим модераторам помогали "небольшие вертикально-специфичные модели машинного обучения. Процесс по своей природе медленный и может вызывать психологическое напряжение у модераторов".

Модели ИИ далеки от совершенства. Крупные компании давно используют ИИ в своих процессах модерации, и, с применением технологии или без нее, все равно принимают неверные решения по контенту. Остается вопросом, сможет ли система OpenAI избежать многих основных проблем модерации.

В любом случае, OpenAI соглашается, что люди все равно должны участвовать в процессе:

Мы продолжали проводить проверку людьми для верификации некоторых суждений модели.

— Валлоне из команды по политике OpenAI

Сокращая участие человека в определенных частях процесса модерации, которые могут быть обработаны языковыми моделями, люди могут быть более сосредоточены на решении сложных случаев, вместо того, чтобы тратить время на банальности.

Использовать Chat GPT-4 в РФ можно через telegram бота. Доступ через api и дешевле, чем оф версия с сайта.

Всех приветствую, это мой первый пост, в котором я хочу поделиться с вами историей, как я пытался сделать текстовую игру внутри чата GPT, а получилось из этого… А что получилось вы узнаете дальше) Сразу извинюсь перед читателями, так как я фантастически безграмотный, но полагаю это вам не сильно помешает ознакомиться в текстом, а другим даст повод метнуть в меня фекалиями и облегчить свою душу.

В моей голове давно закралась мысль о том, что благодаря нейросетям в скором времени текстовые игры получат новый этап развития. Это будут игры по типу настольных ролевых (D&D), где нейросеть будет не только генерировать приключения для героев, но и отрисовывать иллюстрации к этим приключениям. Да и музыка будет менять стиль и тональность в зависимости от происходящего в тексте. Особенно весело будет играть в такие игры компанией друзей онлайн, где каждый будет отыгрывать своего персонажа, со своими особенностями и характером. Но что-то я ушел не в ту степь… Ближе к делу!

Запустил я намедне chat GPT и первый же запрос мой был: «Можно внутри тебя создать интерактивную игру, где GPT чат будет выступать в роли ведущего, а я в роли игрока?». Чат отвечает: «Можно, давай попробуем». Ну я и попробовал. Чат создал мне рыжего орка Грагука, который бродил по темному лесу и сражался, то со свиньей, то с волками. Было это все не очень интересно, так как у героя всегда все получалось. Он был и самым умный, и самым сильным, и харизматичный был шибко.

Тогда я попробовал ввести в запрос чату четыре характеристики: силу, ловкость, интеллект и харизму. Ну и прошлось прописать простую проверку характеристик, которая все еще не всегда корректно работает. НО работает! Хотя иногда и надо писать: «брось кубик за меня» или «сгенерируй число за меня».

Теперь играть стало интереснее. Персонаж ошибался, но при этом никак не мог умереть. Я заставлял его прыгать с высоты птичего полета и он выживал. Заставлял его лезть в пасть к дракону и убивал тем самым дракона. По итогу я добился лишь того, чтобы герой может получить сильные травмы, в том числе и психологические, но убить его невозможно))

Так же существует проблема, что чат запрещает персонажу вести себя жестоко. Хотя сам иногда генерирует жуткие ситуации, так например мой персонаж разделал тушу дикобраза тупой палкой. Кстати я потом сделал из этой зверюшки шляпу, который все в королевстве восхищались.

Ну и побаловать кого-то под хвост тоже не удастся, есть жесткая цензура. Хоббитов даже целовать не дает, может быть потому что они похожи на детей. Но в целом это не проблема и исключает тех людей, которые впервые начиная играть в НРИ пытаются устроить коитус со всем живым и мертвым.

Потом я увлекся и прописал генератор мира и персонажа. Это самый кайф)) Персонажи иногда получаются очень интересными. Ну и миры, редко конечно, но выходят оригинальными. Так у меня однажды получился толстый русалка-мужик, который обожал рыбачить и вообще занимался бизнесом в Атлантиде, а приключения его не очень то интересовали.

Ниже я опубликую свой запрос, который вы можете написать чату GPT и попробовать создать свою интерактивную историю с элементами РПГ:

«Давай создадим интерактивную игру внутри GPT чата? Как например в настольных ролевых играх, где GPT чат будет выступать в роли ведущего, а я в роли игрока.

В начале мы создадим сеттинг и мир в котором будут происходит события игры. Для этого ты предложишь мне пять вариантов на выбор.

Далее создадим персонажа выбрав его расу из пять предложенных вариантов на выбор. Выберем профессию персонажа из пять предложенных вариантов на выбор. Далее выбираем предысторию персонажа выбрав из пять предложенных вариантов на выбор. Выберем внешний вид персонажа из пять предложенных вариантов на выбор. Выберем имя персонажа из пять предложенных вариантов.

Далее исходя из выбранных параметров персонажа, GPT чат сгенерирует характеристики персонажа, в которые входит: сила, ловкость, интеллект и харизма. Максимальное значение характеристики 5, минимальное 1. Сумма всех характеристик не может превышать 10.

Далее ведущий будет рассказывать историю про моего персонажа, а я буду выбирать варианты решения той или иной задачи исходя из своих характеристик. При этом каждая история начинается с четкой завязки, где у нас есть прописанная цель к которой мы идем. Так же в игре будут присутствовать неожиданные повороты сюжета и проработанные NPC, с которыми интересно общаться. Сложность игры достаточно высокая и необдуманные поступки могут привести к трагическим последствиям.

Правила игры:

Для совершения любого действия во время игры, игроку нужно пройти проверку характеристик. Формула проверки характеристик: (случайное число от 1 до 5) + (значение характеристики) = результат. Действие игрока получилось, если результат равен 7 или выше. Действие игрока не получилось если результат ниже 7. Случайное число генерирует GPT чат.

Любой провал проверки характеристик ведет к негативным последствиям для игрока, вплоть до его смерти. Если персонаж умирает, то игра заканчивается. У персонажа нет ограничений на его действия во время игры».

Если людям будет интересно, то я обязательно продолжу улучшать запрос к чату GPT и может быть получиться создать внутри него платформу для текстовой игры.

Использовать Chat GPT-4 в РФ можно через telegram бота. Доступ через api и дешевле, чем оф версия с сайта.