UserLM-8b позиционирует себя как пользователя, способного спорить, уточнять и ошибаться.
Модель создана для проверки ИИ - ассистентов в реальных разговорах
Анализирует, что сказал бы такой пользователь в начале
Отвечает на реплики помощника
Завершает разговор только после человеческого согласия
Сферы использования UserLM-8b :
Исследователи, проверяющие и обучающие ассистентов
Моделирование разных стилей общения
Точное оценивание поведения ассистента с разными 'типами' пользователей
Как начать работу с UserLM-8b
Фрагмент кода для использования модели:
from transformers import AutoTokenizer, AutoModelForCausalLM import torch # Load the model and tokenizer model_path = "microsoft/UserLM-8b" tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True).to("cuda") # Create a conversation messages = [{"role": "system", "content": "You are a user who wants to implement a special type of sequence. The sequence sums up the two previous numbers in the sequence and adds 1 to the result. The first two numbers in the sequence are 1 and 1."}] inputs = tokenizer.apply_chat_template(messages, return_tensors="pt").to("cuda") end_token = "<|eot_id|>" end_token_id = tokenizer.encode(end_token, add_special_tokens=False) end_conv_token = "<|endconversation|>" end_conv_token_id = tokenizer.encode(end_conv_token, add_special_tokens=False) outputs = model.generate( input_ids=inputs, do_sample=True, top_p=0.8, temperature=1, max_new_tokens=10, eos_token_id=end_token_id, pad_token_id=tokenizer.eos_token_id, bad_words_ids=[[token_id] for token_id in end_conv_token_id] ) response = tokenizer.decode(outputs[0][inputs.shape[1]:], skip_special_tokens=True) print(response)
Недостатки:
Модель придумывает лишние детали, которых не было в задании.
Так как модель была обучена на английском языке, на других - непредсказуема, так же защита от атак по типу prompt injection не реализована.
В сравнении с другими моделями UserLM-8b показала наиболее естественные реплики и диалог 'без сбоев'
Модель не предназначена для повседневных задач, например генерации текста или видео. В сфере генераций лучшей платформой является UmaAI, так как она работает быстро, без vpn, стоит в несколько раз дешевле зарубежных конкурентов и имеет удобную оплату