Русский ИТ бизнес
11 постов
makasin4ik
Пишу про наш небольшой ИТ бизнес в Питере здесь - https://t.me/bezsmuzi Занимаемся разработкой ПО, парсингом сайтов и т.п.
521К
рейтинг
203 подписчика
1 подписка
791 пост
226 в горячем
Награды:
Серии постов
Qwen2 - бесплатная ИИ от Китайских товарищей
Ранее отмечал, что стала доступна новая ИИ от Китайских товарищей (называется Qwen2, ссылку приводил ранее - код открыт). Мы ее попробовали в деле, на наших серверах и картах. Вот, что пишет могучий спец в ИИ наш:
"Я запустил на выходных ту модель с большим контекстом. Давал на вход 90 тысяч токенов, не жаловались. На счёт тестирования на сколько умная не знаю, до этого руки ещё не дошли. Но саммаризация и выжимка фактов более менее все уже должны справляться, а я про работу с json"
Главное модель работает с русским языком нормально и на наших картах (3060) тоже функционирует. Ключевое - контекстное окно 90 000 токенов - позволяет запулить в ИИ под 200 000 символов на русском языке. Вы же понимаете, насколько это иногда важно?
Берем книгу по ... токарному мастерству и шлем в ИИ текст с неким запросом. Насколько я представляю, это очень ценно для RAG систем (умных чат-ботов на основе ИИ, если упрощенно говорить).
Русский ИТ бизнес (https://t.me/bezsmuzi)
Запуск ИИ на своих серверах...
Думаю для тех, кто давно запускает ИИ у себя, этот пост бесполезен, а для новичков делюсь - мы запускаем на наших серверах + картах ИИ с помощью вот этого (https://ollama.com/) софта. Он сильно упрощает запуск нужной ИИ, довольно удобен, как ребята мне пишут. Выбираешь модель, скачиваешь софт и бинго - все работает условно из коробки.
Цитирую спеца:
"Есть модель, это всего лишь набор весов (словарь по простому). А есть софт на котором ты этот словарь будешь крутить, вот его много, с разными подходами. Вот он очень удобен. Раньше нам не подходил, не было мультизапросов, просто в очередь ставил. А теперь появились...А ещё там они удобно сделали, базу моделей нужного формата ведут. https://ollama.com/library"
Русский ИТ бизнес (https://t.me/bezsmuzi)
Показать полностью
1
