Профиль FABULAai на Пикабу

1

1 год назад

Alibaba Выпустила Новые Модели Qwen 2: Серьёзный Прорыв в Математических вычислениях и Аудио⁠⁠

На прошлой неделе компания Alibaba представила обновления своей линейки моделей Qwen 2, которые обещают заметные улучшения в математических вычислениях и работе с аудио. Эти релизы вызвали интерес не только среди специалистов, но и у широкого круга пользователей, особенно учитывая открытость проекта и доступность моделей.

Модель Qwen2-Math оказалась настоящим хитом. Версия с 7 миллиардами параметров обходит недавнюю Mathstral, а модель на 72 миллиарда параметров оставила позади все существующие аналоги, включая даже специализированную на математике версию Gemini. Это впечатляющее достижение, учитывая конкуренцию на рынке ИИ.

Особенность этого релиза в том, что, в отличие от многих конкурентов, которые предпочитают держать свои разработки под замком, Alibaba выложила все веса на платформе Hugging Face. Это значит, что каждый желающий может протестировать и использовать эти модели в своих проектах. Такой шаг не только подтверждает уверенность компании в качестве своего продукта, но и способствует развитию открытого ИИ-сообщества.

Вместе с математической моделью была представлена и новая аудиомодель Qwen2-Audio. Это уже второе поколение аудиомоделей от Alibaba, которое, по словам разработчиков, превосходит предшественников по всем параметрам. Новая модель поддерживает восемь разговорных языков, что делает её полезной для различных задач по обработке звука.

Однако есть одно но: Qwen2-Audio пока не умеет говорить — она способна только обрабатывать и генерировать текст. Это, конечно, шаг вперёд по сравнению с предыдущими версиями, но до полноценной мультимодальной модели, способной взаимодействовать с пользователем через голос, ещё далеко.

Релизы от Alibaba вызывают уважение не только своими техническими достижениями, но и открытостью к сообществу разработчиков. Тем не менее, остаются вопросы о том, насколько эти модели готовы к реальной эксплуатации и как они будут конкурировать с закрытыми решениями, которые не всегда доступны для широкой аудитории. В любом случае, Qwen2-Math и Qwen2-Audio — это серьёзная заявка на лидерство в области искусственного интеллекта, и за их развитием будет интересно наблюдать.

______________________________________

Всех, кто интересуется последними новинками из мира AI призываем подписываться на наш канал. А тех, кто уже сейчас хочет попробовать себя в роли нейрокреатора, приглашаем на наш сайт.

Показать полностью

1

0

FABULAai

1 год назад

Falcon Mamba: Новый шаг в развитии языковых моделей без механизма внимания⁠⁠

Технологический институт инноваций (Technology Innovation Institute, TII) из ОАЭ представил свою новую языковую модель Falcon Mamba, которая обещает стать серьёзным конкурентом для существующих моделей, основанных на трансформерах. Falcon Mamba построена на архитектуре Mamba, которая кардинально отличается от традиционных механизмов внимания, используемых в большинстве современных моделей.

Механизм внимания (attention), широко используемый в современных моделях, позволяет фокусироваться на важных частях данных, что значительно улучшает качество работы с текстом. Однако он требует больших вычислительных ресурсов, особенно при обработке длинных последовательностей. Falcon Mamba, напротив, использует архитектуру, которая обходится без этого механизма, сохраняя высокую производительность и эффективность даже при работе с длинными текстами.

Falcon Mamba была обучена на внушительном объёме данных (~5500GT), включая RefinedWeb и различные открытые источники технической информации и кода. Добавление слоев нормализации RMS обеспечивает стабильное обучение и высокую производительность модели.

При тестировании на стандартных бенчмарках, Falcon Mamba продемонстрировала результаты, сопоставимые с лучшими современными моделями, а в некоторых случаях и превосходящие их. Модель уверенно справляется с такими задачами, как генерация текста и обработка длинных последовательностей, при этом сохраняя высокую скорость работы и эффективность использования памяти.

Falcon Mamba доступна для использования в экосистеме Hugging Face, что делает её удобной для интеграции в различные приложения и исследования. Модель также поддерживает квантование с помощью библиотеки bitsandbytes, что позволяет запускать её на устройствах с ограниченными вычислительными ресурсами.

Для разработчиков доступны несколько версий модели, включая инструктивную версию, оптимизированную для выполнения заданий на основе инструкций. Модель может быть использована через стандартные API Hugging Face, а также поддерживает работу с функцией torch.compile для ускорения вывода.

Falcon Mamba — это важный шаг вперед в развитии языковых моделей, предлагающий новые возможности для работы с большими объемами данных и открывающий путь к созданию ещё более мощных и эффективных инструментов в области искусственного интеллекта.

______________________________________

Всех, кто интересуется последними новинками из мира AI призываем подписываться на наш канал. А тех, кто уже сейчас хочет попробовать себя в роли нейрокреатора, приглашаем на наш сайт.

Показать полностью

[моё] Искусственный интеллект Инновации Нейронные сети Текст

0

FABULAai

1 год назад

Новый Взгляд на Безопасность Языковых Моделей: Что Такого Важного в Llama Guard и Code Shield?⁠⁠

На YouTube появилось новое видео, посвящённое безопасности при работе с языковыми моделями (LLM). В нём рассказывается о таких инструментах, как Llama Guard 3 и Code Shield, которые обещают повысить уровень безопасности данных и кода. Но стоит ли им доверять, или это просто попытка создать видимость защищённости?

Llama Guard 3 — это инструмент, разработанный для фильтрации и модерации контента, который обрабатывают языковые модели. Его задача — не допустить утечек данных и защитить пользователей от потенциально опасных выходных данных. В теории, Llama Guard должен отсекать всё нежелательное, не позволяя модели сгенерировать что-то, что может навредить пользователю.

Ещё один инструмент, Prompt Guard, следит за тем, что вводится в систему. Он распознает попытки манипулирования моделью и старается их предотвратить.

Code Shield же помогает разработчикам выявлять уязвимости в коде, который генерируется LLM. С ростом популярности языковых моделей для написания программного обеспечения, необходимость в таком инструменте становится всё более очевидной.

В видео также говорится о важности защиты на системном уровне. Это означает, что безопасность должна охватывать не только данные, но и всю инфраструктуру, в которой работают языковые модели. С одной стороны, это звучит логично и необходимо. С другой — остаётся вопрос: насколько надёжны эти меры, и не создают ли они ложное ощущение безопасности?

Языковые модели всё ещё остаются непредсказуемыми системами, и ни один инструмент не сможет полностью гарантировать, что они всегда будут действовать корректно. Есть риск того, что разработчики и пользователи начнут чрезмерно полагаться на эти инструменты, упуская из виду потенциальные уязвимости.

Разработчики представленных инструментов делают ставку на модульность. Llama Guard и Code Shield можно интегрировать в различные приложения, адаптируя защиту под конкретные нужды. Это звучит как отличное решение, но на практике может стать дополнительной нагрузкой на разработчиков. В конечном итоге, настройка безопасности ложится на их плечи, и не всегда у них есть нужные ресурсы или опыт, чтобы справиться с этой задачей.

Для тех, кто хочет разобраться во всём самостоятельно, предлагаются открытые ресурсы на GitHub. Это, безусловно, плюс — каждый может настроить защиту под себя. Однако без достаточного опыта такой подход может принести больше проблем, чем пользы.

Также в видео упоминается стандарт оценки безопасности CYBERSECEVAL, который помогает определить, насколько эффективно работают инструменты защиты. Но, как и любой стандарт, он не даёт полной гарантии — особенно в быстро меняющемся мире искусственного интеллекта.

Хотя инструменты, такие как Llama Guard и Code Shield, представляются полезными, стоит помнить, что они не панацея. Языковые модели остаются сложными и непредсказуемыми, и полагаться исключительно на эти решения было бы рискованно. Разработчикам и пользователям важно сохранять критический подход и не забывать, что безопасность — это всегда процесс, а не конечная цель.

______________________________________

Всех, кто интересуется последними новинками из мира AI призываем подписываться на наш канал. А тех, кто уже сейчас хочет попробовать себя в роли нейрокреатора, приглашаем на наш сайт.

Показать полностью

[моё] Искусственный интеллект Инновации Текст

0

3

FABULAai

1 год назад

Марио и Луиджи в стиле "Бегущего по лезвию" (FLUX.1 завоёвывает Text2Image арену)⁠⁠

Недавно в мире генеративных моделей изображения произошло важное событие: FLUX.1 от Black Forest Labs уверенно заняла лидирующие позиции на Text to Image арене, обойдя многих конкурентов. Для тех, кто ещё не в курсе, эта арена — место, где соревнуются самые продвинутые алгоритмы по созданию изображений из текста. Результаты говорят сами за себя: FLUX.1 [pro] лидирует с впечатляющим рейтингом и высоким процентом побед.

Depict Mario and Luigi in a neon-drenched, dystopian future inspired by 'Blade Runner'. Instead of the bright and cheerful Mushroom Kingdom, transform the environment into dark, rain-soaked streets illuminated by neon signs and holographic advertisements

Интересно отметить, что даже урезанная версия FLUX.1 [schnell], лицензированная по Apache 2.0 и доступная для свободного использования, показала отличные результаты. Она уступает по качеству лишь легендарной MidJourney v6, но при этом остаётся на уровне лучших моделей от крупных разработчиков, таких как OpenAI и Stability.ai.

Create a scene of the Mushroom Kingdom reimagined as a dystopian metropolis. The once lush green landscapes are now sprawling urban environments with towering buildings, all lit by neon signs. The iconic Toadstool houses are now sleek, metallic structures

Эта новость сразу привлекла внимание профессионального сообщества. Ведь FLUX занял позицию лидера буквально за считанные недели. Вероятно, успех модели объясняется её мощной архитектурой и гибкостью использования, что делает её одинаково привлекательной как для энтузиастов, так и для профессионалов.

Illustrate an epic showdown between Mario and Luigi and a massive, robotic Bowser in the heart of the city. Robo-Bowser is a towering mechanical beast with glowing red eyes and heavy armor plating. His breath is a searing laser beam, cutting through the...

Конечно, мы не могли остаться в стороне и решили протестировать FLUX.1 на практике. Для этого мы попросили нейросеть нарисовать: "Марио и Луиджи в стиле 'Бегущего по лезвию'". (результат вы можете наблюдать в посте).

Portray the underground sewer system of this cyberpunk world, now a labyrinth of neon pipes and industrial machinery. Mario and Luigi navigate through the maze, their path lit by glowing green and red pipes. Strange, cybernetic Piranha Plants emerge from..

Результаты впечатляют: FLUX.1 сумела передать не только характеры персонажей, но и атмосферу знаменитого фильма, добавив к нему собственные, уникальные штрихи. Это ещё одно доказательство того, что генеративные модели становятся всё более совершенными и могут удивлять нас новыми, неожиданными интерпретациями знакомых сюжетов.

Depict a serene yet haunting scene where Mario and Luigi stand before a massive, holographic projection of Princess Peach. She appears as a digital ghost, with glitchy effects and faint pixelation, her image flickering as if she’s part of the city's...

Таким образом, FLUX.1 продолжает уверенно набирать популярность, привлекая внимание как профессионалов, так и обычных пользователей. Очевидно, что эта модель будет задавать тон в сфере генерации изображений ещё долгое время.

______________________________________

Всех, кто интересуется последними новинками из мира AI призываем подписываться на наш канал. А тех, кто уже сейчас хочет попробовать себя в роли нейрокреатора, приглашаем на наш сайт.

Показать полностью 6

[моё] Искусственный интеллект Нейронные сети Flux Длиннопост

1

FABULAai

1 год назад

Новый инструмент для генерации палитр: революция в мире дизайна⁠⁠

Крайне полезный нейросетевой инструмент для дизайнеров! Артефакт, доступный по ссылке, позволяет генерировать цветовые палитры, которые могут быть использованы как референсы при создании изображений в популярной платформе MidJourney.

Автор этого артефакта, известный в сети под ником DreamingTulpa, поделился своей разработкой в социальных сетях, получив множество положительных откликов. Однако на этом его работа не закончилась — вскоре он представил новую версию генератора, которая стала ещё более впечатляющей.

В своём новом проекте, также доступном на платформе Claude, DreamingTulpa пошёл дальше и создал генератор палитр на базе картинок. Этот артефакт можно найти здесь. Теперь пользователи могут загружать изображения и получать на их основе уникальные палитры, идеально подходящие для их проектов в MidJourney и других дизайнерских инструментах.

Автор этих инструментов дарит дизайнерам новый уровень свободы в выборе и создании цветовых композиций. Его разработки могут стать настоящей находкой для тех, кто стремится к совершенству в своих работах. Это поистине революционное решение, которое может существенно упростить и ускорить процесс работы, одновременно открывая новые горизонты для творческого самовыражения.

Для дизайнеров, которые ценят оригинальность и стремятся к созданию уникальных проектов, этот артефакт станет незаменимым инструментом. Все же нейроредакторы теперь не просто платформы для генерации изображений, а настоящий источник вдохновения, где можно черпать идеи и воплощать их с помощью таких инновационных решений.

______________________________________

Всех, кто интересуется последними новинками из мира AI призываем подписываться на наш канал. А тех, кто уже сейчас хочет попробовать себя в роли нейрокреатора, приглашаем на наш сайт.

Показать полностью 1

[моё] Искусственный интеллект Нейронные сети Компьютерная графика Графический дизайн Арт Видео Без звука Длиннопост

2

FABULAai

1 год назад

Brainstorm with Gemini: искусственный интеллект теперь и на YouTube⁠⁠

YouTube начал тестировать новую функцию под названием Brainstorm with Gemini, которая обещает стать мощным инструментом для видеоблогеров. Этот инструмент, разработанный на основе ИИ-модели Google Gemini, поможет авторам находить идеи для новых видео, придумывать заголовки и создавать миниатюры, делая процесс создания контента более простым и эффективным.

Для успешного подкаста, блога, аккаунта в соцсетях или бизнеса важны две составляющие: регулярность и качественные идеи. Планировщики помогают с регулярностью, а чат-боты на основе ИИ — с генерацией идей.

YouTube тестирует новую функцию Brainstorm with Gemini, интегрированную в YouTube Studio, о которой сообщили на канале Creator Insiders. Этот инструмент предлагает концепции, тренды и идеи для миниатюр, позволяющие улучшить производительность видео, что может принести больше просмотров и подписчиков, а значит и увеличить доход блогеров (и платформы).

Brainstorm with Gemini доступен пока лишь ограниченному числу пользователей в рамках небольшого эксперимента. Некоторые критики считают, что постоянное получение готовых идей может ослабить способность к самостоятельному творчеству. Поэтому YouTube планирует собрать отзывы перед тем, как принять решение о массовом внедрении функции.

На текущий момент, чтобы попробовать новую функцию, пользователи должны войти в YouTube Studio и ввести идею для видео в поисковой строке. После этого система предложит выбрать между существующим инструментом вдохновения и новым Brainstorm with Gemini.

На фоне конкуренции с другими платформами, такими как TikTok и Instagram, которые активно используют генеративный ИИ для создания цифровых аватаров, YouTube делает ставку на помощь авторам в создании контента. Brainstorm with Gemini может предоставить YouTube значительное преимущество, поскольку аналогичных инструментов у конкурентов пока нет. Кроме того, Google стремится интегрировать свои ИИ-технологии в популярные сервисы, чтобы побудить блогеров использовать их, а не обращаться к сторонним нейросетям, таким как ChatGPT от OpenAI.

Интересно отметить, что русские видеохостинги пока используют нейросети только для модерации. Однако на фоне замедления YouTube в России и перераспределения трафика, идея внедрения ИИ для упрощения процесса создания контента может стать актуальной для отечественных платформ. Если одна из российских площадок возьмёт пример с зарубежных коллег и предложит своим пользователям аналогичный инструмент, это, безусловно, выведет её в ТОП на российском рынке.

______________________________________

Всех, кто интересуется последними новинками из мира AI призываем подписываться на наш канал. А тех, кто уже сейчас хочет попробовать себя в роли нейрокреатора, приглашаем на наш сайт.

Показать полностью 1

[моё] Нейронные сети Инновации YouTube

0

2

FABULAai

1 год назад

Метрополитен-музей решил войти в IT! Nomic Embed Vision — нейросеть, способная найти произведение искусства по описанию⁠⁠

Компания Nomic сделала значительный шаг вперед в области поиска произведений искусства, представив новые модели эмбеддингов, которые позволяют выполнять семантический поиск по изображениям и текстам. Теперь можно искать картины по запросам вроде "масло на холсте с цветами и собаками" в рамках конкретной коллекции — Метрополитен-музея, состоящей из 250 000 произведений.

Nomic запустил две новые версии моделей — Nomic Embed Vision v1 и v1.5. Эти модели преобразуют изображения и текст в единое цифровое пространство, что позволяет эффективно искать и анализировать данные по изображению и тексту одновременно.

Модели Nomic Embed Vision включают два ключевых компонента:

Vision Encoder: 92 миллиона параметров.
Text Encoder: 137 миллионов параметров.

Обучение моделей проходило на 1.5 миллиарда пар изображений и текстов, используя 16 мощных GPU. Это позволило достичь выдающихся результатов на бенчмарках, таких как Imagenet 0-Shot и Datacomp, обойдя по производительности существующие решения, такие как OpenAI CLIP.

Модели Nomic Embed Vision доступны под лицензией CC-BY-NC-4.0, что позволяет исследователям и разработчикам продолжать эксперименты. Вы также можете использовать Nomic Embed через AWS Marketplace или API для интеграции в свои проекты. Для получения дополнительной информации и доступа к моделям, посетите Nomic Embed API.

Nomic сделал важный шаг в развитии мультимодального поиска, предоставляя новые возможности для работы с произведениями искусства в рамках конкретной коллекции. Это открывает новые горизонты для поиска и анализа данных в области искусства.

______________________________________

Всех, кто интересуется последними новинками из мира AI призываем подписываться на наш канал. А тех, кто уже сейчас хочет попробовать себя в роли нейрокреатора, приглашаем на наш сайт.

Показать полностью 1

[моё] Искусственный интеллект Технологии Текст

0

FABULAai

1 год назад

FlexAttention: новый инструмент для работы с нейросетями от PyTorch⁠⁠

PyTorch анонсировала новый инструмент под названием FlexAttention, который призван сделать работу с нейросетями ещё проще и эффективнее. FlexAttention помогает моделям, таким как трансформеры, более точно и гибко обрабатывать важные данные, что позволяет улучшить производительность и точность нейросетей. Этот инструмент будет особенно полезен разработчикам и исследователям, которым теперь проще внедрять и тестировать инновационные идеи в моделях глубокого обучения.

FlexAttention – это мощный новый инструмент, разработанный для гибкого управления механизмами внимания (Attention) в нейросетях. Он обеспечивает исследователей и инженеров расширенным API для внедрения собственных вариаций и оптимизаций механизмов внимания, таких как Multi-Head Attention (MHA) и Self-Attention.

Примеры использования:

Self-Attention: Включает механизм внимания без модификаций.
Относительные позиционные кодировки: Адаптируют оценки внимания на основе относительного расстояния между элементами.
ALiBi Bias: Улучшает обобщающие свойства моделей на длинных последовательностях.
Soft capping: Предотвращает чрезмерный рост логитов.
Causal mask: Обеспечивает внимание только к предыдущим элементам последовательности.
Sliding Window и Causal Attention: Sliding Window (скользящее окно) разбивает длинные последовательности на перекрывающиеся фрагменты для обработки, а Causal Attention (каузальное внимание) обеспечивает, чтобы модель учитывала только предыдущие токены при предсказании следующего. Вместе эти методы позволяют эффективно обрабатывать и генерировать последовательные данные, сохраняя как локальные, так и каузальные зависимости.

FlexAttention allows for an user-defined function score_mod:

В отличие от существующих решений, таких как FlashAttention, которые фокусируются на оптимизации производительности конкретных реализаций внимания, FlexAttention предлагает гибкость для разработки и тестирования новых модификаций и архитектур с минимальной затратой времени на написание специализированного кода. FlexAttention позволяет автоматизировать создание оптимизированного CUDA-кода, что делает его полезным инструментом для исследования новых моделей, требующих как высокой производительности, так и гибкости в конфигурации механизмов внимания.

Этот инструмент поддерживает различные режимы внимания и может адаптироваться к различным задачам, будь то обработка текста, изображений или других типов данных. В конечном итоге FlexAttention предоставляет пользователям свободу в создании и тестировании новых архитектур нейросетей, что ускоряет инновации в области глубокого обучения.

______________________________________

Всех, кто интересуется последними новинками из мира AI призываем подписываться на наш канал. А тех, кто уже сейчас хочет попробовать себя в роли нейрокреатора, приглашаем на наш сайт.

Показать полностью 1

[моё] Искусственный интеллект Технологии

1