Незадолго до релиза в новой функции от Microsoft нашли дыру в безопасности. Речь идёт о функции Recall на базе искусственного интеллекта.

В чём суть: с помощью Recall можно автоматически создавать скриншоты всего, что Вы делаете на своем устройстве и потом пересматривать историю как фотоальбом. На шкале сверху двигаете бегунок, а ниже листаются скрины. Вроде удобная функция, можно быстро найти нужную страницу, но, как в старом анекдоте про Петьку, есть один нюанс.

Оказывается, что Recall хранит собранные данные на устройстве пользователя… в виде текста! Обычного текста. Скриншоты записываются в базу данных SQLite на вашем компьютере. Причем эта функция пока что не умеет находить и замазывать пароли, а значит и коды доступа потенциально могут храниться в файлике на компьютере. Безопасность? Нет, не слышали.

Вот такой подарок для потенциальных злоумышленников. Новость вызвала резонанс, и теперь все ждут, что в Microsoft скажут на этот счёт. Масла в огонь подлил факт, что Recall является частью новых компьютеров Copilot Plus, релиз которых был запланирован на 18 июня. В целом, у команды разработчиков ещё есть время залатать дыру в кибербезопасности.

Nvidia доказывает, что во времена золотой лихорадки надо продавать лопаты и кирки

В Nvidia празднуют рост: рыночная капитализация компании к началу июня совершила скачок вверх аж на 35% и достигла 3 триллионов долларов, что не намного меньше Microsoft, а в течение нескольких дней было больше, чем у Apple (сейчас Nvidia снова откатилась на третье место, но битва среди топ-3 очень обострилась). Энтузиазм инвесторов подкрепила новость о дроблении акций. Но основная причина такого ралли заключается всё же в вере в спрос на чипы, которые нужны для работы и развития технологий искусственного интеллекта.

Первенство по объёму рыночной капитализации пока сохраняет Microsoft с 3,15 триллионами долларов. Инвесторы ожидают, что акции и прибыль компании продолжат расти так же из-за искусственного интеллекта.

На втором месте находится Apple с её ростом в мае-начале июня почти на 15% до 3 триллиона долларов. Таким образом, Nvidia выбилась на третье место и иногда заходит на второе в списке лидеров по рыночной капитализации, и все эти три “слона” стоят на “черепахе” по имени AI.

К 2030 году ИИ будет пожирать 10% электроэнергии в США.

Обработка простого промта в Chat GPT требует в 10 раз больше электроэнергии, чем поисковый запрос в Google. А теперь представьте, сколько энергии нужно для генерации фото и видео.

Теперь к новости: в США выяснили, что к 2030 году центры обработки данных могут использовать до 9% всей электроэнергии, вырабатываемой в стране. В Научно-исследовательском институте электроэнергетики заявили, что один новый центр будет нуждаться в таком же количестве электричества, что и 750 000 жилых домов. Эксперты опасаются, что могут начаться перебои в работе электросетей и вырасти счета.

Всю эту движуху можно наложить на растущие требования по чистоте электроэнергетики, и получится, что энергии нужно значительно больше, и она должна быть дороже. Всё это рано или поздно ляжет на плечи рядового потребителя.

Заключение

На этом на сегодня всё. Если вам интересно знать про ИИ и машинное обучение больше, чем рядовой человек, но меньше, чем data scientist, то подписывайтесь на мой канал в Телеграм. Я пишу редко, но по делу: AI для чайников. Подписывайтесь!

Продолжаем новости об Nvidia.

Спрос на H100 уменьшился в 3 раза. Теперь покупка партии для компаний составляет 3-4 месяц, как в конце 2023 составляло 8-12.

На это есть три причины

1. Такие гиганты как Amazon, Microsoft насытились арендными мощностями и им нет смысла покупать H100

2. Слухи о выходе H200 во втором квартале 2024. Она даст прирост мощности связанных с нейросетями от 1,4 до 1,7 раз в зависимости от модели

3. 26 февраля Micron объявили о старте производства новой HMB3E памяти, которая уже будет на H200. Вкрации, новые чипы будут до 30% энергоэффективнее аналогов и обеспечивать пропускную способность более 1,2 Тб/с.

Nvidia недавно выпустила отчет о прибылях и убытках. В нем прогнозируется сохранение спроса на продукцию, что привело к увеличению ее рыночной капитализации до 1,97$ трлн.

А в мае прошлого года капитализации была всего лишь 1$ трлн. То есть за год рост вдвое, что немыслимо с крупными компаниями. Причина - монополия на рынке ускорителей для ИИ, не имеющих аналогов в мире.

Сам Дженсен Хуанг (ген дир) верит в превосходство ИИ над программистами - им сможет стать любой. Достаточно научиться промпт-инжинирингу.

Так что вкладываемся в акции Nvidia и становимся миллионерами). Но последнее высказывание спорно, кто будет создавать новые модели ИИ? Кто будет их обслуживать?

Немецкие учёные сделали нейронку Swift для FPV-дронов. Победила чемпионов мира в 15 из 25 гонок.

Компартия Китая разрешила Baidu запустить текстовую нейронку Ernie для всех, что та и сделала. Чат доступен на сайте и в мобильных приложениях.

Приложение Baidu с ботом Ernie вышло в топ Apple App Store. Акции компании +3%.

# Software
▸[4] Поиск Google теперь размывает NSFW картинки. Отключается в настройках SafeSearch.

▸[5] Юзеры с платной подпиской соцсети X могут скрывать свои лайки.

▸[6] Google Play удалил клиенты FlyGram для Telegram и Signal Plus для Signal, которые посылали сообщения через мутный сервер-посредник. В Samsung Galaxy Store они всё ещё доступны.

▸[7] Дудлам Google 25 лет!

▸[8] Релиз нейронки Substack: пишет стенограмму подкаста.

▸[9] Бета-версия Google Chat умеет посылать и принимать сообщения из Slack и Microsoft Teams. Релиз в начале следующего года.

▸[10] Chrome больше не поддерживает ссылки с номером телефона.

▸[11] VK научился показывать субтитры во время видеозвонков.

▸[12] Microsoft закрывает Visual Studio для Mac. Обновления будут выходить ещё год.

▸[13] Firefox 117 научился переводить текст на странице. Функция включается в настройках.

▸[14] Маск обещает добавить видеозвонки в X.

# Hardpron
▸[15] NVMe Gigabyte Aorus Gen5 12000: 2 Тб, чтение 12 400 Мбайт/с, запись 11 800, PCIe 5.0. Даты и цены нет.

▸[16] Наушники JBL Soundgear Sense: затычки без шумодава, ведь компания заявляет, что люди хотят слышать мир вокруг. Батарейка на 6 часов + 18 в кейсе. Цена 150 €.

▸[17] Наушники JBL Live 770NC: накладные, шумодав, ведь люди не хотят слышать мир вокруг, батарейка на 65 часов. Цена 180 €.

▸[18] Колонки JBL Authentics: на борту Alexa и Google Assistant, которые слушают одновременно. Цены: портативная версия с батарейкой на 8 часов за 430 $, стационарные 330 и 700 $.

▸[19] Колонка JBL PartyBox Ultimate: 6 динамиков, Dolby Atmos, компания говорит, что хватит на два баскетбольных поля. Цена 1700 $.

▸[20] Инженеры Intel соединили оптоволокном ядра разных процов в сеть с пингом менее 400 наносекунд. В теории, можно объединить до 1 млн ядер. Название ещё не придумали. Получили ли премию не уточняется.

▸[21] Мышь Corsair Scimitar RGB Elite: 26 000 DPI, 650 IPS, батарейка на 120 часов без подсветки, 16 кнопок, вес 114 г. Цена 130 $.

▸[22] Ноутбук HP Pavilion Plus 16: 16,5" OLED 2,5K @ 120 Гц, в топе Core i7-13700H, RTX 3050, DDR5 на 16 Гб, ПЗУ 1 Тб, Wi-Fi 6, батарейка на 11 часов. Характеристик конфигураций слабее нет. Цена от 1000 $. Версия 14" с Ryzen 7 от 850 $. В продаже в сентябре.

▸[23] Саундбар Sennheiser Ambeo Mini: 250 Вт, Dolby Atmos, микрофоны для калибровки звука. Цена 800 $.

▸[24] Наушники JLab Jbuds Mini: затычки без шумодава, батарейка на 5 часов + 20 в кейсе размером с брелок. Цена 40 $.

▸[25] Рюкзак-ПК Zotac VR GO 4.0 (2023): Core i7-11800H, RTX A2000 на 8 Гб, DDR4 на 16 Гб, ПЗУ 512 Гб, вес 4,5 кг, две батарейки на 1 час с горячей заменой. Цена 3700 £.

▸[26] Наушники Jabra Elite 10 и 8: затычки с новым материалом берушей, шумодав с несколькими режимами, которые он меняет сам, батарейка на 6 часов + 27 в кейсе. Цены 250 и 200 $. В продаже в сентябре.

▸[27] Видеокарты Sapphire Radeon RX 7800 XT и RX 7700 XT, версии Nitro+, Pulse и Pure: характеристик нет, но питание у Nitro +10% и +3%, чем у стоковых. Даты и цены нет.

# Business
▸[28] Британия отменила 1100 авиарейсов в понедельник из-за компьютерного сбоя. Авиаотрасль потеряла 100 млн £. По слухам, причиной стала подача некорректного плана полёта французской авиакомпанией.

▸[29] HP, Dell, Lenovo, ASUS и ещё 28 компаний подали заявки на субсидии для строительства заводов ноутбуков в Индии. Всего страна выделила 2 млрд $, кто получит ещё неизвестно.

▸[30] Годовые подписки PlayStation Plus подорожали на +20, +35 и +40 $.

▸[31] Intel инвестирует 1,2 млрд $ в заводы чипов в Коста-Рика.

▸[32] Адвокат Сэма Бэнкмана-Фрида, основателя криптобиржи FTX, жалуется, что у клиента слабая батарейка ноутбука и низкая скорость интернета в тюрьме, из-за чего тот не может подготовиться к суду. Просит выпустить под залог.

▸[33] Bosch купил завод чипов TSI Semiconductors в США и переименовал в Robert Bosch Semiconductor. Во сколько обошёлся не говорит. Собирается вложить в развитие 1,5 млрд $.

▸[34] Супермаркет Walmart внедрил для 50 000 офисных сотрудников нейронку, которая пишет краткую версию документов. Кто её сделал не говорит.

▸[35] Nvidia: власти США запретили нам поставлять чипы A100 и H100 в некоторые страны Ближнего Востока. В какие сказать не можем.

▸[36] Презентация Made by Google пройдёт 4 октября. Покажут новые Пиксели.

▸[37] Activision купил лицензию на нейронку Modulate ToxMod, которая выявляет токсичных игроков в голосовом чате. Хочет внедрить в Call of Duty.

▸[38] Московский городской педагогический университет разрешил студентам пользоваться нейронками для написания курсовых и дипломных работ.

▸[39] IBM вновь разрабатывает системы распознавания лиц, которые в 2020 клянулась больше не делать из-за протестов Black Lives Matter. Британия заказала в прошлом месяце такую за 69,8 млн $.

_______________
# Alt stream
redirect(ntab.telegram);

Когда дело доходит до автоматического создания изображений на основе собственных идей, на помощь приходят две самых популярных среди пользователей нейросети — DALL-E 2 и Midjourney. Обе являются инструментами, способными создавать реалистичные изображения с хорошим качеством. Эти ИИ обычно понимают, чего вы хотите, и пытаются генерировать новые изображения, в том числе что-то похожее на конкретный пример, но часто можно увидеть, что результат совершенно не соответствует запросам. Что ж, это изменится с новой моделью от NVIDIA — Perfusion, нейросетью, которая позволяет создавать изображения из описаний на естественном языке.

В отличие от своих тяжеловесных конкурентов, Perfusion выделяется компактным размером моделей всего в 100 КБ и 4-минутным временем обучения. Perfusion предлагает пользователям возможность комбинировать различные настраиваемые элементы с набором изображений, которые функционируют как «концепции». Модель способна изучить «концепцию» объекта (например, вещи, животного или человека), а затем генерировать эти концепции в новых сценариях.

❯ Всё дело в концепции

Модель преобразования текста в изображение (T2I) — это алгоритм машинного обучения, который позволяет пользователям писать подсказки на естественном языке для создания изображения, сгенерированного ИИ. Модели T2I предлагают новый уровень гибкости, позволяя пользователям управлять творческим процессом. Однако персонализация этих моделей в соответствии с визуальными концепциями, предоставленными пользователями, остаётся сложной проблемой. Задача персонализации T2I ставит перед собой множество сложных задач, таких как поддержание высокой визуальной точности, объединение нескольких персонализированных концепций в одном изображении и сохранение небольшого размера модели. Perfusion может решить эти задачи.

Основная фишка Perfusion заключается в его новой технике Key-Locking («блокировка ключей»). Связывая определённые концепции с другими концепциями во время создания изображений, Perfusion может создавать больше версий начальной концепции, сохраняя при этом её суть. Это позволяет пользователям персонализировать изображения с помощью определённых объектов, например, таким как «кот», сохраняя при этом уникальные характеристики, которые определяют конкретного «кота».

Блокировка ключей смягчает проблему переобучения, из-за чего модели сложно создавать новые версии идеи, потому что она тесно связана с изображениями, на которых она изначально обучалась. Perfusion корректирует математические преобразования, превращающие слова в картинки. Key-Locking позволяет модели связывать конкретные запросы пользователей с более широкой категорией или «надкатегорией». Например, запрос на создание кота побудил бы модель сопоставить термин «кот» с более широкой категорией «кошачий». После этого выравнивания модель обрабатывает дополнительные сведения, предоставленные в текстовом запросе пользователя.

Привязав нового кота к общему понятию «кот», модель может изобразить кота во многих различных позах, внешности и окружении. Но кот по-прежнему будет сохранять свою «кошачесть», которая делает его похожим на определённого кота, а не просто на случайного Барсика. Например, можно добавить концепцию «шляпа» к концепции «кот» и «блокировать ключ» общей концепции «кот в шляпе». Любое переобучение происходит на основе введённых новых концепций, а не всей модели, что означает меньшую потребность в дорогостоящих вычислительных мощностях и хранилищах.

Проще говоря, Key-Locking позволяет ИИ гибко отображать персонализированные концепции, сохраняя при этом их основную идентичность. Это всё равно, что давать художнику следующие указания: «Нарисуй моего кота Тома, когда он спит, играет с мячиком и нюхает цветы».

Еще одно преимущество модели Perfusion заключается в её адаптивности. В зависимости от требований пользователя модель можно настроить так, чтобы она строго соответствовала текстовой подсказке, или предоставить определённую степень творческой свободы в своих выходных данных. Эта универсальность гарантирует, что модель может быть точно настроена для получения результатов, варьирующихся от точных до более общих, в зависимости от конкретных потребностей пользователя.

Это позволяет пользователям легко исследовать фронт Парето (сходство текста и сходство изображений) и выбирать оптимальный компромисс. Важно отметить, что обучение модели требует некоторой ловкости. Слишком сильное сосредоточение на воспроизведении модели приводит к тому, что модель снова и снова выдает один и тот же результат, а слишком точное следование текстовому запросу без какой-либо свободы обычно приводит к плохому результату. Гибкость настройки того, насколько близко генератор следует запросу, является важной частью настройки.

Текстовый запрос преобразуется в серию кодировок. Каждое кодирование подаётся в модули перекрёстного внимания диффузионного шумоподавителя U-Net (фиолетовые блоки). U-Net демонстрирует, как кодирование текста влияет на пути ключа и значения

❯ Меньше значит лучше

Perfusion основывается на Stable Diffusion с дополнительными механизмами для захвата и одновременного создания нескольких «концепций». В отличие от существующих генераторов изображений, которые изучают концепции изолированно, Perfusion позволяет нескольким персонализированным концепциям сосуществовать в одном изображении с естественным взаимодействием. Эта открывает перед художниками новые возможности для экспериментов и создания уникального визуального контента.

Perfusion может обеспечить более анимационные результаты с лучшим сопоставлением подсказок и меньшей восприимчивостью к фоновым чертам исходного изображения. Для сравнения для каждой концепции прилагаются образцы из обучающего набора, а также сгенерированные изображения, их кондиционирующие тексты с текущих методов Custom-Diffusion, Dreambooth и Textual-Inversion.

Другие генераторы AI изображений тоже могут предлагать варианты тонкой настройки, но их громоздкий размер может быть недостатком. Самые популярные модели T2I, в том числе Stable Diffusion и Dall-E, имеют миллиарды параметров, что означает, что они занимают несколько гигабайт в автономном режиме. Для Perfusion требуется всего 100 КБ пространства, что является впечатляющим достижением по сравнению с Midjourney, для которого требуется более 2 гигабайт хранилища. Сверхэффективный размер позволяет просто обновлять те части, которые нужны, по сравнению с методами, которые обновляют всю модель.

Для справки: LoRA — это популярный метод точной настройки, используемый в Stable Diffusion. Он может добавить к приложению от десятков мегабайт до более одного гигабайта. Другой метод, Textual-Inversion, легче, но менее точен. Модель, обученная с помощью Dreambooth, самого точного метода на данный момент, весит более 2 ГБ.

Эффективно блокировать концепции и уменьшать размер модели удаётся с помощью метода, называемого редактированием модели ранга-1. В современных моделях преобразования текста в изображение, основанных на Custom-Diffusion всегда есть текстовая подсказка, которая закодирована для извлечения соответствующей информации. Эта информация так или иначе добавляется, обычно через механизм перекрестного внимания к процессу генерации изображений, который является итеративным процессом. Редактирование ранга-1 контролирует то, что появляется в конечном изображении.

Качество изображения, создаваемое моделью Perfusion, примерно такое же, как у Stable Diffusion v1.5. С точки зрения эффективности, благодаря лёгкому объёму, эффективность модели Perfusion находится в «первом эшелоне» в отрасли.

Это всё ещё не идеально, но это большой шаг вперёд для моделей преобразования текста в изображение с полным контролем над генерацией. Здесь модель ещё борется с сохранением идентичности объекта, который ему отправляется. Объекта, который является «суперкатегорией», что иногда приводит к чрезмерному обобщению, поскольку некоторые суперкатегории слишком широки и включают много разных объектов или специфических стилей, которые не обязательно нужны. Объединение концепций пока ещё требует большого количества оперативной инженерной работы, что является ещё одной причиной научиться делать текстовые запросы лучше.

❯ Новый игрок

Инновации в Perfusion пользователям делиться своими персонализированными концепциями в виде небольших дополнительных файлов, избегая необходимости делиться громоздкими контрольными точками модели. Это также делает персонализацию моделей менее затратной, открывая больше возможностей для большего количества людей.

С точки зрения распространения, модели, адаптированные для конкретных организаций, легче распространять или развёртывать на периферии. По мере того, как практика преобразования текста в изображение становится всё более популярной, возможность добиться такого значительного уменьшения размера без ущерба для функциональности будет иметь первостепенное значение.

Однако важно отметить, что Perfusion в первую очередь обеспечивает персонализацию модели, а не саму полную генеративную способность. Несмотря на то, что этот метод многообещающий, он имеет некоторые ограничения. Авторы отмечают, что критический выбор во время обучения может иногда чрезмерно обобщать концепцию. По-прежнему необходимы дополнительные исследования, чтобы легко объединить несколько персонализированных идей в одном изображении.

Nvidia сообщила о планах выпустить код в будущем, что позволит более широко изучить и понять потенциал этой компактной нейронной сети. Хотя код Perfusion пока недоступен, заявленный авторами план подразумевает, что эта эффективная персонализированная система искусственного интеллекта может со временем попасть в руки разработчиков, отраслей и создателей.

Это исследование согласуется с растущим вниманием Nvidia к ИИ. По мере роста спроса на технологии искусственного интеллекта Nvidia стратегически позиционирует себя как доминирующего игрока в этой области. Акции компании выросли более чем на 230% в 2023-м году, поскольку её графические процессоры продолжают доминировать в моделях обучения ИИ. Учитывая, что такие компании как Google, Microsoft и Baidu, вкладывают миллиарды в генеративный ИИ, инновационная модель Perfusion от Nvidia может дать ей преимущество.

Помимо Perfusion, Nvidia также разработала Omniverse Audio2Face, инструмент, который позволяет создавать 3D-анимации из аудио. Кроме того, с начала года стало известно, что компания разрабатывает драйверы на основе ИИ для оптимизации производительности своих видеокарт.

Более подробная информация о Perfusion представлена на выставке SIGGRAPH 2023.

Больше интересных статей в нашем блоге на Хабре. Недорогие сервера для ваших проектов — здесь.

В настоящий момент стоимость каждого ускорителя NVIDIA H100 в зависимости от региона продаж и поставщика в среднем составляет $25–30 тыс. При этом речь идёт о менее дорогой PCIe-версии указанного решения. По оценкам Raymond James, стоимость использующегося в этом ускорителе графического процессора, а также дополнительных материалов (печатной платы и других вспомогательных элементов) составляет $3320. К сожалению, Ким не уточняет глубину анализа расчёта стоимости и не поясняет, включены ли в этот показатель такие факторы, как затраты на разработку, зарплата инженеров, а также стоимость производства и логистики.

Разработка специализированных ускорителей требует значительного времени и ресурсов. По данным того же портала Glassdoor, средняя зарплата инженера по аппаратному обеспечению в NVIDIA составляет около $202 тыс. в год. Речь идёт только об одном инженере, но очевидно, что при разработке тех же H100 работала целая команда специалистов, а на саму разработку были затрачены тысячи рабочих часов. Всё это должно учитываться в конечной стоимости продукта.

И всё же очевидно, что сейчас NVIDIA в вопросе поставок аппаратных средств для ИИ-вычислений находится вне конкуренции. На специализированные ускорители «зелёных» сейчас такой спрос, что они распродаются ещё задолго до того, как попадают на условные полки магазинов. Поставщики говорят, что очередь за ними растянулась до второго квартала 2024 года. А с учётом последних оценок аналитиков, согласно которым к 2027 году рынок ИИ-вычислений вырастет до $150 млрд, ближайшее будущее NVIDIA видится точно безбедным.

С другой стороны, для рынка в целом высокий спрос на ускорители ИИ-вычислений имеет свои негативные последствия. В последних отчётах аналитиков говорится, что продажи традиционных серверов (HPC) в глобальном масштабе сокращаются. Основная причина падения спроса заключается в том, что гиперскейлеры и операторы ЦОД переключают внимание на системы, оптимизированные для ИИ, в которых используются решения вроде NVIDIA H100. По этой причине тем же производителям памяти DDR5 пришлось пересмотреть свои ожидания относительно распространения нового стандарта ОЗУ на рынок, поскольку операторы ЦОД сейчас активно инвестируют именно в ускорители ИИ, а не в новый стандарт оперативной памяти. На фоне это ожидается, что уровень внедрения DDR5 достигнет паритета с DDR4 только к третьему кварталу 2024 года.

Источник:

• Tom's Hardware

https://3dnews.ru/1091667/nvidia-h100-1000-procentov-viruchk...