Для Apple Vision Pro появилось Navi — приложение, которое превращает иностранную болтовню в субтитры в реальном времени
Navi вслушивается в то, что говорит собеседник, и моментально транслирует это в субтитры на вашем языке прямо перед вами. Больше нет нужды уставиться в экран телефона, пытаясь понять, что было сказано
Модель под названием MLLM-Guided Image Editing (MGIE), которая использует мультимодальные модели большого языка (MLLM) для интерпретации текстовых команд при манипулировании изображениями. Простыми словами это инструмент, который имеет возможность редактировать фотографии на основе текста, введенный пользователем.
MLLM способны преобразовывать простые или двусмысленные текстовые подсказки в более подробные и четкие инструкции, которым может следовать сам фоторедактор. Например, если пользователь хочет отредактировать фотографию пиццы пепперони, чтобы «сделать ее более полезной», MLLM может интерпретировать это как «добавить овощную начинку» и отредактировать фотографию как таковую.
В пиццу входят овощные начинки, например помидоры и зелень.
Помимо внесения серьезных изменений в изображения, MGIE также может обрезать, изменять размер и вращать фотографии, а также улучшать их яркость, контрастность и цветовой баланс с помощью текстовых подсказок. Он также может редактировать определенные области фотографии и может, например, изменять волосы, глаза и одежду человека на ней или удалять элементы на заднем плане.
Как отмечает VentureBeat , Apple выпустила модель через GitHub , но желающие также могут опробовать демо-версию , которая в настоящее время размещена на Hugging Face Spaces. Apple еще не сообщила, планирует ли она использовать то, чему она научилась в результате этого проекта, в инструменте или функции, которую можно будет включить в любой из своих продуктов.
Приложение медицинской визуализации в Apple Vision Pro. 2D-снимки с КТ и МРТ превращаются в 3D-визуализацию.
Ранее Apple обсуждали с сотрудниками, что у гарнитуры есть перспективы в здравоохранении — например, в хирургии. В США первый медицинский центр уже закупил 30 Vision Pro для врачей.
Недавно компания Apple объявила о предстоящем представлении продуктивных функций искусственного интеллекта в своих устройствах. Тим Кук подчеркнул, что они вложили значительные усилия и время в разработку этой технологии. Без углубления в детали, он сообщил, что результаты этой работы будут представлены к концу текущего года.
"Хочу заметить, что мы продолжаем инвестировать в технологии, определяющие будущее. Среди них искусственный интеллект, на котором мы активно работаем, и мы с нетерпением ждем возможности поделиться деталями этой работы в конце года", - сказал Тим Кук.
Кроме того, различные источники сообщают, что версия iOS 18, выход которой запланирован в сентябре вместе с iPhone 16, будет самым крупным обновлением в истории Apple.