Как нейросеть управляет компьютером

Новая версия ИИ не просто реагирует на команды, а перемещает курсор, прокручивает страницы, нажимает кнопки и заполняет формы на веб-сайтах — как реальный пользователь.

Так, представитель компании Anthropic Сэм Рингер в видео показал, как Claude 3.5 Sonnet проводит анализ данных, самостоятельно находит нужную информацию и вводит её в онлайн-формы.

Эта новая функция может упростить взаимодействие с корпоративными программами, ведь она автоматизирует рутинные задачи, на которые у сотрудников, как правило, уходит много времени.

Другие ИИ, которые могут управлять компьютером вместо человека

Copilot

Ещё ранее Компания Microsoft выпустила обновление для чат-бота Copilot. В обновлении от 20 февраля говорится, что теперь Copilot умеет делать почти всё.

• Показывать доступные сети Wi-Fi.

• Предоставлять информацию о компьютере пользователя и состоянии аккумулятора.

• Включать режим экономии заряда на ноутбуках.

• Очищать корзину.

• Переключаться между светлой и тёмной темами.

• Делать скриншоты.

• Включать режим «Не беспокоить».

• Менять громкость

• Ну и конечно же, открывать нужное приложение.

Чат-бот также умеет управлять функциями для людей с ограниченными возможностями, среди которых голосовой ввод, изменение шрифта, повышение контрастности и многое другое.

Звучит просто фантастически! Но почему эта новость ранее так не взорвала интернет, как это сделало обновление Claude? Потому что все эти функции ещё никому не доступны, кроме тестировщиков. А когда мы сможем использовать управление компьютером от Copilot — неизвестно :(

Project Jarvis

У Google тоже есть ИИ-шка, которая возьмёт на себя управление компьютером. Но пока только в процессе.

Говорят, этот инструмент появится в браузере Chrome под кодовым названием Project Jarvis. Новая гугловская нейросетка будет выполнять всё, что скажет пользователь: заполнять формы, нажимать кнопки, открывать веб-страницы, объединять поисковые данные в таблицы, покупать продукты на сайтах или бронировать авиабилеты. Что ж, ждём!

OpenAI

Нейрогигант также работает над системой, которая сможет автономно использовать компьютер и браузер. Но сроки и её возможности пока неизвестны.

Ну что, объявляем новый нейротренд?

Когда можно попробовать

Новый Claude 3.5 Sonnet уже может использовать любой пользователь. Если вы разработчик, то можете поиграться с функцией управления компьютером через API Anthropic, Amazon Bedrock или Google Cloud's Vertex AI.

Что нас ждёт дальше

Нейросетки учатся работать с компьютером почти как человек! Конечно, пока есть сложности — даже простая прокрутка страницы может стать проблемой. Но прогресс просто поражает.

Забавно представить, что будет дальше. Вдруг через год ИИ-помощник Claude начнёт обставлять нас в компьютерных играх? Звучит как шутка, но в мире технологий возможно всё!

Компания Anthropic честно признаёт: их ИИ пока только учится управлять компьютером. Это как ребёнок, который делает первые шаги, — осторожно и не всегда уверенно. Поэтому они советуют начинать с простых задач и просят пользователей делиться своими впечатлениями, чтобы сделать систему лучше.

Но мы не сомневаемся, что они покажут хорошие результаты по части управления компьютером. Так как уже долгое время их нейросети не сдают позиции и находятся на месте лучших среди всех нейросетей. Даже обгоняют популярный ChatGPT.

Заключение

Некоторые пользователи переживают, что нейронка может слить данные или занести вирус, раз умеет управлять компьютером. Но компания подошла к вопросу серьёзно и, прежде чем выпустить Claude, провела двойную проверку — пригласила экспертов сразу из двух стран. Специалисты из США и Великобритании внимательно изучили систему и убедились, что она безопасна.

Волноваться точно не о чем. Сейчас Claude напоминает новичка, который только-только учится работать с компьютером. А система защищена, и ей не нужны данные пользователей. Так что до зловещего искусственного интеллекта ему очень далеко!