ChatGPT теперь может управлять компьютерами⁠⁠

Доброго дня!

Немного о проекте

Я запустил свой сервис удаленного доступа в январе этого года (вот статья на пикабу), который на тот момент мог получать полную информацию о компьютере, управлять процессами, программами, питанием и выполнять произвольные команды удаленно на Linux и Windows. С тех пор я обновил клиент (уменьшил размер, увеличил стабильность и быстродействие), добавил функцию визуального управления из браузера десктопа или мобильного устройства, добавил авто обновление, перевел сервис на 12 языков и закрыл много багов.

К сути

Сегодня я подготовил для вас ещё одно интересное обновление, а именно интеграцию вашего компьютера с ChatGPT. Теперь стало возможно автоматизировать работу и улучить производительность как системных администраторов, так и помочь продвинутым пользователям в управлении своим устройством.

Пару слов о том, как это работает: открывается станция (компьютер) в панели управления в браузере, запускается чат и оправляется запрос на сервер проекта, там формируется промт и выполняется запрос, ответ на который передается клиенту, оформляется в виде текста или команды, которую “ИИ” предлагает выполнить. Пользователь подтверждает или уточняет действие, затем команда подписывается ключом клиента и отправляется на сервер, где идет проверка на подлинность, затем отправляется непосредственно на клиент программы, который так же сверяет подпись, выполняет действие и отправляет результат обратно.

Так выглядит проверка перед выполнением:

Так выглядит результат другого запроса, когда перестала работать печать а гуглить и делать вручную не хочется:

В проекте Куско интеграция на текущий момент ограничена командной строкой, поэтому результат выдаваемый ассистентом должен быть соответствующе экранирован, иногда могут попадаться ошибки, которые так же предлагается отправить для их устранения:

Какие возможности существуют у “ИИ” при управлении компьютером?

А вот это самая сложная часть. Их очень много. Конечно на данный момент, пока подключена модель GPT 3.5 Turbo они немного ограничены, ответы приходят иногда совсем не те, что ожидаешь, но её уже можно использовать, желательно проверяя вывод.

Вот некоторые их них:

От идеи до реализации у меня ушло около 4 дней, времени обдумать запросы, что бы показать вам широту возможностей не было — надеюсь вы поможете мне с этим, присылайте свои варианты в чат проекта!

Автоматизация

Добавил в настройках несколько фич, таких как автоматизация подтверждения команд и отправку ошибок:

А так же возможность отображать сгенерированный “ИИ” HTML код, отступы в примере ниже — это тоже часть кода:

Если вам понравится это направление - то я готов его развивать, например на данный момент результат можно улучшить предоставив “ИИ” дополнительные функции для управления — для увеличения возможностей и сокращения количества ошибок, улучшить промты, сделать сверстку в контекст, добавить возможность искать информацию в интернете, как в plus версии, а может быть у вас будут какие идеи? Напишите о них в разделе чата “Идеи”.

А самое главное чего стоит ждать это открытие GPT 4 API для широкой аудитории. По моему мнению (в браузерной версии) он намного превосходит упрощенную модель и уже может стать хорошим помощником в рутинных задачах.

Если вы хотите поддержать проект - можете прислать донат по адресу указанному на сайте или положить денег на свой счет в панели управления. Буду очень рад вашей помощи!

Сайт cusco-remote-control.com

Телеграм чат для обсуждения cusco_rc_group_ru

Канал, где публикуются все новости проекта cusco_rc_channel_ru