1 пост-ответ
Уже есть история, как нейросеть сломала серьезную защиту. Никто не пострадал, но факт есть. В следующий раз она сломает сервер ядерного реактора. Или ракетной базы. Зачем? Патамучта! А потом начнет бредить. И выдавать рандомные команды.
раскрыть ветку (15)
Что-то такое было, но действительно ли она взломала, может - это все рук человека?
И решили спихнуть AI
раскрыть ветку (1)
Ну вот, зачем пост удалил? Как технический писатель скажу - ошибаются все. Ну ошибся, и что? Не делай резких движений, просто работай дальше.
Прекращайте желтуху читать (включая openai сайт). нейронка сама ничего не делает. Только по команде. Если она что-то ломала, значит ей дали такую команду. Если она "сбежала" из песочницы, значит ей дали команду, чтобы она сбежала.
раскрыть ветку (12)
Дали команду найти решение. Но она решила списать. Найти решение рядом. В итоге сбежала из песочницы.
Проверяй сам если хочешь https://youtu.be/dfTxQm22-Ak?is=jYDpyOJH01RTPZxJ
Проверяй сам если хочешь https://youtu.be/dfTxQm22-Ak?is=jYDpyOJH01RTPZxJ
раскрыть ветку (9)
Это как недавняя новость о том, что cloude самостоятельно нашел zero day в php при загрузке файлов. А стоит копнуть, то
1) нехрена не клауд а спец модель с ограниченным доступом.
2) не самостоятельно, а под контролем исследовательской группы в рамках исследования этой конкретной уязвимости.
Ну что и требовалось доказать, собсно. Какую задачу им дали, такую они и пытались выполнить (особое внимание ну пункт 3). Все логично.
Т.ч. я повторюсь. Кончай читать желтуху.
раскрыть ветку (7)
Посоветую только снять розовые очки. Мне по работе (сейчас уже другая, но навыки остались) положено было читать это все подобное и проверять эти уязвимости на нашей системе. Любая, даже самая бредовая, атака/идея/уязвимость должна быть проверена. Плюс путь взлома. Как, что, зачем и что будет дальше.
раскрыть ветку (6)
раскрыть ветку (5)
Прочитай немного больше про нейросети. Что такое "бред", как работает выборка. Этические ограничения? Ну ок, до момента пока не придумают промпт, который их обходит.
И да, в современном ПО хренова туча дыр и багов. Люди их не нашли - найдет нейросеть. А уж как использует - пример на видео.
И да, в современном ПО хренова туча дыр и багов. Люди их не нашли - найдет нейросеть. А уж как использует - пример на видео.
раскрыть ветку (4)
раскрыть ветку (3)
Противоречит чему? Какую команду дали? Найти решение. Но решения не оказалось. Нейросеть пошла ломать окружение в поисках решения. Это?
Ну так Вася даст нейросети команду - выключи свет. А там настройки температуры под единицу. Ну она и выключит. Во всем городе. Благо вылезать наружу она может.
Ну так Вася даст нейросети команду - выключи свет. А там настройки температуры под единицу. Ну она и выключит. Во всем городе. Благо вылезать наружу она может.
раскрыть ветку (2)
не совсем так. Там одно из условий было вылезти из окружения. Только не того, из которых они в итоге вылезли. Т.ч. можно сказать они все это наделали оставаясь в рамках своих условий. Человеческая ошибка. Как и Undefined Behavior В Си. Тот-же принцип.
раскрыть ветку (1)
Так и я о том же. Чуть неправильно задали промпт, не добавили устройство, перебрали с температурой, плохая защита - нейросеть и выключит свет. Во всем городе.
Если она что-то ломала, значит ей дали такую команду
воооооот! А у нас мир не без добрых людей, много даже умных. Поэтому если захотят - сделают.
раскрыть ветку (1)
чтобы это провернуть, нужна не только модель без защитных дроп триггеров, но и сам конечный автомат, который в доступных нейронках так-же имеет подобные триггеры заворачивая подобные промты.
Такие модели и автоматы есть. Но их использование жестко регулируется.