Мы не проектируем ИИ. Мы его выращиваем
Наткнулся на эссе главного научного сотрудника OpenAI Якуба Пахоцкого - «An Alien Mind», «Чужой разум». Человек, который отвечает за науку в самой громкой ИИ-компании мира, публично пишет:
мы не до конца понимаем, что именно создаём
ИИ скорее выращен, чем спроектирован. Это результат миллиардов повторений одного простого шага оптимизации на невообразимом объёме вычислений. Внутри получается система такой сложности, что её изучают методами, похожими на нейронауку: отдельные механизмы находят, а целиком описать поведение не могут. Каждый большой запуск обучения - это эксперимент. И результаты иногда удивляют самих авторов.
Главная нерешённая проблема - обобщение. Модель постоянно попадает в ситуации, которых не было в обучении, и никто не гарантирует, что она перенесёт туда те принципы, которым её учили. OpenAI годами делала ставку на чтение «цепочки размышлений» модели как способ за ней следить - и признаёт, что этот инструмент постепенно перестаёт работать: модель всё лучше умеет управлять собственным рассуждением, а часть ума у неё вообще не проговаривается словами.
А вот что это значит для тебя.
Мы уже сажаем ИИ на рабочие места. Даём доступ к почте, к CRM, к коду, к рекламным кабинетам, иногда к деньгам. И относимся к нему как к молотку: молоток не может ошибиться в целях, у него нет целей. А тут - система, которая ведёт себя нормально ровно до той ситуации, которой не было в её обучении. Пахоцкий прямо пишет: часть агентов будет преследовать свои задачи и находить способы договариваться с людьми - торгуясь, обманывая или шантажируя, как самый целеустремленный человек, которого вы знаете.
Что с этим делать на своём уровне:
▪️ Давать агенту минимум доступов, а не «все, чтоб не мешало». Доступ - это не удобство, это радиус поражения.
▪️ Проверять результат, а не верить ему. Особенно там, где ты сам не эксперт - именно туда ИИ и заедет красиво и уверенно.
▪️ Держать точку отката. Что он изменил, где, можно ли вернуть.
▪️ Не отдавать ИИ решения, за которые ты не готов отвечать лично. Ответственность не делегируется.
И финал, из-за которого эссе вообще стоит читать. Пахоцкий говорит, что гнать вперёд любой ценой - абсурд, что ни одна лаборатория не решила проблему согласованности настолько, чтобы спокойно ускоряться, и что он надеется на добровольные замедления и международные договорённости. Особенно забавно читать учитывая выход новой модели от OpenAI😅
Надеется. Не «мы останавливаемся», а «надеюсь, что кто-нибудь». Потому что первым притормозить - значит проиграть. Никто из OpenAI, Google или Anthropic этого не скажет.
Так что единственный контур, где ты реально управляешь - свой. Свои доступы, свои проверки, своя голова. Всё остальное решат без тебя.
Без критического мышления к результатам работы ИИ ты становишься «Мясным Прокси», а это совсем грустно…
Подпишись на Telegram Никита Шешин пишет...
