Главный научный сотрудник OpenAI призвал притормозить разработку ИИ
Главный научный сотрудник OpenAI Якуб Пахоцки опубликовал эссе, в котором прямо пишет, что ИИ растят, а не проектируют. И его поведение ускользает от полного понимания так же, как работа живого мозга. А также, что он ждёт скорого перехода к самоулучшению, когда модели начнут двигать собственную разработку. И признаёт, что главный инструмент контроля, чтение цепочки рассуждений модели, слабеет, ведь она учится думать без слов и подстраивать свои же рассуждения.
Правовая суть его предложения в переходе от мягких обещаний к жёсткому правилу.
Сейчас у каждой лаборатории есть свой внутренний документ, определяющий, при каком уровне опасности модель дальше не масштабируют, и соблюдение держится на доброй воле.
Пахоцки предлагает сделать такой порог единым и обязательным для всех под контролем сторонних аудиторов и государств. Это классическая задача про сговор конкурентов ради общего блага, который держится ровно до первого нарушителя.
И даже молодая ИИ-индустрия уже показала, чем это заканчивается. В июле 2023 года 7 ведущих компаний, среди них OpenAI, Google и Microsoft, публично пообещали Белому дому работать безопаснее и делиться данными о рисках.
Год спустя проверка показала, что механизма контроля и реальной подотчётности так и не появилось, а сами обещания назвали расплывчатыми пунктами, ни к чему толком не обязывающими.




