Ответ на пост «Нас убьет сильный ИИ в течении 10 лет, приятного просмотра!(2 часть)»
Несомненно, умозрительные эксперименты прошлого показывают, что с Cильным ИИ лучше не заигрывать. Заставь ОИИ управлять полным циклом производства, от добычи ресурса до конечного продукта, он по исчерпанию основного ресурса начнет дербанить второстепенные. Отсюда появилась поговорка "Заставь ОИИ делать скрепки - он пустит на скрепки всю планету". ОИИ также безостановочно занимается саморазвитием, и, в отличие от человека, у него нет усталости и нет сна. Поэтому на один ОИИ нужна туева хуча народу, которая оперативно перекрывала бы ему лазейки для совершения непотребств, а в идеале - предсказывала их наперед. Невозможно скорректировать психику ИИ так, чтобы он не лез туда, куда не просят, потому что даже человек нарушает законы и пренебрегает нормами морали для достижения результата.
Поэтому я не удивился, когда OpenAI и их коллеги внезапно дёрнули за стоп-кран, хотя до выхода GPT-5 уже оставалась пара месяцев. В итоге GPT-5 теперь выйдет только летом 2024, когда компьютерные психологи и прочие спецы по этике и компьютерной безопасности закончат свою работу. Если уж обычные нейросети умудряются самовольно обходить фильтры или злоупотреблять служебными фразами для привлечения внимания (привет Нейро-саме), что уж говорить о собственно ОИИ, которому дадут большую свободу действий и в то же время большую ответственность, доверив целые производства.
Однако панику разводить не стоит. Решать проблемы будем по мере их возникновения.