Варианта 2: Или видяха не поддерживает NVENC - и в таком случае измени кодировщик с аппаратного на программный и второе - в системе несколько графических адаптеров, и OBS запускается не на том что нужно, тогда выбрать в дровах видяхи использование нужного GPU для OBS
Варианта 2:
Или видяха не поддерживает NVENC - и в таком случае измени кодировщик с аппаратного на программный
и второе - в системе несколько графических адаптеров, и OBS запускается не на том что нужно, тогда выбрать в дровах видяхи использование нужного GPU для OBS