Большой тест видеокарт для инференса Llama 3 70b 8b
В этом видео массовое тестирование видеокарт для нейросетей. В тесте участвуют две нейросети: Llama 3 8b и Llama 3 70b. Тестируются игровые видеокарты разных поколений: Nvidia RTX 4090, RTX 3090, RTX 3090 ti, RTX 2080 ti. Среди серверных карт тестируются Nvidia A100, Nvidia H100.