Проще говоря, цвет — это ощущение, которое получает человек при попадании ему в глаз световых лучей. Собственно идея о разных видимых цветах основана на суждении, вырванном из контекста, что один и тот же поток света вызовет разные ощущения у разных людей. Но субъективное ощущение цвета не имеет смысла, в целях сопоставимости измерений/наблюдений принципиально только то, какой «на самом деле» улавливаемый диапазон излучения. Физиология же человека такова, что мы все видим одни и те же волны.

Кроме того, вы не можете "видеть" синий цвет вместо моего красного или зеленый вместо оранжевого, хотя бы потому что комбинация цветов из различного диапазона волн не дает промежуточные цвета, которые мы наблюдаем, и это очевидное несоответствие в восприятии было бы давно установлено. Таким образом, в лучшем (для указанной в начале идеи) случае мы видим разные цветовые тона одних и тех же цветов.

На самом деле люди действительно могут по разному воспринимать цвета в силу своего психо-физиологического состояния (пример https://ru.wikipedia.org/wiki/Феномен_синего_или_белого_платья), но подобные оптические иллюзии возникают из-за нарушения баланса белого и, как правило, цветопостоянство (https://ru.wikipedia.org/wiki/Цветопостоянство) работает корректно.

Следует отметить, что есть теория согласно которой, доступность и многообразие цветных вещей у младенцев влияет на способность человека в будущем собственно воспринимать и различать эти цвета. А кто-то и вовсе считал, что в древности люди были все дальтониками и не различали синего. https://theoryandpractice.ru/posts/7813-wine-dark-sea и https://ru.wikipedia.org/wiki/Полемика_об_именовании_цветов

Очевидно все-таки человек использует различные названия для обозначения оттенков одного цвета только там, где в этом имеется потребность. По крайней мере экспериментально доказано, что отсутствие в языке слова, обозначающего конкретный цвет, не равнозначно тому, что человек этот цвет не различает.