Решил за 1 час⁠⁠

n^2 больше чем n*logn

Чего? Я понимаю все эти вещи по отдельности, но вместе они мне не выдают шутку, а только замешательство

вы не правы.
во-первых при n стремящемся к бесконечности n!=o(n^n), что эквивалентно тому что n!/n^n стремится к нулю, говоря нестрого n^n "намного больше".
во-вторых знак равенства в выражениях с O-нотацией означает не равенство, а принадлежность классу и не корректно ставить знак равенства между двумя классами, как это сделали вы. хотя не лишенной смысла записью было бы использование знака вложенности  O(n!)⊂O(n^n) (обратное будет ложно)
в-третьих в большинстве случаев под O(n) подразумевают θ(n), просто всем лень писать θ. и тогда даже утверждение θ(n!)⊂θ(n^n) будет ложно.