Если я ничего не путаю, то тов Саруман занял пустующий Ортханк. А построили его граждане острова Нуминор, форпостом которых он и являлся какое-то время. И было это разумеется задолго до пленения Саурона и похода на Валинор.
Что Саруман, что Гэндальф, что остальные маги ( из которых нам известен лишь один и тот мельком ) прибыли в Средиземье не так уж давно относительно Третьей Эпохи.
Кстати, педивикия того же мнения.
в смысле от куда? да даже не читая сильмариллион, в самом ВК написано что ор(з)тханк овер9000 лет как высечена из чистой скалы, как блять он мог его построить? как он мог его построить один? у него ни приспешников не было до финала, ни кого. магия? это мать его стихийная магия, это не чертов гарри поттер, тут нельзя из скалы сделать крепость по мановению посоха. дружище, обратись к первоисточнику, а не лепи отсебятину.