Здание в неомавританском стиле, находящееся на Воздвиженке, наделало много шума еще на этапе строительства. Дело в том, что Арсений Морозов после путешествия по Испании и Португалии загорелся идеей построить дом-замок, который будет похож на дворец Пена в Синтре.
Здание произвело настоящий фурор. Вокруг него ходило много слухов, москвичи насмехались над эклетичным особняком, а журналисты и писатели упражнялись в злословии в газетах.
Не нашел Арсений понимания и у своей матери. Существует легенда, будто, посетив свежепостроенный дом сына, она сказала: «Раньше одна я знала, что ты дурак, а теперь вся Москва будет знать!»
Морозов прожил в своем особняке меньше 10 лет. Строительство закончилось в 1899 году, а в 1908 он на спор прострелил себе ногу, пытаясь доказать, что не почувствует боли благодаря силе духа, полученной с помощью эзотерических техник. Началось заражение крови и через три дня мужчина умер.