Первый храм был построен тут примерно в XV веке. Легенды гласят, что священное место, на котором он стоит, было обнаружено несколько тысяч лет назад. Стела на нынешнем храме указывает на год постройки террасы, каменных ступеней и святилища Кимзунг - 1686 год. Со временем появлялись новые храмы, а старые подновляли. Статуи Будды и Куан Ам отлили из бронзы в 1767, а в 1793 их заменили на другие, которые сохранились поныне. Во время войн с Францией и США были уничтожены ворота и колокольня пагоды Тхьенчу. Колокольню отстроили заново в 1986 году, а ворота в 1994 году.
Храмы, составляющие комплекс Ароматной пагоды, распределены среди холмов в лесу на горах Хыонг. Пагода названа так потому, что здесь всегда обильно возжигают благовония, а по другой версии, холм так назывался и раньше появления храмов потому, что здесь много ароматных цветущих деревьев.
Если ехать к Ароматной пагоде по реке, то первым встреченным строением комплекса будет пагода Дэнчинь, построенная для поклонения военачальникам королей самой первой династии - Хунг.
На пути к пещере Хыонгтик стоит храм Зайоан.
Центром комплекса является Внутренний храм, расположенный в пещере Хыонгтик (Hương Tích). Вход в пещеру похож на пасть дракона, на стенах выбиты иероглифы, что означают "первая пещера южного мира", эта надпись датируется 1770 г.
Внутри пещеры стоит множество статуй, в том числе статуи Будды, архатов и Куан Ам, выполненные из разных пород камня.