Старая баня на участке⁠⁠

Попал в достаточно неприятную ситуацию. Являюсь собственником участка ЛПХ. На моей земле с посредине одной из сторон участка стоит ветхая баня. Единственная дверь бани выходит на сторону соседей. Земля между баней и соседским участком не является ни моей собственностью, ни собственностью соседа. По этой же стороне пока отсутствует полноценный забор и соседи ходят мыться в эту баню. На вопрос о праве собственности на баню соседи отвечают, что это их баня, аргументом в свою пользу приводят право долевой собственности от 1980 года. Предыстория такова: после смерти моей покойной прабабки, царствие ей небесное, ее наследство, а именно дом бревенчатый, баня бревенчатая (без указания каких либо дополнительных характеристик и номеров бани, то есть в наследственной просто прямым текстом написано "баня бревенчатая") было разделено между пятью наследниками в равных долях. Один из наследников выкупил, получил в дарственную и через суд все остальные доли. Последнюю долю он получил (через суд) в 2018 году. Теперь на основании "свидетельства о праве на наследство" он считает эту баню своей, хотя с 1981 года (моя бабушка выкупила землю у государства в тот момент, когда собственников бани было еще 5) она, эта баня, находится на "моей" земле, но не оформлена как недвижимость ни с моей стороны, ни со стороны соседа. На бане висит замок и мне не позволяют зайти внутрь. Сосед предлагает мне заплатить ему за "устное", то есть без юридического оформления, разрешение сноса бани, а так же за установку им забора сумму порядка 50000 рублей. При в всем при этом строение действительно является ветхим и, не приведи господь, может рухнуть с соседом либо членами его семьи внутри. Знакомый кадастровый инженер предложил следующий вариант: баня оформляется в собственность, затем пишется разрешение на снос и строение сносится вне зависимости желания соседа. Вопрос таков: прав ли мой знакомый кадастровый инженер, и если он не прав, какие еще законные пути существуют для сноса ветхого строения? Правомерно ли в данном случае со стороны соседа использование долевого "свидетельства о праве на наследство" как аргумента для выжимки из меня денег? Спасибо.