Что делать с соседями?⁠⁠

Подскажите, пожалуйста, что делать в моей ситуации. Сможет ли сосед напакостить нам в правовом поле?
Купили дом в деревне на материнский капитал в 2017 году, осенью. Бывшие хозяева дома живут напротив, дом продавал сын умершей хозяйки. Ему и его жене лет по 60 уже самим. В общем в сделке были свои нюансы, мы их благополучно решили.
Планы были большие, там необходимо ставить новый забор, делать скважину, стелить новую крышу, в общем дел хватает. В 2018 не получалось никак начать, работа съедала большее количество времени так как выплачивали кредит на автомобиль, смогли только пахать огород и посадить овощи. Ну и там по мелочи. Потом я забеременела третьим ребенком, времени не осталось совсем что бы туда ездить.
Теперь бывшие хозяева каждый год мне звонят и высказывают, что мы не ухаживаем за домом и что мы обещали, что будем на нем строиться и не сдерживаем обещание, на что я говорю, что поменялись обстоятельства и стройка откладывается на неопределенный срок. Последнее, что сподвигло меня написать пост, это звонок от постороннего мужчины, который сказал, что телефон мой дала жена соседа и сказала, что мы дом продаем. Естественно я очень сильно удивилась и сказала, что мы не планируем продажу. Позвонив соседу, я спросила, почему он даёт мой номер непонятно кому, сосед ответил, что мы же не ухаживаем за домом, значит он нам не нужен, поэтому он дал номер мужчине в надежде, что я продам дом. Разговаривали мы слегка на повышенных тонах, без оскорблений, я попросила, что бы больше без моего ведома он номер никому не давал и если мы решим дом продавать, то сделаем это самостоятельно. А то что мы обещали, ну что поделать, обстоятельства поменялись. На что он мне ответил, что мы такие плохие, дом купили, обещали, что все будет хорошо, обещание не исполнили и сказал такую фразу - а вы знаете, что вы государство обманули, купили дом на материнский капитал, а дом уже становится не пригоден для жилья, подумайте над этим. Не скажу, что я испугалась, но напряглась после этих слов, хотелось бы знать, как он может подпортить нам жизнь.
Прошу не кидать танками, писатель из меня так себе.