Непонимание⁠⁠

Я вот не понимаю, когда ко мне обращаются "Брат". Получается что эти люди мысленно соглашаются с тем, что мой отец имел близкую связь с его мамой?