Баба ассоциируется с бабушкой/бабкой. Баба Нина, баба Клава. А дедушек мы мужиками не зовем, типа." Мужик Толя". Вот и получается, что " баба"- это намек на старость и так далее. А "мужик" - это так то комплимент. "Настоящий мужик". Все слышали? А вот " Настоящая баба"- это уже так себе. Оскорбление.