Гадить или есть?

В контексте романа на работе говорят "не гадь там где ешь" и подразумевают отношения как гадить, а работу как есть.

Почему не наоборот?

Можно же загадить замечательное свидание мыслями о работе