Чтобы психологические границы установить, нужно три шага:

понять, где они проходят (как с вами нельзя?);
сказать об этом четко и ясно (можно даже написать);
требовать их соблюдения или прекращать общение (в случае стабильного нежелания человека их уважать).