房屋首付款退款

交的房屋首付款，后来，我不买房了，签的退款协议，将首付款退还给我，可是现在却不退钱给我，多次以没钱为由不退给我钱。我想要告他们，通过法律的途径将钱要回。