今年9月份在长沙本地购买了一套二手房付了定金2万之后房屋业主私下与我联

今年9月份在长沙本地购买了一套二手房付了定金2万之后房屋业主私下与我联系说再交3万可以让我们先进场搞装修,当时由于迫切装修入住就私下与业主达成了协议。 但是10月因为政策原因房屋产权问题不能交易,所以就要退房,与业主联系当时也同意退款,但是到现在1月23日一分钱没有给我。还说不准备还钱了。想请问怎么办