买楼退款问题

我家是农村的买了一个楼房,首付交了11.5万还没交完事。现在没有能力在买起这个楼了,想退款能退吗,因为首付还没完事,没有建立合同,以前交的定金是5000元钱。现在定金可以不要了。只想拿回买楼的钱。现在卖楼的人不想给退钱怎么办以前交钱的时候买楼方都是给打的条