你好!我农民手里买了一块地修房子用,当时双方口同协

你好！我农民手里买了一块地修房子用，当时双方口同协议达成分三期付款，当时付了三之一，月后再签合同，当时也写了收据。但是到时间对方没有按照当初约定签合同，后面对方在他自己修房子时占用了我买的地20平方。因为对方没有按照当初协议办事，当时我方提出退款，对方却拒绝退款，一直拖了好几个月，我该怎么要回钱。