请问,我买了安置房,已经住了两年,因为没钱,当时通过朋友买的,说好先付16万,以后每年给五万的,钱给

请问，我买了安置房，已经住了两年，因为没钱，当时通过朋友买的，说好先付16万，以后每年给五万的，钱给了之后房主就用各种原因不签合同，然后房主的儿子也经常来要钱，开始房主叫给的，可是后来拿多了，房主就跟我们吵架说不应该给，后来房主儿子来要我们就不给了，就来我家踢门，搞的我们不能好好生活了，现在我不想要房子了，这钱我能要回来吗？